La startup PrismML promet des modèles de raisonnement compressés, capables de tourner sur PC et smartphone sans gros sacrifice de performance.
En bref
- PrismML compresse des LLM pour le local
- Bonsai 2 27B tient dans 5,9 Go
- La startup vise PC, smartphones et plus grand encore
Le pari de PrismML est simple, et il peut peser lourd pour l’écosystème mobile. Des LLM de raisonnement assez compacts pour tourner en local, sur un PC et peut-être sur un smartphone haut de gamme, sans perdre l’essentiel de leurs capacités.
Des modèles qui quittent enfin le cloud
Jeudi, PrismML a lancé Bonsai 2 27B, une nouvelle version de sa gamme qui compresse Qwen3.8 27B, le modèle open source d’Alibaba, jusqu’à 5,9 Go. En clair, on parle d’une réduction mémoire de 9 à 10 fois par rapport au modèle d’origine. Suffisant pour viser des machines personnelles plutôt que des serveurs distants.
C’est là que le sujet devient intéressant pour vous. Si l’exécution bascule vers l’appareil lui-même, on change à la fois le coût, la latence et la dépendance au cloud. Des discussions avec Apple circulent d’ailleurs, même si Babak Hassibi, le patron de PrismML, n’a pas souhaité commenter.
Une compression qui garde presque toute la performance
Le point fort mis en avant par PrismML, ce n’est pas juste la taille. C’est la tenue du modèle après compression. Bonsai 2 27B atteindrait 98% du score agrégé de Qwen sur les benchmarks, contre 95% pour le premier Bonsai, sorti en mars.
Et la progression va avec une vraie traction. Le premier modèle a déjà dépassé 11 millions de téléchargements, auxquels s’ajoutent 2,6 millions pour des variantes encore plus petites, selon l’entreprise. Bon, viser 100% de parité reste une autre histoire. Babak Hassibi reconnaît qu’une compression a probablement toujours un effet, même léger.
Mais un écart de 2% sur des benchmarks n’a rien de dramatique en usage réel, surtout quand on sait que les modèles non compressés ne sont pas parfaits non plus. Et le logiciel autour compte pas mal.
La méthode PrismML, et pourquoi elle intrigue
Techniquement, PrismML agit sur les poids du modèle, autrement dit l’information apprise pendant l’entraînement. Là où un poids occupe normalement 16 bits, sa méthode dite ternaire ramène cela à trois valeurs possibles, +1, -1 ou 0.
Résultat, une empreinte mémoire bien plus faible. La startup n’est pas seule sur ce terrain, Multiverse Computing, issue notamment du Donostia International Physics Center, travaille aussi sur la compression des LLM. Mais PrismML avance un argument assez fort, comprimer sans casser la qualité. Les détails techniques sont aussi exposés sur GitHub.
Des soutiens solides et une feuille de route très ambitieuse
Derrière la startup, on trouve des chercheurs de Caltech, avec Babak Hassibi en figure centrale, spécialiste de la compression. Ion Stoica, cofondateur de Databricks et directeur du Sky Computing Lab de Berkeley, conseille aussi l’entreprise. Le laboratoire a déjà vu émerger Letta et SGLang. Côté financement, PrismML a levé environ 20 millions d’euros (22,25 millions de dollars) en seed auprès de Khosla Ventures, Cerberus Capital et Caltech.
La suite est ambitieuse. Babak Hassibi dit viser, dans les prochains mois, des modèles à plusieurs centaines de milliards de paramètres, avec l’idée que les très grands modèles offrent encore plus de marge pour compresser sans perdre l’intelligence. Ion Stoica y voit surtout un basculement d’usage, une IA avancée disponible sur l’appareil déjà acheté, gratuite à l’exécution et plus privée, puisqu’elle ne repart pas vers le cloud.
