Depuis plusieurs mois les constructeurs et fabriquants de puces ont fait des essais pour embarquer des modèles de language (LLM/SLM) Un élément crucial dans la conception de l’IA pour les appareils mobiles est la minimisation de la taille du modèle d’IA, étant donné les limitations en termes de stockage, mémoire et batterie des appareils mobiles. Des modèles trop volumineux peuvent surcharger les ressources et nuire à l’expérience utilisateur. Il est donc important de mettre en œuvre des stratégies afin de maitriser l’IA sur mobile – qui deviendra central d’ici 5 ans dans l’usage du smartphone, peut-être même avec la disparition des applications telles que nous les connaissons.
Il est de plus en plus fréquent d’entendre que l’intelligence artificielle (IA) pourrait devenir le système d’exploitation (OS) de demain, en remplacement potentiel des systèmes actuels comme iOS ou Android. Cette idée, qui considère l’IA comme un OS, offre une métaphore intéressante.
Qualcomm vient de lancer un nouveau jeu de puces conçu pour s’asseoir juste en dessous de son produit phare actuel en termes de capacités et de prix. Le Snapdragon 8S Gen 3 vise à apporter la plupart des fonctionnalités du 8 Gen 3, y compris la prise en charge des modèles IA génératifs sur appareil. Le 8S Gen 3 prend en charge l’IA générative multimodale sur l’appareil et peut exécuter de grands modèles de langage allant jusqu’à 10 milliards de paramètres qui incluent Baichuan-7B, Llama 2 et Gemini Nano. Il n’offre pas toutes les capacités d’IA du Snapdragon 8 Gen 3, mais il prend en charge les assistants virtuels de génération AI et l’extension d’image.
Sur le MWC 2024 j’ai eu l’occasion de regarder fonctionner un modèle sur un smartphone sans le réseau opérateur y compris wifi où chaque interaction de l’IA reste privée, sécurisée, et à l’abri des regards indiscrets, établissant un nouveau standard pour l’intimité numérique. Dans le monde dynamique de la technologie mobile, l’intelligence artificielle (IA) générative fait des avancées remarquables, notamment grâce à l’intégration de modèles puissants tels que Meta LLAMA2-7B et Microsoft Phi-2 LLM. Ces modèles fonctionnent de manière efficiente sur le processeur Arm Cortex, sans nécessiter d’accélérateurs spécifiques, soulignant une prouesse technique impressionnante. 70 % des applications tierces pour smartphones exécutent leur Al sur le processeur Arm.
En posant quelques question à Gael Duval (/e/OS), je me suis rendu compte que son équipe avait déjà développé un prototype (PoC) exploitant un modèle de langage à grande échelle (LLM) open source, fonctionnant localement sur /e/OS, pour offrir des fonctionnalités d’assistance avancées. Il m’a dit qu’il etait convaincu que cette évolution est inévitable et nécessaire. Le fonctionnement en local présente des avantages significatifs, notamment en termes de protection des données personnelles et de capacité à opérer sans connexion Internet, ce que Gael décrit ci-dessous :
Imaginez un monde où un hashtag LLM fonctionne directement sur votre smartphone. Cet assistant hors ligne serait capable de gérer des tâches quotidiennes telles que l’ajout d’événements à votre calendrier, l’ouverture d’applications, de bots et bien plus encore, le tout en préservant votre vie privée. Cette vision est désormais une réalité grâce à l’implémentation du modèle transformateur Phi-2 2.8B sur /e/OS. Bien que son fonctionnement actuel soit lent, ce qui limite son utilité jusqu’à l’intégration de puces dédiées dans les SoC, il représente un pas important vers l’autonomie et la confidentialité des assistants personnels.
Notre édition Digest4Day du MWC explore plus de 15 thèmes captivants autour de la 5G.