Meta AI crée MobileLLM, un modèle de langage optimisé pour mobile

Dans un contexte où les modèles de langage (LLMs) sont de plus en plus utilisés dans divers aspects de notre quotidien, le besoin de rendre ces modèles plus efficaces et adaptés aux appareils mobiles devient crucial.

MobileLLM : une avancée marquante dans l’IA mobile

Avec des applications populaires comme ChatGPT et Perplexity AI, les LLMs actuels opèrent principalement dans des environnements cloud, nécessitant une puissance de calcul immense et générant des coûts élevés et des latences importantes. Les modèles leaders comme GPT-4 possèdent plus d’un trillion de paramètres, rendant leur utilisation directe sur des appareils mobiles impraticable. Pour répondre à cette problématique, l’équipe de chercheurs propose de concentrer leurs efforts sur des modèles de moins d’un milliard de paramètres, optimisés pour les smartphones et autres dispositifs mobiles.

Né d’un travail conjoint de chercheurs de Meta Reality Labs, PyTorch et Meta AI Research (FAIR), MobileLLM bouscule les préconceptions sur la taille nécessaire d’un modèle de langage efficace. Présenté le 27 juin 2024, il concentre une puissance impressionnante dans une fraction de l’espace nécessaire à des modèles tels que GPT-4.

MobileLLM: nice paper from @AIatMeta about running sub-billion LLMs on smartphones and other edge devices.
TL;DR: more depth, not width; shared matrices for token->embedding and embedding->token; shared weights between multiple transformer blocks;

Paper: https://t.co/TDWQWdZeIy pic.twitter.com/3IBklvTiBI

— Yann LeCun (@ylecun) July 7, 2024

Performance

Yann LeCun, scientifique en chef de l’IA chez Meta, a souligné sur X (anciennement Twitter) que des choix stratégiques ont permis à MobileLLM de surpasser d’autres modèles de taille similaire de 2,7% à 4,3% sur des tâches de référence communes. Si ces améliorations à un chiffre peuvent paraître minimes, elles signifient un progrès significatif dans le secteur très compétitif du développement de modèles de langage.

Une efficacité inattendue

Notons notamment que MobileLLM, avec ses 350 millions de paramètres, a montré une précision comparable au modèle LLaMA-2 de 7 milliards de paramètres pour certaines tâches d’appel d’API. Ceci suggère que des modèles plus compacts pourraient offrir des fonctionnalités similaires en utilisant beaucoup moins de ressources computationnelles, en cohérence avec l’intérêt croissant porté à des modèles d’IA plus efficaces. Ceci replace MobileLLM dans une similarité avec ce que certains chercheurs appellent les « Small Language Models » (SLMs), malgré le « LLM » dans son nom.

Avancée et perspectives

L’approche de MobileLLM vise non seulement à réduire les coûts et la consommation énergétique associés aux LLMs, mais aussi à permettre leur déploiement direct sur des appareils mobiles, rendant ces technologies plus accessibles et pratiques pour une utilisation quotidienne. Cette avancée ouvre la voie à des applications plus rapides et plus écologiques des modèles de langage, sans dépendre lourdement des infrastructures cloud. Il met en cause l’idée que les modèles de langage efficaces doivent nécessairement être énormes, ouvrant potentiellement de nouvelles voies pour les applications d’IA sur les appareils personnels.

MobileLLM n’est pas encore disponible pour un usage public, mais Meta a mis à disposition le code ouvert, permettant à d’autres chercheurs de construire sur leur travail. A mesure que cette technologie se développe, elle pourrait permettre des fonctionnalités d’IA plus avancées sur les appareils personnels, bien que le calendrier et les capacités exactes restent incertains.

MobileLLM propose une solution pragmatique et efficace pour l’intégration de modèles de langage performants directement sur les appareils mobiles, révolutionnant ainsi la manière dont ces technologies peuvent être utilisées au quotidien. Dans un avenir proche, votre téléphone mobile disposera d’AI LLM intégrés au système d’exploitation principal. Cela signifie que vous rechercherez moins d’informations en ligne, elles seront générées localement sur votre téléphone mobile. Cela signifie que le trafic pour le contenu basé sur la recherche va considérablement changer.

En attendant la technologie des téléphones GenAI sont déjà dans nos smartphones comme chez Samsung, Pixel, Motorola, promettant des caractéristiques distinctives.