[MWC23] Stable Diffusion, IA générative sur un smartphone

Nous le savions depuis longtemps, nous avons dans les mains une puissance incroyable de calcul. L'iPhone dans votre poche a plus de 100 000 fois la puissance de traitement de l'ordinateur qui a fait atterrir l'homme sur la lune il y a 50 ans.

Qualcomm rappelle sur le MWC que l’IA doit fonctionner sous des limitations de puissance à la périphérie (edge), pas seulement dans un centre de données bourré de GPU. C’est l’un des enjeux de la 5G et de la 6G, plus de puissance proche des utilisateurs pour plus de disponibilité et moins d’énergie consommée ! Avoir un calcul qui a lieu à l’emplacement physique de l’utilisateur ou de la source des données, ce qui entraîne une latence plus faible et économise la bande passante.

Être plus proche offre des avantages, notamment en réduisant considérablement la latence de bout en bout, en diminuant la charge et en économisant les coûts sur le réseau de transport de liaison et en améliorant la confidentialité des données. La plus grande perturbation de la 5G se fera par des communications massives de type de machine (mMTC) et des communications ultra-responsables et à faible latence (URLLC) pour des cas d’utilisation de type tels que des véhicules autonomes, une ville intelligente et l’automatisation industrielle.

Qualcomm à travers cette démonstration brillante ci-dessous rappelle les fondamentaux de la 5G.

Générateurs d’art IA

À mesure que les smartphones deviennent de plus en plus performants, de plus en plus de charges de travail se déplacent sur l’appareil et hors du cloud. La démo sur le MWC de Qualcomm présente le travail de son équipe de recherche en IA sur le sujet.

Les générateurs d’art IA sont des outils qui font le buzz depuis des semaines et de plus en plus populaire pour créer des images et des œuvres d’art qui aura été formé sur un ensemble de données de milliards d’images. L’outil DALL-E 2 d’OpenAI en est le principal exemple, mais il en existe plusieurs autres, notamment Stable Diffusion de Stability AI.

Stable Diffusion est un modèle d’IA open source formée sur un sous-ensemble de 2,3 milliards d’images étiquetées en anglais à partir de l’ensemble de données LAION-5B, qui contient 5,85 milliards de paires image-texte. Vous pouvez accéder à Stable Diffusion s’exécutant dans le cloud via le Web, ou l’exécuter sur un PC avec un GPU contenant 6 Go ou plus de RAM vidéo, ou sur un appareil Apple Silicon exécutant MacOS (13.1) ou iOS (16.2). La dernière version de Stable Diffusion, 2.1, est sortie en décembre 2022.

Stable Diffusion est un modèle d’IA générative de texte à image capable de créer des images photoréalistes à partir de n’importe quelle entrée de texte. Maintenant, pour la première fois. Avec plus d’un milliard de paramètres, Stable Diffusion se limitait jusqu’à présent à fonctionner dans le cloud. Pour la toute première fois, Qualcomm a rendu possible l’exécution du modèle sur un smartphone Android – plus rapide et plus économe en énergie.

Qualcomm

Le développement qui a été fait par l’équipe de recherche sur l’IA de Qualcomm, qui s’appuie sur la pile d’IA et les outils de développement de Qualcomm. Le modèle de langage Stable Diffusion est quantifié et optimisé à l’aide de int8, ce qui permet de stocker l’intégralité du modèle sur le smartphone. Quatre optimisations de pile IA peuvent générer une image de haute qualité de 512 x 512 pixels en moins de 15 secondes à partir du moment de la saisie de la requête, montrant 20 étapes d’inférence allant des pixels aléatoires à l’image finale.

Android Authority lui a donné le prix du Best of MWC 2023.