Publié le 21 mai 2024.
Par La Rédaction

Google révolutionne l’efficacité de l’IA pour être plus économique et plus économe en énergie

Publié le 21 mai 2024.
Par La Rédaction

Réduire la consommation d'énergie de l'IA tout en maintenant des performances élevées est un défi majeur. Google semble avoir trouvé une solution innovante à ce problème avec une nouvelle méthode d'entraînement des modèles linguistiques.

Google a récemment déposé un brevet pour une méthode appelée “pré-entraînement contrastif pour les tâches linguistiques”. Contrairement à l’approche traditionnelle du “modélisation de langage masqué”, cette nouvelle méthode vise à améliorer l’efficacité informatique plutôt que la précision absolue en aval. Google explique dans le brevet que “la considération importante pour les méthodes de pré-entraînement devrait être l’efficacité informatique plutôt que la précision absolue en aval”.

L’approche classique de la modélisation de langage masqué consiste à masquer un certain pourcentage de mots dans un ensemble de données, généralement autour de 15%, pour que le modèle apprenne à deviner les mots manquants à partir du contexte. Cette méthode, bien que performante, consomme énormément d’énergie.

À l’inverse, la méthode de Google, appelée entraînement contrastif, aide les modèles linguistiques à différencier les entrées des alternatives plausibles. Voici comment cela fonctionne :

  • Un certain pourcentage de mots est masqué au début du processus.
  • Un modèle “générateur” crée des mots de remplacement pour les mots masqués.
  • Le modèle principal est ensuite entraîné à prédire si le mot dans la phrase est réel ou généré par l’IA.

Cette méthode est plus rapide, plus économique et plus économe en énergie. L’objectif est plus simple que celui de la modélisation masquée, et le modèle ne travaille que sur un petit sous-ensemble de données.

Google et la domination des modèles d’IA massifs

Lors de l’événement Google I/O de la semaine dernière, la société a dévoilé de nombreux outils alimentés par Gemini, son modèle d’IA de grande envergure. Cependant, comme l’a noté Vinod Iyengar, vice-président de ThirdAI, des modèles aussi vastes sont souvent trop coûteux et puissants pour un usage quotidien par des individus ou des petites entreprises.

Utiliser un modèle comme Gemini pour chaque tâche liée à l’IA est non seulement coûteux en termes de puissance de calcul, mais aussi en termes financiers. Beaucoup de tâches n’exigent pas une telle puissance. Iyengar compare cela à “utiliser une hache pour couper une tomate”.

Un changement de paradigme vers des modèles plus efficients

Malgré les investissements massifs dans des modèles de grande envergure, la tendance se dirige vers des modèles plus petits, plus efficaces et à faible latence. Iyengar explique que ces développements montrent une volonté de proposer non seulement les modèles les plus avancés, mais aussi des solutions plus abordables et rapides. “Ils signalent au marché deux choses : nous avons la capacité de construire le modèle le plus monstrueux que vous puissiez imaginer, mais nous avons aussi ces excellents modèles de deuxième niveau, très rapides et très bon marché”.

Google, en déposant ce brevet, indique clairement que l’avenir de l’IA pourrait résider dans l’efficacité plutôt que dans la taille brute des modèles. Cela pourrait redéfinir la manière dont les entreprises et les développeurs approchent l’IA, en privilégiant des solutions plus accessibles et durables.

Avec cette nouvelle méthode, Google pourrait bien transformer l’industrie de l’IA. En mettant l’accent sur l’efficacité énergétique et la rentabilité, ils répondent à des préoccupations croissantes sur les coûts et la durabilité. À long terme, cette approche pragmatique pourrait devenir la norme, favorisant une adoption plus large et plus responsable de l’IA dans divers secteurs.

Lire aussi