Publié le 19 mai 2023, modifié le 20 mai 2023.
Par Christophe Romei

L’empreinte carbone de l’IA générative est un enjeu clé pour son développement futur

Publié le 19 mai 2023, modifié le 20 mai 2023.
Par Christophe Romei

L'empreinte carbone de l'IA générative est un enjeu clé pour son développement futur, car c'est un processus très énergivore. Le processus de formation d'un modèle d'IA générative peut nécessiter une énorme puissance de calcul, ce qui peut entraîner d'importantes émissions de gaz à effet de serre.

Les géants de la Tech US investissent des milliards de dollars dans l’intelligence artificielle (IA) générative, comme ChatGPT, publié par OpenAI. Mais les caractéristiques qui rendent ces modèles tellement plus puissants que leurs prédécesseurs imposent également un lourd tribut à l’environnement. À ce jour, il n’y a pas une approche globale, mais c’est bien le fait de combiner plusieurs solutions qui est susceptible d’avoir le plus grand impact pour réduire l’empreinte carbone de l’IA générative.

Une étude menée par des chercheurs de l’Université du Massachusetts à Amherst a révélé que le processus de formation d’un grand modèle de langage appelé BERT émettait plus de 280 tonnes d’équivalent de dioxyde de carbone. Cela équivaut aux émissions de cinq voitures au cours de leur durée de vie. À titre de comparaison, on estime que le GPT-3 d’OpenAI et l’OPT de Meta ont émis respectivement plus de 500 et 75 tonnes métriques de dioxyde de carbone pendant son entraînement. Les vastes émissions de GPT-3 peuvent s’expliquer en partie par le fait qu’il a été construit sur du matériel plus ancien et moins efficace. Les systèmes d’IA peuvent avoir graves impacts environnementaux. Selon des chercheurs en 2022, les parcours d’entraînement de BLOOM ont émis 25 fois plus de carbone qu’un seul voyageur effectuant un aller simple de New York à San Francisco. Mais il est difficile de dire avec certitude quels sont les chiffres, il n’existe aucun moyen standardisé de mesurer les émissions de dioxyde de carbone, et ces chiffres sont basés sur des estimations externes ou, dans le cas de Meta, sur des données limitées publiées par l’entreprise.

On estime que le secteur technologique mondial représente 1,8 % à 3,9 % des émissions mondiales de gaz à effet de serre. Bien que seule une fraction de ces émissions soit causée par l’IA et l’apprentissage automatique, l’empreinte carbone de l’IA est encore très élevée pour un seul domaine au sein de la technologie en général. Il est important de s’attaquer à l’empreinte carbone de l’IA générative si nous voulons nous assurer que cette technologie pourra être utilisée de manière durable à l’avenir.

L’empreinte carbone de l’IA générative est en grande partie due à l’énergie nécessaire pour entraîner les modèles. La formation d’un grand modèle de langage peut nécessiter jusqu’à 100 000 fois plus d’énergie que l’exécution du modèle une fois qu’il est formé. Cela affecte bien entendu le type de matériel utilisé pour entraîner les modèles. Les GPU sont plus économes en énergie que les CPU, mais ils sont également plus chers.

Quelques pistes

  • Les chercheurs peuvent travailler sur des algorithmes plus efficaces qui nécessitent moins de calculs et de ressources pour générer des résultats comparables.
  • Les entreprises et les centres de données peuvent adopter des pratiques d’informatique verte, telles que l’utilisation de sources d’énergie renouvelable pour alimenter les serveurs et l’optimisation de l’efficacité énergétique des infrastructures.
  • Le développement de matériel informatique plus économe en énergie et spécialisé pour les tâches d’IA peut contribuer à réduire la consommation d’énergie liée à l’entraînement et au déploiement des modèles génératifs.
  • Les organisations peuvent compenser leur empreinte carbone en investissant dans des projets de réduction des émissions de carbone, tels que des initiatives de reforestation ou des technologies de capture et de stockage du carbone.
  • Il est important de sensibiliser les utilisateurs et les développeurs d’IA générative sur l’impact environnemental de leurs activités. Encourager l’adoption de bonnes pratiques, comme la suppression des modèles inutilisés ou le partage des ressources de calcul, peut aider à minimiser les effets négatifs.

À court terme, l’un des principaux enjeux de l’IA générative est de réduire son empreinte carbone en optimisant l’efficacité des modèles et des infrastructures de calcul. Cela peut impliquer l’utilisation de techniques de compression, de quantification et de réduction de la consommation énergétique sur ce sujet, nous avons un acteur français de taille avec 2CRSI. Il est également important de sensibiliser les acteurs de l’industrie et de promouvoir des pratiques durables en matière d’IA générative. En tout cas, il faudra à long terme développer des approches d’IA générative qui soient intrinsèquement plus respectueuses de l’environnement. Cela peut impliquer la recherche de nouvelles architectures de modèles plus économes en énergie, l’adoption de matériel informatique spécialisé à faible empreinte carbone et l’exploration de méthodes de formation et d’inférence plus efficaces.

Émissions CO2 (tonnes) par modèles d’apprentissage en 2022

Lire aussi