Les géants de la Tech US investissent des milliards de dollars dans l’intelligence artificielle (IA) générative, comme ChatGPT, publié par OpenAI. Mais les caractéristiques qui rendent ces modèles tellement plus puissants que leurs prédécesseurs imposent également un lourd tribut à l’environnement. À ce jour, il n’y a pas une approche globale, mais c’est bien le fait de combiner plusieurs solutions qui est susceptible d’avoir le plus grand impact pour réduire l’empreinte carbone de l’IA générative.
Une étude menée par des chercheurs de l’Université du Massachusetts à Amherst a révélé que le processus de formation d’un grand modèle de langage appelé BERT émettait plus de 280 tonnes d’équivalent de dioxyde de carbone. Cela équivaut aux émissions de cinq voitures au cours de leur durée de vie. À titre de comparaison, on estime que le GPT-3 d’OpenAI et l’OPT de Meta ont émis respectivement plus de 500 et 75 tonnes métriques de dioxyde de carbone pendant son entraînement. Les vastes émissions de GPT-3 peuvent s’expliquer en partie par le fait qu’il a été construit sur du matériel plus ancien et moins efficace. Les systèmes d’IA peuvent avoir graves impacts environnementaux. Selon des chercheurs en 2022, les parcours d’entraînement de BLOOM ont émis 25 fois plus de carbone qu’un seul voyageur effectuant un aller simple de New York à San Francisco. Mais il est difficile de dire avec certitude quels sont les chiffres, il n’existe aucun moyen standardisé de mesurer les émissions de dioxyde de carbone, et ces chiffres sont basés sur des estimations externes ou, dans le cas de Meta, sur des données limitées publiées par l’entreprise.
On estime que le secteur technologique mondial représente 1,8 % à 3,9 % des émissions mondiales de gaz à effet de serre. Bien que seule une fraction de ces émissions soit causée par l’IA et l’apprentissage automatique, l’empreinte carbone de l’IA est encore très élevée pour un seul domaine au sein de la technologie en général. Il est important de s’attaquer à l’empreinte carbone de l’IA générative si nous voulons nous assurer que cette technologie pourra être utilisée de manière durable à l’avenir.
L’empreinte carbone de l’IA générative est en grande partie due à l’énergie nécessaire pour entraîner les modèles. La formation d’un grand modèle de langage peut nécessiter jusqu’à 100 000 fois plus d’énergie que l’exécution du modèle une fois qu’il est formé. Cela affecte bien entendu le type de matériel utilisé pour entraîner les modèles. Les GPU sont plus économes en énergie que les CPU, mais ils sont également plus chers.
À court terme, l’un des principaux enjeux de l’IA générative est de réduire son empreinte carbone en optimisant l’efficacité des modèles et des infrastructures de calcul. Cela peut impliquer l’utilisation de techniques de compression, de quantification et de réduction de la consommation énergétique sur ce sujet, nous avons un acteur français de taille avec 2CRSI. Il est également important de sensibiliser les acteurs de l’industrie et de promouvoir des pratiques durables en matière d’IA générative. En tout cas, il faudra à long terme développer des approches d’IA générative qui soient intrinsèquement plus respectueuses de l’environnement. Cela peut impliquer la recherche de nouvelles architectures de modèles plus économes en énergie, l’adoption de matériel informatique spécialisé à faible empreinte carbone et l’exploration de méthodes de formation et d’inférence plus efficaces.
