GSMA lance les benchmarks de l’IA LLM pour les télécommunications

La GSMA lance de nouvelles références en matière d'intelligence artificielle pour les opérateurs de télécommunications, marquant ainsi une étape importante dans la standardisation de l'apprentissage automatique.

GSMA Foundry lance une initiative inédite dans l’IA pour les télécoms

Le bras d’innovation de l’association de l’industrie, GSMA Foundry, a dévoilé une initiative en open-source destinée à perfectionner les modèles de langages à grande échelle (LLMs) pour les applications télécoms.

Un nouveau cadre d’évaluation pour les modèles d’IA

Baptisée « Open-Telco LLM Benchmarks », cette initiative vise à instaurer un nouveau cadre pour évaluer les modèles d’IA en termes de capacités, d’efficacité énergétique et de sécurité dans des contextes télécoms réels.

Le GSMA décrit cette démarche comme une « communauté en open-source », soutenue par de prestigieuses entités telles que l’Université Khalifa à Abu Dhabi, le développeur d’applications informatiques Hugging Face et le hub de codage à but non lucratif Linux Foundation. Des opérateurs tels que Deutsche Telekom, LG Uplus et SK Telecom, ainsi que le fournisseur Huawei, appuient également le lancement.

Les difficultés des modèles d’IA dans les télécoms

Alors que l’adoption de l’IA dans les télécoms s’accélère, le GSMA a expliqué que les LLMs existants rencontrent des difficultés à résoudre des problèmes, à respecter les réglementations et à gérer les connaissances techniques télécoms. Des tests ont montré que le modèle GPT-4 a obtenu un score inférieur à 75% sur un ensemble de données conçu pour évaluer la connaissance spécifique au secteur des télécoms des LLMs. Dans un autre cas, le GPT-4 a également obtenu moins de 40% sur un ensemble de données évaluant la compréhension du modèle des normes 3GPP.

« Les modèles d’IA actuels peinent à répondre aux requêtes spécifiques aux télécoms, produisant souvent des recommandations imprécises, trompeuses ou peu pratiques », a déclaré Louis Powell, responsable des initiatives IA à la GSMA.

Améliorer la performance de l’IA dans les télécoms

La création de cette communauté dédiée aux benchmarks permettra aux opérateurs mobiles, aux chercheurs en IA et aux développeurs de contribuer avec des cas d’utilisation, des jeux de données et des modèles d’IA pour évaluation. Un système de benchmarking standardisé permettra de tester les modèles d’IA face à des défis télécoms pratiques, incluant :

• L’expertise du domaine,
• Le raisonnement mathématique,
• L’efficacité énergétique,
• La sécurité.

Ces benchmarks seront hébergés sur la plateforme de Hugging Face pour favoriser la transparence et l’engagement.

En établissant des benchmarks, l’initiative vise à améliorer la performance des modèles d’IA tout en s’assurant que « l’IA dans les télécoms est sûre, fiable et alignée avec les besoins opérationnels réels« , a ajouté Powell. Cette initiative s’inscrit dans l’engagement du GSMA en matière d’IA éthique et durable dans les télécoms. L’année dernière, l’organisme commercial a introduit la « Responsible AI Maturity Roadmap », un cadre conçu pour aider les opérateurs mobiles à mettre en œuvre les principes de bonnes pratiques dans le développement et le déploiement de l’IA.