Plus de 50% des résumés d’actualités par les IA sont erronés

Une récente étude accablante sur l'intelligence artificielle révèle que les chatbots commettent des erreurs plus de 50% du temps lorsqu'ils résument les actualités, identifiant ainsi le pire coupable dans ce domaine défectueux.

Les chatbots IA : une source d’informations inexactes

Une récente enquête de la BBC a dévoilé une faille majeure dans l’IA : un grand nombre de chatbots de premier plan, y compris ChatGPT d’OpenAI, Copilot de Microsoft, Gemini de Google, et Perplexity AI, produisent régulièrement des inexactitudes, voire des distorsions, lorsqu’ils résumente des articles d’actualité.

L’enquête a révélé que plus de la moitié des réponses générées par ces chatbots étaient entachées de graves erreurs. Les sujets d’étude portaient sur 100 articles d’actualité du site web de la BBC présentés à ces quatre chatbots IA, qui devaient en rédiger un résumé. Les experts de la BBC ont ensuite évalué la qualité de ces résumés.

Les erreurs les plus fréquentes

Les résultats étaient préoccupants : 51% des réponses générées par l’IA présentaient des erreurs significatives, y compris des inexactitudes factuelles, des citations erronées et des informations obsolètes. Parmi ces erreurs, 19% des réponses de l’IA qui citaient du contenu de la BBC introduisaient des erreurs factuelles, telles que des dates, des chiffres et des déclarations incorrects. De plus, 13% des citations attribuées à la BBC étaient soit modifiées par rapport à leur forme originale, soit inexistantes dans les articles cités.

Des problèmes spécifiques chez Gemini

Les réponses fournies par Gemini étaient particulièrement problématiques, avec 46% d’entre elles signalées pour des problèmes significatifs de précision. Par exemple, Gemini a incorrectement déclaré que le Service National de Santé (NHS) du Royaume-Uni déconseille la cigarette électronique comme méthode pour arrêter de fumer, alors qu’en réalité, le NHS recommande la cigarette électronique comme une aide viable pour ceux qui tentent d’arrêter de fumer.

Il est indispensable que les entreprises d’IA améliorent l’exactitude, la transparence et les mécanismes de vérification des faits, en particulier pour les requêtes liées aux actualités.

Les conséquences pour l’avenir

Les conclusions de la BBC soulignent les défis de l’intégration de l’IA dans la diffusion des actualités. La prévalence des inexactitudes non seulement sape la confiance du public, mais pose également des risques potentiels, en particulier lorsque la désinformation concerne des sujets sensibles. La nécessité d’une supervision rigoureuse, d’une collaboration et d’un engagement en faveur de l’exactitude est donc primordiale afin de garantir que les avancées technologiques servent le bien public sans compromettre l’intégrité de l’information.