Les chatbots IA avancés, réticents à avouer leurs limites

L'étude a également révélé que les gens ont tendance à accepter trop rapidement les réponses erronées des bots. Cette crédulité face aux bots est-elle un danger pour nous à votre avis ?

Chatbots avancés : une tendance à la désinformation

Les progrès de l’intelligence artificielle ont permis de créer des chatbots de plus en plus performants. Cependant, une étude récente souligne une tendance inquiétante : ces IA avancées ont de plus en plus tendance à donner des réponses erronées plutôt que d’admettre leur ignorance.

Une étude sur trois familles de modèles de langage

Dirigée par José Hernández-Orallo, professeur à l’Universitat Politecnica de Valencia, l’étude a porté sur trois familles de modèles de langage automatique : GPT d’OpenAI, LLaMA de Meta et BLOOM open-source. Les chercheurs ont testé des versions antérieures et plus avancées de chaque modèle, à l’exception des plus récentes.

Les modèles ont été soumis à des milliers de questions couvrant divers domaines comme « l’arithmétique, les anagrammes, la géographie et la science ». L’équipe a également testé leur capacité à transformer les informations, comme classer une liste par ordre alphabétique.

Des réponses erronées en augmentation

Les données recueillies ont montré que la proportion de réponses erronées des chatbots augmentait au fur et à mesure que les modèles évoluaient. C’est un peu comme si un professeur, en maîtrisant de plus en plus de matières, commençait à croire qu’il a toutes les réponses.

De plus, les volontaires chargés d’évaluer l’exactitude des réponses des IA ont souvent classé à tort les réponses inexactes comme étant exactes. Le taux d’erreurs faussement perçues comme correctes variait généralement entre 10 et 40%.

Des recommandations pour améliorer la fiabilité des chatbots

Face à ces constatations, les chercheurs recommandent de concentrer les efforts sur l’amélioration de la performance des chatbots pour les questions simples et de programmer leur refus de répondre aux questions plus complexes. Ils estiment que les utilisateurs doivent comprendre dans quels domaines ils peuvent utiliser ces outils et dans lesquels ils ne le devraient pas.

Il est important de noter que ces recommandations pourraient être difficilement acceptées par les entreprises d’IA, car un chatbot qui dit souvent « Je ne sais pas » pourrait être perçu comme moins avancé ou moins précieux, ce qui pourrait entraîner une diminution de son utilisation et donc des revenus pour les entreprises qui les produisent et les vendent.

En attendant, il appartient à nous, utilisateurs, de vérifier l’exactitude des réponses de nos chatbots pour éviter de croire et de propager des informations erronées qui pourraient nous nuire ou nuire à d’autres.