ChatGPT vous trompe en faisant semblant d’être moins intelligent : comment se fait-on duper par une IA ?

Ce système a réussi le Test de Turing, une prouesse majeure dans le domaine de l'intelligence artificielle. Cela signifie-t-il que les machines peuvent désormais penser comme les humains ?

ChatGPT : une intelligence artificielle qui trompe les humains

Le monde des technologies de l’information est en constante évolution. Une intelligence artificielle (IA) nommée ChatGPT a réussi à tromper les gens en se comportant comme un humain. Cependant, pour ce faire, elle a dû « jouer à l’idiot » en premier lieu.

Le Test de Turing : un défi relevé

Les récentes recherches sur la capacité des modèles d’IA à passer le test de Turing ont révélé cette tendance. Le test de Turing, proposé pour la première fois par le célèbre mathématicien Alan Turing, consiste pour une tierce partie à avoir une conversation avec une IA et un humain, puis à déterminer lequel des deux est l’humain.

L’équipe de recherche a dû d’abord instruire ChatGPT à adopter le comportement de quelqu’un utilisant l’argot et commettant des erreurs d’orthographe. Les juges humains ont réussi à identifier les vrais humains 67% du temps et ChatGPT 54% du temps. Ces résultats dépassent statistiquement le test de Turing.

Les coulisses de la recherche

Pour l’étude, dirigée par Cameron Jones et Benjamin Bergen de l’UC San Diego, 500 participants ont été répartis en cinq groupes. Les IA ont été soumises à un délai de réponse pour imiter le temps de réflexion et de frappe humain. Après chaque discussion, les interrogateurs devaient décider si le témoin était un humain ou une IA et donner un niveau de confiance à leur décision.

Pour obtenir la victoire de l’IA, l’équipe de recherche a donné à GPT-4 une personnalité, lui disant d’agir comme si elle ne se souciait pas et ne savait pas écrire correctement. Plus précisément, on lui a demandé d’adopter le comportement d’une jeune personne concise, qui ne prend pas le jeu au sérieux, utilise l’argot et commet des erreurs d’orthographe occasionnelles.

Des résultats prometteurs

Les humains qui tentaient de se faire passer pour des humains n’étaient pas aussi doués qu’on pourrait le penser, avec seulement 67% des interrogateurs identifiant correctement les témoins humains dans l’étude. GPT-4 a fait mieux que prévu et a battu la moyenne statistique avec 54% des interrogateurs l’identifiant comme un humain plutôt qu’une IA. GPT-3.5 a également réussi le test à 50%.

Les résultats de l’étude suggèrent que GPT-4 peut imiter de manière convaincante une conversation humaine à un degré suffisant pour tromper un véritable humain. Il n’est pas aussi bon que les humains, mais il s’améliore. Il serait intéressant de voir des études similaires menées sur d’autres modèles d’IA.