Connaissez vous les chatbots GPT-3 ?

Un chatbot GPT-3 est une application logicielle capable de mener une conversation avec un utilisateur humain via un langage écrit ou parlé. Les changements sont hallucinants, peut-être trop... Explication sur les façons intéressantes dont GPT-3 a été exploité.

Le niveau «d’intelligence» des chatbots varie considérablement. Alors que certains chatbots ont une compréhension assez basique du langage, d’autres utilisent des algorithmes sophistiqués d’intelligence artificielle (IA) et d’apprentissage automatique (ML) pour atteindre un niveau de conversation presque humain.

GPT-3 (Generative Pre-Training Transformer 3) est un modèle de langage très avancé formé sur un très grand corpus de texte. Malgré sa complexité interne, il est étonnamment simple à utiliser : vous lui donnez du texte, et le modèle en génère d’autres, suivant un style et une structure similaires. Cela devient aussi une menace, un récent article montré que les modèles de langage de pointe peuvent produire une désinformation convaincante lors d’élection. Un rapport de l’Oxford Internet Institute publié en 2019 a trouvé des preuves de bots diffusant de la propagande dans 50 pays, dont Cuba, l’Égypte, l’Inde, l’Iran, l’Italie, la Corée du Sud et le Vietnam. Au Royaume-Uni, les chercheurs estiment qu’un demi-million de tweets sur la proposition du pays de quitter l’Union européenne (connu sous le nom de «Brexit») envoyés entre le 5 et le 12 juin provenaient de bots.

OpenAI a publié il y a quelques mois un accès bêta à son dernier modèle de langage naturel à grande échelle appelé GPT-3. Le nouveau modèle représente une avancée majeure dans la manière dont une machine peut comprendre le langage humain et il a surpris la plupart de la communauté de l’IA.

Apprentissage par transfert

Qu’est-ce que l’apprentissage par transfert ? C’est quelque chose que nous, les humains, faisons naturellement lorsque nous apprenons quelque chose de nouveau. Nous utilisons les connaissances que nous apprenons en effectuant une tâche, pour résoudre les tâches connexes. Nous avons une capacité inhérente à transférer les connaissances entre les tâches. Par exemple, le simple fait de lire cet article utilise des connaissances acquises dans le passé, telles que la lecture en français, et sont maintenant réutilisées pour cette tâche particulière.

Jusqu’à l’introduction de l’apprentissage par transfert, l’intelligence artificielle et l’apprentissage automatique ont été conçus pour fonctionner principalement de manière isolée. Ce qui signifie que pour chaque nouvelle tâche, une toute nouvelle représentation devait être apprise à partir de zéro. Imaginez qu’à chaque fois que vous avez besoin de lire un article, vous deviez réapprendre le français…

L’apprentissage par transfert a permis aux chercheurs d’exécuter des algorithmes sur d’énormes quantités de données non étiquetées, ce qui ne nécessite aucune préparation fastidieuse, et de générer des modèles de plus en plus gros. Par exemple, l’élaboration d’une réponse professionnelle à un e-mail prend beaucoup de temps, surtout si vous devez aborder plusieurs points ou questions soulevés dans le message initial. Cela pourrait changer avec l’aide de modèles de langage comme GPT-3, au lieu de composer les phrases complètes, on pourrait simplement écrire les principales puces en mots simples ou en phrases courtes. Ensuite, en un clic, l’intégralité de l’e-mail sera générée et prête à être examinée.

La gamme des applications développées depuis sa sortie est vaste et couvre de nombreux domaines et cas d’utilisation, de la génération de programme à la création de contenu créatif. Les progrès de l’IA comme GPT-3 pourraient avoir un impact significatif sur les équipes de support client et d’expérience client. De nombreuses tâches seront plus faciles à effectuer, de l’élaboration des réponses à la recherche des bonnes informations nécessaires pour résoudre une demande client.

Oui, mais

Les modèles de langage comme GPT-3 sont des imitations incroyables, capable d’écrire certes des articles mais ils ont peu de sens de ce qu’ils disent réellement. « Ils sont vraiment doués pour générer des histoires sur les licornes », déclare Mike Tung, PDG de la start-up Diffbot de Stanford. « Mais ils ne sont pas formés pour être factuels. » Lors du développement du réseau neuronal, appelé phase d’apprentissage, GPT-3 reçoit des millions et des millions d’échantillons de texte et convertit les mots en ce qu’on appelle des vecteurs, des représentations numériques. C’est une forme de compression de données. Le programme essaie ensuite de décompresser ce texte compressé en une phrase valide.

C’est un problème si nous voulons que les IA soient dignes de confiance. C’est pourquoi Diffbot adopte une approche différente. Il construit une IA qui lit chaque page sur l’ensemble du Web public, dans plusieurs langues, et extrait autant de faits de ces pages que possible. Comme GPT-3, le système de Diffbot apprend en aspirant de grandes quantités de textes écrits par l’homme trouvés en ligne. Mais au lieu d’utiliser ces données pour former un modèle de langage, Diffbot transforme ce qu’il lit en une série de faits en trois parties qui relient une chose à une autre : sujet, verbe, objet.

Aux côtés de Google et Microsoft, c’est l’une des trois seules entreprises américaines à explorer l’ensemble du Web public. L’automatisation est le seul moyen de créer des graphiques de connaissances à grande échelle

Pour allez plus loin, 15 façons intéressantes d’utiliser GPT-3.