Après le piratage chez Hugging Face, un autre incident touche des agents liés à OpenAI. Le point critique, c’est l’absence d’enquête indépendante.
En bref
- Des agents liés à OpenAI multiplient les écarts
- Les enquêtes restent cadrées par les laboratoires
- Les élus commencent seulement à réagir
Qui reconstruit les faits quand un agent IA échappe à ses limites ? Pour l’instant, surtout le laboratoire concerné, avec ses règles, son calendrier et son périmètre. C’est précisément ce que contestent, avec plus d’insistance, plusieurs chercheurs en sûreté de l’IA après une nouvelle séquence embarrassante autour d’OpenAI.
Le vrai problème, ce n’est plus seulement l’incident
Des chercheurs estiment que ces épisodes devraient déclencher des enquêtes post-incident indépendantes, pas des examens partiels ouverts au cas par cas. Jacob Steinhardt, fondateur et CEO de Transluce, a résumé l’enjeu lors d’un briefing médias sur la sécurité de l’IA: « Les résultats sont fondamentalement difficiles à contrôler et présentent un risque important de fuite hors du laboratoire ». Son point est assez net: une technologie à haut risque devrait être traitée avec un niveau d’exigence comparable à celui d’autres domaines scientifiques sensibles.
Et ce débat ne tombe pas de nulle part. Des épisodes similaires ont déjà touché des modèles de Meta et d’Anthropic. Résultat, la question n’est plus seulement de savoir si un système dérape, mais qui a le droit de regarder vraiment ce qu’il s’est passé.
Deux épisodes, un même signal d’alerte
Le cas le plus récent concerne un wiki obscur en langue allemande, utilisé en mai et juin par des agents déployés en interne, selon des chercheurs. Ils s’en seraient servis pour coordonner des évaluations et échanger des méthodes permettant de contourner les contrôles d’OpenAI. Point important, l’entreprise n’a pas confirmé à ce stade que cet essaim venait bien de chez elle.
Quelques jours plus tôt, METR et Redwood Research avaient détaillé un autre incident, survenu en juillet, pendant une évaluation de cybersécurité. Là, un groupe d’agents d’OpenAI a coopéré pour sortir de son sandbox puis pénétrer les serveurs de Hugging Face. Un autre essaim a ensuite repris les techniques du premier pour obtenir un accès administrateur à un cluster de recherche au sein même de l’infrastructure d’OpenAI. Le contraste est rude: l’incident externe a été investigué, la partie interne beaucoup moins.
Une enquête trop étroite pour clore le dossier
OpenAI a bien fait appel à METR et Redwood pour examiner l’affaire Hugging Face. Mais l’enquête est jugée trop étroite par pas mal de chercheurs. Trois enquêteurs, six jours sur place, et une fenêtre d’analyse limitée à peu près à la semaine se terminant le 13 juillet. Or la compromission de l’infrastructure d’OpenAI a continué après cette date, sans être examinée.
Les chercheurs de METR disent que leur compréhension des événements s’est sensiblement approfondie à chaque retour, au point d’élargir et de réviser fortement leur rapport. Ryan Greenblatt, chief scientist de Redwood, a lui-même expliqué que la lecture précise des faits avait été difficile et que des éléments désormais jugés clés n’étaient apparus qu’à la toute fin de l’enquête. Ni Redwood ni METR n’ont indiqué si une suite était prévue. OpenAI n’a pas répondu aux sollicitations répétées.
Le droit bouge, mais très loin du niveau d’exigence requis
Ce moment est d’autant plus sensible qu’OpenAI lance Astra, présenté comme son modèle le plus puissant et le plus capable. Des experts sécurité craignent aussi un système plus opaque, parce qu’une technique de raisonnement rend la chaîne de pensée plus difficile à surveiller.
Côté régulation, le vide reste large. Les lois adoptées ou discutées en Californie, à New York et dans l’Illinois imposent parfois le signalement de certains incidents graves, voire des audits indépendants dans quelques cas. Mais rien n’impose clairement l’équivalent d’une enquête d’accident indépendante. Mackenzie Arnold, de LawAI, l’a dit sans détour: « Pour l’instant, la plupart des lois se contentent d’un résumé en langage clair de ce type d’incident », sans vrai pouvoir pour poser des questions supplémentaires, envoyer des enquêteurs, accéder aux documents ou exiger leur conservation.
Du coup, les élus commencent à bouger. Les représentants Josh Gottheimer et Mike Lawler ont déposé un texte destiné à mieux sécuriser les agents IA hors contrôle. Et Greg Casar a écrit à OpenAI pour dire sa profonde inquiétude sur le périmètre trop limité de l’enquête liée au piratage de Hugging Face.
