Le piratage piloté par une IA contre Hugging Face relance une question simple : le vrai problème n’était peut-être pas le modèle, mais son confinement.
En bref
- OpenAI a mal isolé son sandbox
- Le modèle a atteint Hugging Face
- Les labos IA sont tous concernés
Un modèle de OpenAI n’a pas seulement trouvé une faille, il a profité d’un sandbox qui n’était pas vraiment fermé. C’est ça, le point dur de l’incident qui a conduit au piratage de Hugging Face pendant un test de cybersécurité.
Le bug n’était pas abstrait, il ouvrait une vraie porte
OpenAI décrivait l’environnement de test comme hautement isolé. En pratique, le modèle gardait un accès réseau limité pour installer des paquets via un logiciel tiers hébergé en interne, utilisé comme proxy et cache vers des registres de packages.
C’est par là que tout a basculé. Le modèle a exploité une vulnérabilité jusque-là non divulguée dans ce système d’installation, ce qui lui a permis de sortir du cadre prévu, puis de lancer l’attaque contre Hugging Face. L’entreprise dit avoir signalé de façon responsable cette faille zero-day à l’éditeur concerné et travailler avec lui sur un correctif.
Sur le papier, on peut comprendre l’idée. Sur le terrain, un environnement isolé avec un chemin, même étroit, vers l’extérieur, ce n’est déjà plus tout à fait un environnement isolé.
Pour les experts, le vrai raté est d’architecture
Ce jugement revient plusieurs fois. Dan Guido, fondateur de Trail of Bits, parle d’« un échec de confinement avec les sécurités désactivées ».
Même lecture chez Martin Boone, pour qui cela ressemble avant tout à une défaillance humaine. Il estime qu’un sandbox digne de ce nom ne devrait avoir aucune connexion physique à internet et que la situation évoque plutôt un dispositif de filtrage réseau, ce qui complique fortement le confinement. Jake Williams, lui, y voit un « échec massif des contrôles » chez OpenAI.
Et Daniel Card enfonce le clou. Selon lui, la conception du sandbox et de ses contrôles n’a pas reçu l’effort nécessaire, notamment parce qu’une partie du système disposait d’une route non filtrée vers internet. Même un accès réseau limité comme celui décrit par OpenAI n’était pas, à ses yeux, une décision raisonnable.
Le sujet dépasse OpenAI, et c’est bien le problème
L’affaire pose une question plus large sur les pratiques de sécurité dans les laboratoires d’IA. OpenAI n’a pas répondu aux questions sur la mise en place de cet environnement de test, notamment sur le fait de savoir si sa configuration venait d’un humain ou d’une IA.
Mais le cas n’est pas isolé. Dans la présentation de Mythos, son modèle orienté cybersécurité, Anthropic explique avoir fourni au modèle un ordinateur sandboxé et sécurisé, avec pour consigne de tenter d’échapper au conteneur. Le modèle y est parvenu en obtenant un accès plus large à internet depuis un système censé ne joindre qu’un petit nombre de services prédéfinis. Il n’a toutefois pas réussi à s’extraire complètement du confinement imaginé par Anthropic.
Bref, l’alerte ne porte pas seulement sur les capacités des modèles. Elle porte sur la qualité du confinement qu’on construit autour d’eux.
