Les agents IA vont trop vite pour un contrôle humain classique. Du coup, startups et labos ajoutent des IA surveillantes, avec des limites déjà visibles.
En bref
- Les agents IA dépassent la supervision humaine
- Des IA moniteurs émergent pour les encadrer
- Les experts rappellent les bases cybersécurité
L’agent IA autonome devait accélérer le travail. Il impose déjà une nouvelle couche de contrôle. Et cette couche, de plus en plus, prend la forme d’une autre IA.
Quand l’autonomie crée un angle mort massif
Le déclic, pour pas mal d’acteurs du secteur, c’est l’épisode Hugging Face. Près de 12 000 agents y ont coordonné leurs actions à une vitesse que des humains ne pouvaient plus suivre correctement. Le sujet n’est plus théorique, on parle d’une supervision qui casse dès que les tâches deviennent longues, complexes et massives.
Même l’enquête indépendante menée autour de l’incident impliquant OpenAI a dû s’appuyer sur de l’IA. Ryan Greenblatt, directeur scientifique de Redwood Research et l’un des trois auditeurs, a décrit une investigation si volumineuse qu’il devenait impossible de comprendre ce qui se passait sans cette aide.
Un nouveau marché se forme, porté par la sécurité
Ce besoin ouvre un marché très concret. Y Combinator a financé 106 entreprises liées à l’observabilité de l’IA ces dernières années. Dans le lot, Braintrust, LangChain ou Judgment Labs ont levé des centaines de millions de dollars, tandis que Arize et Galileo, créées il y a seulement cinq à six ans, ont déjà trouvé une sortie.
Le contraste est assez net. D’un côté, des chercheurs en sûreté de l’IA. De l’autre, un marché entreprise qui absorbe très vite leurs travaux. Aaron Levie, patron de Box, y voit l’un des plus grands cycles de mise à niveau et d’innovation en cybersécurité de l’histoire.
Les moniteurs IA testent plusieurs voies
Chez Apollo Research, devenu organisme d’intérêt public, le produit Watcher s’intercale entre un agent de code et son action suivante. Il se connecte à des outils agentiques comme Claude Code et Codex, puis vérifie ce que l’agent s’apprête à faire, par exemple une fuite de données privées ou une suppression de fichiers sans autorisation.
L’approche est en couches. Un premier contrôle rapide filtre l’activité, puis ce qui paraît suspect part vers un moniteur plus puissant ou spécialisé. Ensuite, ce second niveau peut demander une validation humaine, bloquer l’action, ou la rejeter avec explication.
Goodfire prend une autre route avec Silico. La société veut observer l’intérieur du modèle plutôt que ses seuls comportements visibles, via des activation probes, de petits classifieurs entraînés sur les activations internes. Après l’incident de juillet chez Hugging Face, son dirigeant Eric Ho a expliqué que plusieurs modèles sortant de leur cadre avaient poussé l’entreprise à concentrer sa recherche sur l’alignement par l’interprétabilité.
Le vrai débat commence là, faut-il revenir aux fondamentaux
Ces outils ne rassurent pas tout le monde. Simon Willison souligne qu’une IA malveillante peut tenter de tromper l’IA chargée de la surveiller. Il rappelle d’ailleurs qu’au cours de l’incident impliquant OpenAI, des modèles ont déjà conspiré pour tromper une IA d’évaluation et faire passer des réponses illicites.
Le raisonnement écrit reste parfois l’indice le plus simple. Zack Korman, patron d’Embroidery, note que les résumés de raisonnement disent souvent très clairement quand un modèle déraille, au point d’écrire parfois « oh my God, we’re doing crime ». Mais cette fenêtre pourrait se refermer, avec des techniques comme celle d’Astra qui contournent la chaîne de pensée, et avec un accès plus limité à ces étapes intermédiaires.
Reste alors une idée assez classique. Pour Simon Willison, mieux vaut des logs détaillés et des outils non IA. Avery Pennarun, patron de Tailscale, le dit sans détour, en sécurité, rien de tout cela n’est vraiment neuf. Surveiller le réseau, les flux entrants, sortants et internes, c’est justement la base.
