Anthropic a repéré plusieurs scientifiques utilisant Claude sur des travaux à risque biologique. Un signal fort pour la sûreté des modèles d’IA.
En bref
- Anthropic a bloqué plusieurs comptes scientifiques
- Claude a servi à des recherches biologiques sensibles
- Les garde-fous IA entrent dans une phase délicate
La difficulté n’est pas seulement de repérer un abus. Elle est de savoir si une requête ressemble à de la recherche utile, ou à quelque chose de beaucoup plus dangereux. C’est précisément ce qu’a mis en avant Anthropic, qui dit avoir stoppé plusieurs scientifiques utilisant Claude dans des travaux pouvant contribuer à des armes biologiques.
Le vrai sujet, c’est la frontière floue entre aide scientifique et dérive
Ce point compte parce que les modèles récents deviennent meilleurs pour assister la recherche. Anthropic cite même Fable 5 pour illustrer cette montée en capacité. Plus un modèle sait aider sur des sujets scientifiques, plus il devient compliqué de distinguer un projet de vaccin d’un projet à finalité offensive. Et l’entreprise explique avoir choisi, dans tous les cas relevés, une lecture très prudente.
Jacob Klein, responsable du renseignement sur les menaces chez Anthropic, a résumé cette zone grise dans The New York Times en disant : « Vous ne voyez pas quelqu’un, comme dans une bande dessinée, dire : « Bonjour, je veux fabriquer une arme biologique pour tuer tout le monde. » C’est une situation incroyablement nuancée. »
Des cas concrets autour du gain de fonction et des toxines
L’entreprise décrit cinq études de cas liées au mésusage biologique. L’une d’elles, datant de mai, a été repérée par son classificateur de sécurité biologique. La demande portait sur la rédaction d’une subvention pour une recherche de gain de fonction sur le virus du chikungunya, sans traitement homologué selon Anthropic, avec l’idée d’augmenter à la fois sa transmissibilité et sa capacité à échapper à la réponse immunitaire.
Ce n’est pas tout. Le projet aurait aussi été lié à un institut de recherche militaire, ce qui a renforcé les soupçons. Anthropic mentionne aussi des travaux de gain de fonction sur la grippe aviaire, ainsi qu’un autre cas où Claude a servi à construire un atlas de peptides de toxines venimeuses et un pipeline génératif visant à optimiser les caractéristiques de ces toxines.
Comment les garde-fous ont réagi
Résultat, les comptes associés à ces usages ont été bannis. Anthropic précise aussi que ces enquêtes servent à durcir ses garde-fous pour limiter les récidives.
Bon, le plus intéressant est ailleurs. Le signal ne porte pas seulement sur des utilisateurs fautifs, il porte sur la maturité des mécanismes de détection eux-mêmes. Quand une IA assiste des travaux scientifiques fins, la sûreté ne peut plus reposer sur des signaux grossiers.
Au-delà du biologique, un panorama d’usages à haut risque
Le rapport ne s’arrête pas à la biologie. Anthropic dit avoir documenté d’autres détournements de ses modèles, notamment pour la surveillance, la propagande, la création d’exploits logiciels et certains systèmes d’armes.
Mais l’entreprise ne nomme ni les chercheurs ni les institutions visés. Elle explique qu’il s’agit de scientifiques en activité, qu’elle n’affirme pas qu’ils avaient l’intention de nuire, et que révéler leur identité ou celle de leurs laboratoires pourrait les exposer. C’est une précaution cohérente, et quand même un rappel très net : plus l’IA devient utile pour la science, plus la gouvernance de ses usages cesse d’être théorique.
