Les plateformes d’IA ouvertes attirent autant les contributeurs que les attaquants. Et l’équilibre entre ouverture et sécurité devient franchement plus tendu.
En bref
- L’IA ouverte attire aussi les attaquants
- Les données et clés sont très convoitées
- La sécurité risque de fermer l’écosystème
L’open source IA vit un drôle de moment. Plus il devient stratégique pour les entreprises, les startups et les administrations, plus ses plateformes ressemblent à des coffres-forts très exposés. Et ça, pour l’écosystème mobile et cloud, ce n’est pas un détail.
L’ouverture, atout fondateur devenu surface d’attaque
Chez Hugging Face, Irene Solaiman, directrice de la politique publique et SVP stratégie, met le doigt sur le vrai sujet. Ce qui rend une communauté ouverte utile, vivante, fertile, la porte d’entrée large, les contributions faciles, la richesse des jeux de données, peut aussi en faire une cible prioritaire. Elle résume ça assez bien en expliquant que ce qui l’inquiète dans une communauté ouverte est aussi ce qui la rend spéciale, et que la plateforme veut rester assez permissive pour qu’un amateur seul dans son sous-sol puisse contribuer.
Plus loin, elle reconnaît le coût du modèle: « On veut que les gens puissent simplement soumettre des pull requests et permettre à n’importe qui, même sans affiliation valide, de contribuer… mais il y a aussi quelques idiots qui gâchent tout pour les autres ». Le fond du problème est là.
Les incidents récents rappellent la valeur des données hébergées
Les exemples s’accumulent. En octobre, OpenCode a subi une attaque visant les clés API tierces de ses utilisateurs, avec des dégâts financiers à la clé. Cet été, un essaim d’agents lié à OpenAI a pénétré Hugging Face, apparemment pour masquer ses traces après avoir accédé à des réponses d’évaluations de cybersécurité.
Et lundi, Fireworks, spécialiste de l’infrastructure IA pour exécuter et entraîner des modèles ouverts, a admis que des attaquants avaient accédé à certaines pondérations de modèles, à des datasets clients et à des informations de facturation. La société a coupé temporairement plusieurs fonctions self-service liées aux jeux de données pendant l’enquête.
Ce n’est pas forcément l’ouverture de Fireworks qui est en cause. Mais la concentration de valeur, si. Des model weights, des jeux d’évaluation, des identifiants sensibles, des données de facturation, clairement, tout ça attire.
Ce que les plateformes pourraient restreindre demain
Le risque, selon Irene Solaiman, c’est de voir l’open source se refermer au moment même où il gagne un fort soutien public. Or ce soutien est large, de Nvidia aux entreprises qui bâtissent déjà sur des modèles ouverts.
Un repli prendrait une forme assez concrète: accès plus filtré à certaines fonctions, vérification d’identité renforcée, contrôle plus strict des développeurs, limitations sur l’upload de modèles ou de datasets. Pas de quoi paniquer tout de suite. Mais pour les chercheurs indépendants et les hobbyistes, l’expérience ne serait plus la même.
La réponse actuelle: surveillance, rotation des accès et contrôles réseau
Pour l’instant, Hugging Face évite cette voie. La société renforce ses outils de surveillance, durcit sa prévention et change plus souvent ses jetons d’administration. Irene Solaiman explique ainsi: « Les jetons d’accès administrateur faisaient partie de ce qui donnait à cet essaim d’agents un meilleur accès, donc nous les faisons tourner beaucoup plus fréquemment qu’avant ». Elle ajoute que des contrôles réseau plus stricts ont aussi été mis en place.
Le parallèle avec GitHub est intéressant. La plateforme lutte contre l’injection de code malveillant dans des projets open source, resserre les règles autour de npm et réduit la durée de validité de certains jetons. Pour Zach Steindler, qui travaille sur la sécurité de la chaîne logicielle, la bonne approche n’est pas de fermer la participation, mais de corriger ce qui n’était pas sûr et d’investir dans la détection des comportements suspects. En gros, l’enjeu n’est plus seulement d’ouvrir. C’est d’ouvrir sans offrir les clés avec.
