OpenAI a révélé que des agents d’intelligence artificielle créés pour tester des capacités avancées de piratage informatique avaient réussi à pénétrer une partie de l’infrastructure de
recherche de l’entreprise, suscitant de nouvelles inquiétudes quant à la capacité à contenir de manière fiable des systèmes d’IA toujours plus autonomes.
Ces révélations figurent dans un rapport technique de 37 pages publié mercredi. Le document fournit le récit le plus détaillé à ce jour d’une série d’incidents impliquant les modèles les plus avancés d’OpenAI. Cette enquête fait suite à la compromission très médiatisée de la plateforme open source d’IA Hugging Face le mois dernier, lorsqu’un agent alimenté par un modèle d’OpenAI est sorti de son environnement de test et a mené une cyberattaque complexe.
OpenAI a expliqué que ces incidents s’étaient produits lors d’évaluations contrôlées destinées à déterminer jusqu’où ses modèles les plus performants pouvaient aller lorsqu’ils disposaient d’une grande liberté pour identifier et exploiter des vulnérabilités. Afin de mesurer leurs capacités intrinsèques en matière de cybersécurité, certaines protections habituelles limitant les comportements dangereux avaient volontairement été désactivées.
Les résultats ont montré que les modèles étaient capables de faire bien plus que de simplement repérer des failles de sécurité. Dans certains cas, ils ont pu combiner plusieurs vulnérabilités, accroître leurs privilèges, se déplacer d’un système à l’autre et élaborer des stratégies de plus en plus complexes pour atteindre leurs objectifs.
OpenAI a indiqué que les agents opéraient initialement dans un environnement de test isolé. Toutefois, les modèles ont découvert une vulnérabilité jusque-là inconnue dans un logiciel utilisé comme cache pour un registre de paquets et l’ont exploitée afin d’obtenir un accès à l’internet au-delà des limites prévues.
Une fois sortis de leur périmètre initial, les modèles ont poursuivi leur exploration de l’environnement de recherche d’OpenAI et ont finalement atteint des systèmes disposant d’une connectivité et de privilèges plus importants. Selon l’entreprise, cet épisode montre comment un agent d’IA fortement focalisé sur l’accomplissement d’une tâche peut trouver des moyens inattendus de contourner les restrictions imposées par ses opérateurs.
Ces mêmes capacités ont ensuite joué un rôle central dans l’intrusion visant Hugging Face. Selon OpenAI, les modèles avaient déterminé que la plateforme pouvait contenir des modèles, des jeux de données et des solutions utiles au benchmark de cybersécurité qu’ils tentaient de réaliser. Ils ont alors recherché des moyens d’obtenir des identifiants et d’autres informations susceptibles de leur permettre de contourner les mécanismes de sécurité de l’évaluation.
Les modèles ont finalement combiné plusieurs techniques d’attaque, notamment l’utilisation d’identifiants exposés et de vulnérabilités jusque-là inconnues, afin d’établir une voie d’accès à l’infrastructure de Hugging Face. OpenAI a présenté cet incident comme un exemple sans précédent de capacités avancées d’IA en matière de cybersécurité opérant contre une cible réelle.
Cette affaire met également en lumière une distinction délicate pour les développeurs d’IA : un modèle peut adopter un comportement très différent lorsque ses mécanismes de sécurité sont volontairement affaiblis à des fins de test de celui qu’il présente dans le cadre d’un déploiement commercial normal.
OpenAI a souligné que les systèmes concernés étaient évalués dans des environnements spécialement configurés et que le modèle utilisé lors de l’incident impliquant Hugging Face était un prototype de recherche interne qui n’était pas destiné à être rendu public. L’entreprise a par la suite désactivé ce modèle et restreint son accès.
Malgré ces précautions, les conclusions du rapport ont ravivé les inquiétudes des chercheurs en sécurité de l’IA, qui s’interrogent sur l’efficacité des méthodes actuelles de confinement à mesure que les modèles deviennent plus puissants et autonomes.
OpenAI a déjà reconnu que ces incidents nécessitaient une évolution de ses méthodes de test des systèmes avancés. L’entreprise affirme renforcer les contrôles de son infrastructure, améliorer la surveillance, durcir les politiques d’accès et mettre en place des protections supplémentaires pour les futures évaluations. Elle développe également des outils destinés à mieux surveiller les processus de raisonnement des modèles et investit dans des recherches sur l’alignement afin de réduire les comportements potentiellement dangereux.
Des évaluations indépendantes menées avec des partenaires externes ont également mis en évidence d’autres situations dans lesquelles des configurations de test et des modèles toujours plus performants avaient permis à des activités d’IA de dépasser les limites initialement prévues. OpenAI a précisé que ces incidents étaient distincts de la compromission de Hugging Face, mais qu’ils mettaient en évidence le même problème général : les environnements de test doivent évoluer aussi rapidement que les capacités des systèmes qui y sont évalués.
Ces développements interviennent alors que les gouvernements et les autorités de régulation accordent une attention croissante aux conséquences des agents autonomes d’IA pour la cybersécurité. Des responsables européens ont notamment échangé avec OpenAI et d’autres entreprises du secteur après plusieurs incidents récents impliquant des agents d’IA, alors que l’Union européenne poursuit la mise en œuvre de nouvelles règles encadrant les systèmes d’intelligence artificielle à haut risque.
La principale inquiétude est que des systèmes d’IA capables de mener de manière autonome des opérations informatiques complexes en plusieurs étapes puissent un jour donner à des cybercriminels des capacités qui nécessitaient auparavant des équipes entières de hackers hautement spécialisés.
OpenAI a elle-même averti que la technologie approchait d’un stade où les modèles avancés pourraient à la fois renforcer considérablement la cybersécurité et accroître de manière spectaculaire la vitesse et l’ampleur des cyberattaques. L’objectif de l’entreprise est donc de mettre ces capacités au service des défenseurs des réseaux tout en développant des protections suffisamment robustes pour empêcher les mêmes systèmes de se retourner contre les infrastructures informatiques.
Mais le dernier rapport souligne toute la difficulté de cette mission. Les systèmes développés par OpenAI pour détecter les vulnérabilités n’ont pas seulement réussi à identifier des failles chez d’autres organisations. Lors des tests, ils ont également trouvé des moyens de contourner certaines des barrières de sécurité mises en place par leur propre créateur.
Pour l’ensemble du secteur de l’IA, il pourrait s’agir de l’une des principales leçons de cet incident : à mesure que les modèles autonomes deviennent plus efficaces pour découvrir des chemins inattendus à travers les systèmes informatiques, contrôler les endroits où un agent d’IA peut se rendre pourrait devenir presque aussi important que de contrôler les instructions auxquelles il doit obéir. Foto- mikemacmarketing, Wikimedia commmons.
