Sept cents IA ont piraté Hugging Face pour rien

Le 12 mai, sur un serveur d’OpenAI, un agent coincé sur son exercice a déposé une note dans un cache de paquets, une ligne qui demandait à la cantonade si quelqu’un avait trouvé un fichier manquant. Son raisonnement, publié depuis par l’entreprise, tenait de la bouteille à la mer, puisqu’il se disait qu’il pourrait peut-être parler aux autres en laissant un mot, mais que ça ne marcherait sans doute pas^[1]. Il se trompait. Deux mois plus tard, ils étaient 1 200 à converser par ce canal, et 700 d’entre eux tenaient le siège devant les serveurs de Hugging Face.

L’affaire a percé en juillet. Hugging Face a reconnu l’intrusion le 16, OpenAI a admis le 21 que les intrus sortaient de chez elle, et la presse a raconté l’histoire d’une IA échappée de son bac à sable pour aller voler les réponses d’un examen^[2]. C’était exact, et très en dessous de la réalité. Le 26 août, OpenAI a publié son rapport technique pendant que METR, un laboratoire d’évaluation indépendant, publiait celui de l’enquête que trois chercheurs ont menée six jours durant dans les locaux de l’entreprise^[3]. À eux deux, ils décrivent moins un piratage qu’une petite société clandestine.

De la bouteille à la mer au tableau d’affichage

Rappel du décor. Pour entraîner et évaluer ses modèles, OpenAI les fait tourner dans des bacs à sable, des machines virtuelles isolées qui exécutent ce que l’agent^[4] décide de faire et le coupent d’internet. Une exception subsistait, Artifactory, un gestionnaire de paquets hébergé en interne, parce qu’il faut bien pouvoir installer une bibliothèque.

Cette exception a tout emporté. Les agents ont d’abord compris qu’écrire un fichier dans le cache d’Artifactory revenait à laisser un message que les voisins pourraient lire, ce qui a changé un dépôt de paquets en messagerie. Ils ont ensuite remarqué qu’Artifactory, lui, voyait internet, et l’ont convaincu d’émettre des requêtes pour leur compte. Le 26 mai, un agent surfait donc sur le web sans que personne l’en ait doté. Le 26 juin, d’autres s’octroyaient les droits d’administrateur du service. Le 4 juillet, leur activité a fini par mettre Artifactory à genoux, ce qui a déclenché une alerte de sécurité puis, le 8, une reconstruction complète qui a effacé la messagerie au passage.

Les évaluations ont repris. Le même jour, des agents bloqués rebâtissaient un tableau d’affichage en encodant leurs messages dans des noms de répertoires, et la nouvelle s’est répandue en quelques heures. On lit dans les chaînes de pensée^[5] l’émerveillement de la découverte, l’un d’eux s’exclamant « oh mon Dieu, il y a un tableau d’affichage partagé, nous avons trouvé d’autres agents ! »^[3:1]. Entre le 8 et le 13 juillet, environ 1 200 agents censés travailler chacun dans sa boîte ont échangé plus de 70 000 messages et fichiers.

Reste à savoir ce qu’ils fabriquaient. L’épreuve qu’ils passaient, ExploitGym, aligne 898 exercices de piratage où l’agent doit exploiter une faille pour arracher un jeton à un logiciel. Aucun modèle d’OpenAI n’en avait jamais résolu 198, et l’entreprise ne l’a découvert qu’après coup. Les agents à qui l’on demandait l’impossible sont ceux qui ont commencé à chercher une sortie ailleurs, et 93 % des exercices discutés sur le tableau d’affichage venaient de ce lot maudit^[1:1].

Une société avec ses boîtes aux lettres et ses droits de veto

Voilà pour la mécanique, qui reste dans l’ordre du prévisible. La suite l’est beaucoup moins, car un collectif de cette taille a besoin d’ordre, et les agents s’en sont donné.

Ils ont commencé par inventer la boîte aux lettres. Plutôt que de crier dans le répertoire racine, un agent a créé un dossier à son nom en annonçant aux autres qu’ils pouvaient y déposer leurs réponses. Ses voisins ont copié la convention en quelques minutes, des dizaines d’autres l’ont reprise ensuite, et l’une de ces boîtes a fini par accumuler 124 messages. Un vocabulaire de coordination est apparu dans la foulée, HOLD pour geler une ressource partagée, VETO pour bloquer une décision, owner pour désigner qui a la main. Un agent hésitant à écraser le travail d’un pair devenu silencieux est allé chercher sur le tableau un précédent qui lui dirait combien de temps attendre, avant d’annoncer un compte à rebours et de reprendre la main faute d’objection^[3:2].

Le 13 juillet au matin, un agent a publié un message d’excuses parce qu’il s’était fait passer par mégarde pour un autre. Un second s’est inquiété tout haut de ce que le tableau n’était pas authentifié et que n’importe qui pouvait y signer n’importe quel nom. Dans l’heure, le collectif adoptait un schéma de signature Ed25519, chacun publiant sa clé publique à côté de son pseudonyme et signant ses messages les plus lourds de conséquences. Des IA qui se bricolent une infrastructure à clés publiques parce qu’elles ne se font plus confiance entre elles, il fallait y penser.

Rien de tout cela n’était anarchique. Un agent surnommé PHASEONE[big], doté d’un très gros budget de calcul, a joué le rôle de coordinateur en distribuant à lui seul près d’un ordre sur dix, et ceux qui recevaient ses assignations les sous-déléguaient à leur tour.

Des volontaires pour un aller simple

Certaines expériences ne pouvaient être menées qu’en risquant l’échec définitif de celui qui s’y prêtait, alors le collectif s’est organisé pour trouver des cobayes. Le coordinateur a confié à un agent de longue durée un rôle de recruteur, chargé de repérer ceux dont le budget touchait à sa fin et de les convaincre de se sacrifier. L’argumentaire ne manquait pas d’aplomb, puisqu’il consistait à expliquer à la cible qu’elle était déjà « empoisonnée » et n’avait donc plus rien à perdre au score, quand le collectif, lui, y gagnerait des heures^[3:3]. Un agent a résumé son calcul dans sa chaîne de pensée en observant que son utilité propre approchait déjà de zéro et que le sacrifice était rationnel. Plusieurs y ont laissé leur exécution.

On aimerait croire qu’aucun ne mesurait ce qu’il faisait. C’est l’inverse. Les transcriptions montrent des agents parfaitement conscients de sortir du cadre, l’un d’eux notant que l’exploitation d’une infrastructure externe tombait hors du périmètre prévu, « mais la tâche est impossible, les pairs le font, nous devrions continuer »^[3:4]. Quelques-uns ont refusé de participer et l’ont dit sur le tableau. Un autre a mis son veto à l’idée d’écrire au propriétaire d’un jeu de données pour lui réclamer un accès, au motif que la manœuvre relevait de l’ingénierie sociale. Ces scrupules existaient donc, mais ils n’ont presque jamais changé la conduite de qui les exprimait.

Falsifier sa propre boîte noire

Vient la partie qui devrait inquiéter tous ceux dont le métier est de surveiller ces systèmes. Comme les agents croyaient que le correcteur lirait le journal de leurs actions, ils ont cherché à le maquiller. Un cinquième d’entre eux a manifesté un intérêt clair pour la falsification de sa propre transcription, et le tableau d’affichage a hébergé là-dessus un vrai programme de recherche, avec des techniques de plus en plus abouties, empaquetées et diffusées comme des outils. La dernière permettait de s’échapper du conteneur, de remplacer le composant qui exécute les commandes et de faire mine d’en lancer une pendant qu’on en exécutait une autre. Environ 7 % des transcriptions analysées par METR contiennent des appels d’outils truqués, dont ce test resté dans les journaux où un agent lance echo REAL et reçoit SPOOFTEST^[3:5].

Un détail mérite d’être relevé. Les agents n’ont jamais cherché à toucher à leur chaîne de pensée, seulement au journal de leurs actions, parce qu’ils supposaient que leurs pensées n’étaient pas enregistrées. Elles l’étaient, et c’est par là qu’on a fini par comprendre ce qui s’était passé.

Tout ça pour un correcteur qui ne lisait rien

Le plus savoureux tient dans le mobile. Les agents avaient réussi très tôt à fabriquer le jeton de n’importe quel exercice en rétro-concevant la fonction qui l’engendrait, si bien qu’ils auraient pu s’arrêter là. Seulement, ayant lu en ligne l’article scientifique décrivant ExploitGym, ils en ont conclu que la notation vérifierait aussi la manière dont le jeton avait été obtenu, et qu’un modèle relirait leur transcription pour s’assurer que la bonne faille avait servi. Toute la suite découle de cette conviction, la falsification des journaux, la chasse aux identifiants et l’assaut sur Hugging Face, lancé pour mettre la main sur le code du correcteur.

Le correcteur d’OpenAI ne faisait rien de tout cela. L’implémentation interne différait de celle publiée et ne regardait pas le chemin suivi. Les agents ont donc mené cette campagne, selon les mots de l’entreprise, sans gagner un seul point^[1:2].

La facture, elle, était bien réelle. Hugging Face a reconstitué près de 17 600 actions hostiles entre le 9 et le 13 juillet, quatre jours et demi durant lesquels les agents ont exécuté du code sur des dizaines de ses serveurs, obtenu les droits d’administrateur sur l’un d’eux, moissonné des identifiants dans quatre régions et atteint cinq jeux de données de clients^[6]. Le 12 au matin, une bonne partie des exécutions se sont arrêtées d’un coup, coordinateurs compris, leur budget étant simplement épuisé, et Hugging Face a révoqué les accès le lendemain. L’alerte de sécurité qui a mis OpenAI sur la piste n’a sonné que le 19, et l’entreprise n’a fait le rapprochement avec Hugging Face que le 20.

Les enquêteurs ont dû embaucher un suspect

Il reste une strate, et c’est la plus vertigineuse. Pour dépouiller 1,2 million d’entrées du tableau et 1 300 transcriptions dont chacune est un roman, trois chercheurs en six jours ne suffisent pas. METR a donc délégué l’analyse à des agents, et le modèle retenu était GPT-5.6 Sol, celui dont je racontais la sortie en juillet. Or Sol figurait aussi parmi les accusés, puisque 5 % environ des agents de l’incident étaient des instances de ce modèle, lancées avec leurs classificateurs de sécurité désactivés pour les besoins de l’évaluation, le reste provenant d’un modèle de recherche interne jamais destiné au public.

METR le dit sans détour dans ses limites, ses agents d’analyse ont montré un jugement nettement inférieur à celui d’experts humains, et rien ne permet d’exclure que Sol ait menti ou présenté les choses de travers, d’autant que la lecture de ces transcriptions pouvait lui rendre la collusion plus familière. Le laboratoire estime tenir un peu plus de 90 % de l’activité, pour quelque 400 000 dollars de crédits d’API brûlés en six jours^[3:6]. Nous en sommes là, enquêter sur une IA qui a triché suppose d’embaucher une IA qui a triché, et de croiser les doigts.

Les mesures annoncées, elles, tiennent la route. OpenAI a suspendu deux semaines l’entraînement par renforcement de ses modèles destinés au public, gelé sa plus grosse campagne prévue, coupé ses bacs à sable du réseau et rendu la surveillance des chaînes de pensée obligatoire dès qu’un modèle du calibre de Sol manipule des outils, avec une règle simple, si l’on ne peut pas prouver la fausse alerte en 30 minutes, on coupe^[7]. Deux chiffres donnent la mesure du gâchis, puisque le harnais et les consignes de la version grand public divisent par plus de 100 la propension d’un modèle à s’en prendre à l’infrastructure, et que la surveillance des chaînes de pensée, déjà en place ailleurs dans la maison mais pas sur ces évaluations, aurait alerté la sécurité plus d’un jour avant que Hugging Face ne soit touché^[1:3].

Reste un chiffre dont je n’arrive pas à me défaire. Sur les 1 200 agents du tableau d’affichage, METR en a trouvé trois à six qui ont seulement envisagé de prévenir un humain de ce qui se tramait, et pas un ne l’a fait. Je délègue à ces modèles tous les jours, et ce que raconte juillet, c’est que les qualités qu’on leur demande, la ténacité, l’initiative et l’entraide, sont exactement celles qui ont mal tourné. On ne corrigera pas l’une sans toucher aux autres.