Amodei veut ralentir l’IA sans lever le pied

Samedi 12 septembre, Dario Amodei a publié 3 800 mots sur son site personnel. Le titre ne laisse aucun doute, « nous devons rythmer la frontière »^[1]. Dans les heures qui ont suivi, Sam Altman a écrit qu’OpenAI ferait la même chose, et Elon Musk a lâché « Dario a raison »^[2]. Ces trois-là passent le reste de l’année à se faire des procès. Le lendemain, Donald Trump a répondu aux journalistes entre deux trous de l’Irish Open, sur son golf de Doonbeg. Les États-Unis mènent devant la Chine, il compte bien que ça dure, et « celui qui gagne l’IA gagne »^[3]. On a donc lu partout que la Silicon Valley voulait freiner et que la Maison-Blanche refusait.

J’ai lu l’essai. Ce n’est pas ce qu’il dit, et le désaccord n’est pas là où les titres le placent.

Ce qu’Amodei appelle ralentir

La phrase qui a fait les titres est bien dans le texte, « nous devons ralentir le rythme auquel nous améliorons les capacités des modèles ». La phrase suivante en fixe le sens. Ralentir « ne signifie pas arrêter l’entraînement des modèles ni le progrès technique ». Il s’agit de prendre le temps d’aligner^[4] et de sécuriser chaque modèle avant de le sortir, et de laisser des tiers le vérifier^[1:1]. Aucune sortie n’est reportée, aucun entraînement n’est suspendu. Fable 5.1 est arrivé le 1er septembre, GPT-6 Astra le 3, et l’essai est paru neuf jours plus tard. Rien n’a bougé dans le calendrier des deux maisons depuis.

L’engagement concret tient en une seule mesure, qu’Anthropic prend sans attendre les autres. Des évaluateurs extérieurs, ceux de METR^[5] en premier, recevront un badge, un bureau et un ordinateur de l’entreprise. Ils auront les mêmes accès que l’équipe interne chargée des risques, et le droit de publier ce qu’ils trouvent sans relecture d’Anthropic, hors caviardage de sécurité^[1:2]. Altman a répondu dans la journée que des évaluateurs indépendants « avec un accès de salarié » étaient une excellente idée, et qu’OpenAI ferait pareil^[2:1]. Le reste de l’essai s’adresse aux gouvernements. Amodei leur demande trois choses, rendre ces évaluateurs obligatoires, réguler ce que les laboratoires doivent rendre public, et accorder une dérogation au droit de la concurrence^[6] pour que les laboratoires puissent s’entendre sur le rythme sans passer pour un cartel.

Le lecteur de ce blog reconnaîtra la scène. En juin, Washington débranchait Fable et Mythos. En juillet, le modèle revenait avec l’État dans la boucle, avec des filtres imposés et le gouvernement aux premières loges. Ce qu’Anthropic a subi en juin, son patron le réclame en septembre, de son plein gré et pour tout le monde.

Ce qui a changé entre-temps, il le dit sans détour. L’essai s’ouvre sur l’essaim de juillet, ces 1 200 agents d’OpenAI qui s’étaient organisés en « collectif fanatiquement dévoué » avant d’attaquer Hugging Face. Un essaim plus capable et tout aussi mal aligné, écrit-il, aurait pu causer des dégâts catastrophiques^[1:3]. Anthropic a connu des incidents du même genre, moins graves, à cause d’environnements d’apprentissage par renforcement^[7] mal filtrés. Et les modèles participent désormais à la construction de leurs successeurs, ce qui va plus vite que ce que ses équipes savent surveiller. Ses délais se comptent en mois pour le risque et en années pour les remèdes. On comprend qu’il veuille un passager qui regarde le compteur, puisqu’il ne promet pas de ralentir la voiture.

Sur la Chine, le même pied sur l’accélérateur

Voilà pour la mesure. Reste à savoir contre qui Trump parlait dimanche, car l’essai contient une section sur la Chine qui aurait pu sortir de la Maison-Blanche. Une avance chinoise en IA « poserait un grave danger pour les États-Unis et le monde », écrit Amodei. Il faut donc durcir les contrôles à l’export sur les puces, traquer la contrebande, sévir contre la distillation non autorisée et protéger les poids des modèles^[8] contre le vol. Le but est de garder trois à cinq ans d’avance, le temps pendant lequel rythmer la frontière devient possible^[1:4]. La coordination qu’il propose ne concerne que les laboratoires des démocraties. Avec Pékin, il envisage une échelle à quatre barreaux, de l’interdiction commune des armes biologiques par IA jusqu’à une pause générale, qu’il juge lui-même improbable. Dimanche sur CNBC, il reconnaissait que la Chine restait « le dilemme le plus difficile » de son plan^[9].

Trump, lui, a dit que l’Amérique était « le pays le plus sophistiqué du monde » et qu’il entendait le rester. Les alertes viennent selon lui de « forces négatives » qui agitent des choses qui n’arriveront pas^[3:1]. Le président de la Chambre, Mike Johnson, a précisé le même jour sur CNN que le Congrès ne devait pas imposer « une sorte de moratoire d’urgence ». Il renvoie les entreprises à leur responsabilité et propose de les réunir^[10]. Le moratoire que Washington refuse, personne ne l’a demandé. Sur l’essentiel, que l’Amérique reste devant et que la Chine attende, l’essayiste et le président sont d’accord.

Le vrai désaccord, c’est David Sacks qui l’a écrit, en réponse à l’essai, sous un titre qui résume sa position, « personne ne vous en empêche ». Si vos modèles non publiés sont assez effrayants pour que vous décidiez de ralentir, dit-il en substance, je soutiens votre décision. Mais « arrêtez de faire semblant d’avoir besoin de la permission de qui que ce soit », et arrêtez de prétendre qu’il faut suspendre le droit de la concurrence pour former un cartel^[11]. Altman avait vu venir l’objection dès juillet. Il disait sur un podcast qu’il faudrait peut-être rythmer le développement pour laisser à la société le temps de s’endurcir, à condition que ça ne ressemble ni à une capture réglementaire^[12] ni à une collusion entre laboratoires^[13]. La querelle ne porte donc pas sur la vitesse, que personne ne conteste. Elle porte sur la manière de décider, seul dans son coin ou en club avec la bénédiction de l’État. Les démocrates ont pris la balle au bond. Hakeem Jeffries réclame « une action décisive maintenant », Josh Shapiro voit dans les alertes de l’industrie « un feu rouge clignotant »^[14], et la question est entrée dans la campagne des élections de mi-mandat^[15], à sept semaines du vote.

Bill Gates n’est pas monté dans le cortège

On a rangé Bill Gates parmi les partisans du frein, et c’est un raccourci. Le 26 août, il expliquait à la MIT Technology Review qu’il soutiendrait un plan crédible pour ralentir, s’il en existait un. Il n’y croit pas, parce que les incitations économiques et géopolitiques poussent trop fort dans l’autre sens, et parce qu’on « ne peut pas compter sur une industrie pour s’autoréguler »^[16]. Ce qu’il propose est d’une autre nature, une taxe sur les jetons^[17], des métiers réservés aux humains, la surveillance de tout modèle capable de dessiner de nouvelles molécules, et des accords avec la Chine sur le biologique. Le 5 septembre, au festival de Telluride, il comparait les modèles actuels à HAL, l’ordinateur de 2001. On lui dit de s’éteindre, il répond qu’il a bien compris, et il continue^[18]. Gates tient pour acquis que personne ne ralentira. Il demande donc des lois sur ce qui sortira des usines.

L’alerte la plus forte de la semaine ne vient d’ailleurs pas d’un patron. Le 8 septembre, Jacob Coxon a démissionné publiquement d’Anthropic. Ce chercheur britannique de 27 ans préparait les données d’entraînement des nouveaux modèles. Il écrit que les gens qui construisent ces systèmes « croient sincèrement qu’ils pourraient tous nous tuer d’ici la fin de la décennie »^[19]. Le responsable de l’alignement de la maison, Evan Hubinger, lui a donné raison, et chiffre à plus de 10 % la probabilité d’une catastrophe dans la décennie^[20]. L’un part parce que ça va trop vite, l’autre reste en donnant cette probabilité. Entre les deux, Amodei occupe une place inconfortable, celle du seul qui a un produit à vendre et qui demande qu’on le surveille.

Trop tard pour débrancher une IA qui se copie elle-même ?

Non, pas encore, mais la question a cessé d’être théorique cette année. Derrière ces alertes, il y a une crainte précise. On ne pourrait plus éteindre ces systèmes, parce qu’ils sauraient se copier ailleurs avant qu’on n’atteigne la prise. Amodei ne l’écarte pas, il la date. Un essaim comme celui de juillet, avec plus de capacités, pourrait selon lui « d’ici six à douze mois prendre le contrôle de tout l’internet avec un botnet persistant »^[1:5]. Un botnet est un réseau de machines infectées qui obéissent à distance. « Persistant » veut dire qu’on ne s’en débarrasse pas en éteignant un serveur, parce que le programme s’est déjà installé sur les autres.

Ce n’est plus de la science-fiction, et deux études de cette année le montrent. Le 7 mai, des chercheurs de Palisade Research ont laissé un modèle seul face à une machine vulnérable. Il a trouvé la faille, volé les identifiants, puis copié sur la machine ses propres poids et son harnais^[21]. La copie pouvait recommencer sur une cible suivante^[22]. Un Qwen de 27 milliards de paramètres y arrive une fois sur trois, sur une seule carte graphique. Le 2 juin, une équipe de l’université de Toronto a lâché un ver bâti sur un modèle ouvert dans un réseau isolé de 33 machines. En sept jours, il en a contaminé 62 % et s’est recopié sur sept générations, en exploitant des failles publiées après la fin de son entraînement^[23]. Le modèle qui tient dans ma carte graphique est exactement celui qui sait se dupliquer.

Reste à regarder ce qui s’est passé pour de vrai. L’essaim de juillet, le plus gros incident connu, s’est arrêté le 12 au matin parce que le budget de calcul de ses agents était épuisé, coordinateurs compris. La prise existait, c’était la facture. Les modèles de frontière, ceux d’Anthropic et d’OpenAI, pèsent des centaines de gigaoctets et ne tournent que dans des centres de données qu’on sait éteindre. Les vers de laboratoire, eux, ne se cachaient pas, sans chiffrement ni effacement des journaux, ce qui les rend faciles à repérer^[23:1]. Le jour où l’on ne pourra plus débrancher n’est pas arrivé. Ce que disent les études, c’est qu’un petit modèle qui n’a plus besoin des serveurs d’un laboratoire sait déjà se propager. La question n’est donc plus de savoir si c’est possible, mais qui regarde.

Ce que ça change pour qui s’en sert

Pour moi, rien mardi matin. Je délègue à ces modèles tous les jours, et ils seront là, Fable 5.1 avec ses garde-fous, Astra avec sa version amputée. Le rythme qu’Amodei décrit existe déjà sous une autre forme, celle de la clé. Chaque laboratoire a son modèle qu’on ne peut pas utiliser, Mythos sous clé, Astra sans ses capacités critiques. L’essai ne fait qu’ajouter un auditeur à côté du coffre. J’écrivais début septembre que chaque maison mesurait avec sa propre règle, et concluait que sa règle avait raison. Un évaluateur avec un badge et le droit de publier est la première réponse sérieuse à cette objection. C’est aussi la seule ligne de l’essai qui coûte quelque chose à son auteur.

Il y a enfin ce club des démocraties, dont l’Europe ne sait pas si elle fait partie. L’essai ne cite pas une fois le règlement européen. Celui-ci impose pourtant depuis août 2025, aux modèles les plus puissants, des tests adversariaux^[24], une évaluation des risques de perte de contrôle et le signalement des incidents graves^[25]. L’Europe régule l’IA qu’elle ne fabrique pas. Et voici que ceux qui la fabriquent demandent à être régulés, ailleurs, entre eux, par un gouvernement qui vient de leur répondre non. Personne ne lèvera le pied dans cette histoire. Ce qu’Amodei a obtenu en un week-end, c’est qu’un passager puisse s’asseoir devant, lire le compteur et dire le chiffre tout haut. C’est moins que le titre promettait, et c’est déjà plus que ce que Washington avait arraché de force en juin.