L’IA locale vient de Chine et tient dans ma carte graphique

J’écrivais il y a six jours, en refermant un article sur la pénurie de mémoire, que je comptais m’essayer à l’IA en local cet automne. Je n’ai encore rien installé, et j’ai commencé par le bout que personne ne raconte, celui où l’on cherche à savoir ce qu’on va bien pouvoir charger dans sa machine avant de télécharger 11 gigaoctets au hasard. La réponse tient en une phrase que je n’avais pas anticipée. Les modèles que je peux faire tourner chez moi viennent presque tous de Chine.

Ce qui tient dans une carte graphique grand public

Ma machine est un portable de jeu avec 24 Go de mémoire vidéo, une carte qu’on achète en magasin, à mille lieues des accélérateurs empilés dans les centres de données dont je parlais la semaine dernière. C’est précisément ce qui m’intéresse, parce qu’une IA qui ne tourne que sur du matériel de centre de données n’est pas une IA locale, c’est un abonnement avec une étape supplémentaire.

Or « ouvert » et « hébergeable » sont deux choses différentes, et personne ne le dit clairement. Kimi K3, le modèle ouvert de Moonshot dont tout le monde parlait cet été, pèse 2 800 milliards de paramètres et réclame de l’ordre de 1,5 To de mémoire vidéo, soit à peu près 60 fois ce dont je dispose. Les deux autres grands noms chinois de l’ouvert, DeepSeek et GLM, publient eux aussi leurs poids, et leurs meilleurs modèles restent tout aussi inaccessibles à qui n’a pas de baie climatisée dans son salon. Ces modèles sont ouverts au sens où l’on peut les télécharger, et fermés au sens où l’on ne peut rien en faire.

Ce qui rentre vraiment dans 24 Go, une fois le modèle compressé selon la méthode standard, ce sont les modèles d’une trentaine de milliards de paramètres, un 27 milliards occupant environ 17 Go, contexte compris. C’est la catégorie que je vais installer, et c’est aussi celle où la concurrence est la plus rude.

Les téléchargements disent qui domine

Hugging Face, où vivent ces modèles, est l’entrepôt central de l’IA ouverte, celui-là même où des agents d’OpenAI se sont invités en juillet. On y dépose les poids d’un modèle, c’est-à-dire les fichiers qui le constituent, avec sa documentation et sa licence, et n’importe qui peut les télécharger, les modifier et republier sa propre version. À peu près ce que GitHub est au code, pour des fichiers qui pèsent des dizaines de gigaoctets. L’entreprise a été fondée en 2016 par trois Français et tient boutique à New York, ce qui en fait le seul arbitre à peu près neutre de cette affaire. Elle publie chaque été un état des lieux, et l’édition 2026 se lit comme un bulletin de victoire écrit à Hangzhou. Au format GGUF, celui de l’inférence locale, les variantes de Qwen, la famille ouverte d’Alibaba, totalisent 39,6 millions de téléchargements par mois. Gemma, la réponse de Google, plafonne à 20,8 millions, et Llama, celle de Meta, se traîne à 7,5 millions^[1]. Sur le terrain qui nous occupe, celui des gens qui font tourner un modèle chez eux, Meta ne pèse plus grand-chose.

L’écart se creuse encore quand on regarde ce que les gens construisent par-dessus. Qwen compte 151 448 modèles dérivés sur la plateforme, soit deux fois et demie l’empreinte totale de Meta, toutes familles confondues^[1:1]. Un modèle qu’on adapte et qu’on republie est un modèle sur lequel on parie, et l’écosystème a choisi son cheval.

Le même document contient pourtant le chiffre qui remet tout le monde à sa place, puisque les modèles de moins d’un milliard de paramètres représentent 83 % des téléchargements de tous les temps, ceux de plus de 100 milliards à peine 1 %, et en 2026 les modèles au-dessus de 70 milliards ne pèsent que 3 % des téléchargements^[1:2]. La course aux géants occupe donc les communiqués pendant que le monde réel fait tourner de petits modèles sur des machines ordinaires, et le centre de gravité de l’IA locale ne ressemble en rien à ce qu’on lit dans la presse spécialisée.

Cette neutralité pourrait d’ailleurs ne pas durer. The Information a révélé le 26 août que Nvidia s’apprêtait à racheter Hugging Face pour 12,9 milliards de dollars, information reprise dès le lendemain par Bloomberg et CNBC sans qu’aucun accord soit signé ni qu’aucune des deux entreprises la commente^[2]. Si l’opération aboutit, ce sera de loin la plus grosse acquisition de l’histoire du fabricant, et la place de marché où l’on télécharge les modèles ouverts appartiendra à celui qui vend les cartes pour les faire tourner.

Un modèle de 27 milliards qui discute avec Opus

Alibaba a publié le 14 août Qwen3.8-27B, et c’est le candidat que je compte installer en premier. Vingt-sept milliards de paramètres en architecture dense, licence Apache 2.0 qui autorise l’usage commercial sans contrepartie, une fenêtre de contexte native de 262 144 tokens extensible jusqu’au million, et des entrées texte, image et vidéo^[3]. Il tient dans ma carte avec de la marge.

Les chiffres publiés avec le modèle méritent qu’on s’y arrête, à condition de les lire jusqu’au bout. Sur SWE-bench Pro, qui mesure la capacité à résoudre de vrais tickets dans de vrais dépôts, Qwen3.8-27B annonce 61,7 contre 53,4 à Claude Opus 4.6 Max. Sur Terminal-Bench 2.1, en revanche, Opus reprend l’avantage avec 78,2 contre 73,0^[3:1]. Ces mesures sont celles de l’équipe Qwen, réalisées en partie avec l’outillage de Claude Code, et n’avaient pas été reproduites indépendamment au lancement. J’ai vu passer plusieurs articles claironnant qu’un modèle de 27 milliards « bat Opus sur 16 tests sur 24 », formule qui a le mérite de tenir dans un titre et le défaut de choisir ses tests.

Reste que la version honnête impressionne davantage que la version tapageuse. Un modèle qu’on télécharge gratuitement, qu’on fait tourner sur sa propre carte graphique et qu’on peut exploiter commercialement sans rien demander à personne tient la conversation avec un modèle propriétaire de premier plan sur certaines tâches de code. Il y a deux ans, cette phrase aurait été ridicule.

L’élève qui recopie sur le premier de la classe

Reste à comprendre comment un modèle de 27 milliards de paramètres atteint ce niveau, quand entraîner un modèle de pointe depuis zéro engloutit des centaines de millions et des années de recherche. La réponse tient en un mot, la distillation, dont le principe se raconte en trois phrases.

Un gros modèle déjà entraîné, qu’on appelle le professeur, produit des réponses et surtout les raisonnements qui y mènent. Un petit modèle, l’élève, s’entraîne non pas sur le web brut mais sur ces réponses, jusqu’à reproduire le comportement de son aîné. DeepSeek a ainsi distillé son modèle de raisonnement R1 dans des variantes de 7 et 32 milliards de paramètres à partir de 800 000 exemples triés sur le volet, ce qui donne de petits modèles qui se comportent très au-dessus de leur catégorie^[4].

L’économie de la manœuvre est spectaculaire, puisque l’élève ne refait jamais la recherche et se contente d’en acheter le résultat au prix de quelques millions de requêtes. Elle explique du même coup le plafond, car celui qui recopie ne dépasse pas celui sur qui il recopie, du moins sur ce qu’il a recopié. Les modèles ouverts chinois rattrapent donc en quelques mois sans jamais tout à fait prendre la tête, et ils excellent précisément là où les modèles de pointe excellaient l’an dernier.

Le procédé traîne enfin une note de frais judiciaire. En juin, Anthropic accusait Alibaba d’avoir interrogé Claude près de 29 millions de fois avec 25 000 faux comptes pour entraîner Qwen. Je m’apprête donc à installer sur ma machine un modèle qu’Anthropic soupçonne d’avoir appris en copiant celui-là même auquel je compte confier mes plans, ce qui donne à mon montage une ironie que je n’avais pas prévue.

Le plan vient de Claude, l’exécution reste à la maison

Je ne compte pas résilier mon abonnement, dont j’ai déjà reconnu qu’il pesait sur mon budget, parce que ce n’est pas là que le local a quelque chose à apporter. Ce que je veux garder en ligne, c’est le pilotage, la partie où l’on découpe un problème, où l’on arbitre entre deux approches et où l’on relit ce qui a été produit. C’est là que les quelques points d’écart entre un modèle local et un modèle de pointe se paient cash, parce qu’un plan bancal coûte une journée quand une ligne bancale coûte trente secondes.

L’exécution, elle, peut très bien redescendre sur ma machine. Un modèle local demande beaucoup plus de direction qu’un modèle de pointe, c’est sa faiblesse connue et je n’ai aucune envie de la nier. Sauf que cette direction, je n’ai pas à l’écrire moi-même. Si c’est le gros modèle qui rédige les consignes, découpe la tâche et précise le résultat attendu, le petit modèle reçoit exactement le carburant qui lui manquait. La faiblesse du local se corrige avec la force du distant, ce qui est une façon élégante de ne pas choisir.

L’outillage existe déjà. Cline associé à Ollama, ou Continue.dev en mode agent, tenaient du vrai travail sans surveillance permanente dès le printemps^[5]. Kilo Code sépare les modes Plan, Code et Debug et affecte à chacun son propre fournisseur, si bien qu’on confie la planification à Claude et l’exécution à un modèle qui tourne trois centimètres sous le clavier^[6]. J’éviterai Roo Code, dont l’arrêt est annoncé.

Deux détails m’ont fait sourire en explorant tout cela. LM Studio, l’application que je recommanderais à quelqu’un qui ne veut pas ouvrir un terminal, envoie des statistiques d’usage anonymes par défaut, dans un logiciel dont l’argument de vente est que rien ne sort de votre machine. Une case à décocher, mais quand même. Quant à Ollama, la référence absolue du domaine, elle vend désormais des abonnements cloud à 20 et 100 dollars par mois^[7]. L’outil de l’IA qui tourne chez vous a fini par louer des serveurs, et je ne sais pas s’il faut y voir de l’ironie ou simplement un modèle d’affaires.

Retirer la censure retire aussi tout le reste

Un modèle chinois arrive avec les refus que son éditeur y a mis, et la question se pose forcément quand on décide d’en installer un chez soi. Il existe un outil pour ça, et il porte bien son nom. Heretic, publié sur GitHub, se présente comme une suppression de censure « entièrement automatique » et revendique plus de 5 000 modèles déjà republiés par sa communauté^[8].

La méthode est astucieuse. Elle repère dans les représentations internes du modèle la direction qui correspond au refus, puis rend les matrices de poids orthogonales à cette direction, ce qui revient à ôter au modèle la capacité de dire non sans toucher au reste. Comme l’outil optimise ses réglages pour minimiser à la fois les refus et l’écart au modèle d’origine, il affiche sur Gemma-3-12B trois refus sur cent pour une divergence de 0,16 là où ses concurrents montent entre 0,45 et 1,04^[8:1]. Le modèle décensuré reste donc à peu près aussi intelligent qu’avant, ce qui n’allait pas de soi.

Sauf qu’il faut lire ce que l’outil retire, et non ce que son nom promet. La direction du refus ne distingue pas la question politique de la demande de synthèse d’explosif, si bien qu’en ôtant l’une on ôte l’autre. Ce n’est pas de la décensure ciblée, c’est un modèle qui ne sait plus refuser quoi que ce soit. Le dépôt ne comporte d’ailleurs aucune mise en garde, rien qu’une documentation technique et des tableaux de résultats. Je note simplement que remplacer les valeurs d’un éditeur chinois par l’absence totale de valeurs n’est pas tout à fait la même chose que reprendre le contrôle.

Cela dit, je me connais assez pour savoir que je ne demanderai jamais à ma carte graphique la marche à suivre pour fabriquer une bombe. Ce que j’attends d’un modèle d’exécution, c’est qu’il écrive la fonction que je lui ai décrite sans m’expliquer d’abord que le sujet mérite prudence, et de ce côté-là un modèle qui a perdu l’habitude de refuser me rendrait plutôt service. Tout dépend donc moins de l’outil que de la main qui le tient, et dans la mienne il ne retirerait guère que des refus qui ne protégeaient personne.

Il reste le ventilateur

J’écrivais la semaine dernière avoir accepté, en achetant un portable, « un ventilateur qui hurle sous charge » comme l’une des concessions du format. Je soupçonne cette concession de devenir ma vraie limite. Ma carte est donnée pour 95 à 150 W, et l’inférence soutenue est exactement la charge qui met un châssis à genoux, puisque la première minute puise dans la masse thermique du capot avant que la machine ne redescende à ce que les ventilateurs savent réellement évacuer^[9]. Sur batterie, elle se bride encore davantage.

Il y a surtout une marche à ne pas rater, car le jour où le modèle déborde de la mémoire vidéo vers la mémoire vive, le débit s’effondre d’un facteur qui se compte en dizaines. Ce n’est pas une pente sur laquelle on négocie, c’est un mur. Je saurai en octobre de quel côté je me trouve, et je vous le raconterai avec des chiffres relevés sur ma machine plutôt qu’avec ceux des cartes de bureau qui traînent partout et qui ne veulent rien dire ici.

Il me reste une dernière contradiction à assumer. Je passe une partie de mon temps à écrire que l’Europe régule une IA qu’elle ne fabrique pas, et je m’apprête à installer un modèle chinois pour échapper à un service américain. Le progrès est mince vu de loin. Il est pourtant réel, parce que les poids seront sur mon disque, que rien ne sortira de la machine et qu’aucun changement de conditions générales ne viendra un matin me retirer ce que j’aurai téléchargé. C’est toute la différence entre utiliser un modèle chinois par une interface et posséder le fichier. La souveraineté, à mon échelle, n’est pas une question de drapeau sur le modèle, mais de savoir qui peut me le reprendre.