Ce qu’une catastrophe chinoise vieille de soixante ans nous apprend sur notre époque de l’IA, et les leçons que nous devrions en tirer.
Traduction de We Are Killing All the Sparrows, Again par The Minority Report, 28 juillet 2026.
Voici la deuxième partie d’une série estivale en quatre volets** consacrée aux raisons pour lesquelles le monde résiste au changement dont il a besoin, et à ce qui permettrait réellement de le concrétiser. Quatre essais, un seul argument : les limites sont la solution, le système les rejette, seul un pouvoir organisé peut les imposer, et ce pouvoir réside déjà en nous. Nous sommes tous à bord d’Apollo 13 (I), On tue tous les moineaux, encore (II), Les mouvements se préparent à la crise. L’argent se prépare à y faire face. (III), Le pouvoir de résister au pouvoir (IV)
Une facture, c’est quelque chose que l’on peut encore refuser. Un reçu atteste de ce que l’on a déjà acheté. L’IA, c’est le reçu. Nous continuons d’en parler comme si le paiement était encore à venir, et ce n’est pas une erreur anodine. C’est elle qui détermine contre quoi nous nous battons, et où.
L’histoire populaire se déroule ainsi. Une poignée d’hommes se livrent à une course effrénée pour mettre au point la technologie la plus puissante de l’histoire, tandis que le reste d’entre nous observe depuis le quai le train qui prend de la vitesse. La question que tout le monde se pose est de savoir si les machines seront alignées sur nos valeurs, si nous pourrons leur inculquer nos valeurs avant qu’elles ne nous dépassent. On a l’impression que la décision décisive reste encore à prendre pour l’espèce humaine : bien choisir et prospérer, mal choisir et disparaître. C’est une histoire captivante. La moitié du monde croit que les machines nous sauveront, l’autre moitié croit qu’elles causeront notre perte, et les deux moitiés s’entendent pour dire que l’histoire porte sur les machines. Elle a les bons méchants, elle a un compte à rebours, et elle place commodément le moment décisif devant nous, alors que l’essentiel est déjà derrière nous.
Derrière tout cela se cache une question plus pointue : peut-on aligner une IA au sein d’un système désaligné? Chaque modèle est formé, financé et déployé par des entreprises engagées dans la plus ancienne course qui soit. Si je ne cherche pas à capter l’attention d’un adolescent de treize ans, je perds face à l’entreprise qui le fera; ainsi, tout le monde court ensemble vers un résultat que personne ne souhaite, car ralentir signifie perdre. Les écrivains ont donné à cette dynamique un nom ancien : Moloch, le dieu de la concurrence malsaine. Une IA alignée sur une économie déséquilibrée n’est pas tant alignée qu’obéissante.
Et les valeurs de l’économie ne sont pas un mystère. Elles sont imprimées sur la liste des ingrédients. Les frites de McDonald’s dans les années 1960 étaient composées de patates, de suif de bœuf et de sel; la liste américaine d’aujourd’hui ressemble à une trousse de chimie, regorgeant d’additifs qui n’ont jamais franchi le bureau d’un organisme de réglementation européen. Une boîte canadienne de Froot Loops est colorée à l’aide d’extraits de fruits et de légumes, tandis que la boîte américaine resplendit de colorants synthétiques, non pas parce que les mères canadiennes aiment davantage leurs enfants, mais parce que le Canada a établi des règles différentes. Selon les meilleures recherches dont nous disposons, le nombre de spermatozoïdes a à peu près diminué de moitié en cinquante ans. Depuis un demi-siècle, chaque fois que la question portait sur ce qui était moins cher ou plus sécuritaire, plus rapide ou plus équitable, la croissance ou la suffisance, on peut lire la réponse que nous avons donnée dans les frites, les aliments pour animaux et la baisse de la fécondité.
Nous avons même déjà mené l’expérience consistant à concentrer un pouvoir énorme sur un objectif étroit. En 1958, Mao a ordonné l’extermination des moineaux en Chine pour protéger les récoltes de céréales. Personne au sommet ne s’est souvenu que les moineaux mangent aussi des sauterelles. Les infestations qui ont suivi ont contribué à plonger le pays dans une famine qui a tué des dizaines de millions de personnes. C’est ce qui arrive lorsqu’un système se lance à la poursuite d’un seul chiffre au sein d’un réseau vivant qu’il refuse de comprendre. Ça vous dit quelque chose?
Et remarquez ce que représentaient les moineaux : un ennemi visible, une campagne nationale, des millions de citoyens à qui on demandait de continuer à frapper sur des casseroles dans les rues pour tuer les moineaux. La campagne a fonctionné. C’était là le problème. Comparez cette histoire aux centres de données d’aujourd’hui. Des acteurs différents, la même erreur. C’est pourquoi l’histoire du « paiement à venir » ne tient pas la route. Elle imagine que l’achat est encore entre nos mains, que nous pourrions encore le remettre sur l’étagère. Mais cet achat n’était pas prévu pour cette décennie, et il ne se fera pas dans la fenêtre d’un chatbot. Il s’est déroulé au cours des cent dernières années, dans les salles de conseil, les bureaux de lobbying et les organismes de réglementation, un achat à la fois. Lorsqu’une entreprise agroalimentaire a choisi l’additif moins cher plutôt que celui qui avait été testé, c’était un achat. Lorsqu’une plateforme a choisi de retenir l’attention d’une adolescente de treize ans plutôt que de protéger son sommeil, c’était un autre article dans le panier. Lorsqu’une industrie a rédigé les règles mêmes qui étaient censées la régir, c’en était un troisième. Chaque trimestre était un achat. Chaque conférence sur les résultats financiers en annonçait les prix. Nous avons bâti une économie qui comptabilise tout sauf ce qu’elle détruit, et nous avons appelé ce total « progrès ». Un argument économique qui exclut les dommages de ses calculs induit en erreur par omission. L’IA n’a rien acheté de tout cela. L’IA additionne un siècle d’achats à une vitesse exponentielle et imprime le reçu, y compris chaque ligne que l’économie a omis de faire figurer sur la facture. Il n’y a là aucun dysfonctionnement; la machine et le système ne font qu’obéir.
Rien de tout cela ne rend le travail en laboratoire inutile. Il faut absolument que quelqu’un enseigne à ces systèmes à ne pas mentir, à ne pas manipuler, à ne pas contribuer à la fabrication d’armes, et les personnes qui accomplissent ce travail méritent davantage de soutien qu’elles n’en reçoivent. Mais un modèle parfaitement aligné, déployé par une entreprise dont la survie dépend de l’engagement, devient une machine d’engagement parfaitement alignée. Même le soldat le plus bienveillant sert toujours le complexe militaro-industriel. L’alignement en laboratoire ne peut pas l’emporter sur le modèle d’affaires, pas plus qu’un scientifique en alimentation doté d’une conscience ne pourrait annuler l’incitation à vendre des calories à moindre coût. Les valeurs qui déterminent ce que ces systèmes nous font subir résident moins dans le modèle lui-même que dans les cibles trimestrielles que le modèle est conçu pour atteindre.
Vous pouvez vérifier cela par vous-même ce mardi. Le fil d’actualité que votre enfant fait défiler a été optimisé selon la même logique d’engagement que les frites. Les mises à pied annoncées autour de vous au nom de l’efficacité suivent la même arithmétique que les additifs. Et votre rente, si vous en avez une, est très probablement investie dans les entreprises qui s’occupent de cet optimisation. Vous n’observez pas cette histoire depuis la plateforme. Vous y détenez des actions. Voici ce que nous avons plus de mal à admettre : si le diagnostic révèle un système mal aligné, l’histoire du méchant ne peut pas l’emporter. Supposons que les dirigeants démissionnent tous demain. Les mécanismes d’incitation embaucheraient des remplaçants d’ici vendredi, et ces derniers seraient encore plus avides. Moloch ne craint pas les nouveaux acteurs. Il craint les nouvelles règles. Un mouvement qui s’organise contre des personnes s’épuisera à les remplacer. Un mouvement qui s’organise contre un tableau de bord peut mettre fin au jeu.
L’objection la plus forte est que personne ne manifeste pour un paradigme. Les mouvements ont besoin de visages, de méchants, de drame. *The Day After*, un film sur la guerre nucléaire, a laissé Reagan, selon son propre journal intime, profondément déprimé, et a contribué à ouvrir la voie aux premières négociations sur le contrôle des armements. La campagne « Truth » contre le tabagisme a empilé des sacs mortuaires devant les sièges sociaux des fabricants de tabac et a changé la façon dont une génération percevait la cigarette. Personne n’a jamais versé une larme devant un documentaire sur les normes comptables. Tout cela est vrai. Mais regardez comment chacune de ces histoires s’est réellement terminée. Ces pourparlers sur les armements ont abouti à un traité. L’industrie du tabac a connu des poursuites judiciaires et un règlement à l’amiable. Le trou dans la couche d’ozone se referme parce que presque tous les pays de la planète ont signé le Protocole de Montréal et réglementé la production de ces produits chimiques, et non parce que le monde a été ému par ces histoires. Le méchant attire les gens. C’est la règle qui permet aux moineaux de rester en vie. J’ai observé cette séquence de près : lorsque des centaines d’entreprises du secteur de la construction danois ont exigé des limites contraignantes d’émissions de carbone pour leur propre secteur, le spectacle résidait dans le fait qu’une industrie demandait à être réglementée. L’essentiel, c’était la limite.
Donella Meadows, auteure de l’ouvrage fondateur sur la pensée systémique, a déclaré que la manière la plus profonde de changer un système consiste à changer le paradigme, c’est-à-dire l’idée sur laquelle repose l’ensemble du système. Elle avait raison, et le paradigme en question porte ici un nom simple : le tableau de bord. Ce qui compte comme progrès, ce qui compte comme croissance, ce qui compte tout court. Il n’y a rien de mystique à le changer. C’est une question de comptabilité. Mais compter ne suffit pas à changer les règles. Pour que la mesure ait de l’importance, les limites qu’elle révèle doivent devenir une loi contraignante; sinon, nous ne faisons que documenter notre propre disparition. Alors, comptons le carbone. Comptons l’attention retirée à un enfant. Comptons les emplois, l’eau, le sommeil. Inscrivons suffisamment d’éléments au bilan, et faisons passer la suffisance avant l’efficacité : demandons-nous d’abord combien il en faut, puis comment bien le faire, car faire la mauvaise chose efficacement ne fait que nous mener plus vite au mauvais endroit.
Et pourtant, c’est là que beaucoup de ceux qui citent Meadows se trompent, et cette erreur est dangereuse. Ils interprètent ses points de levier comme un menu, comme s’il suffisait de choisir le point le plus profond et le plus puissant et de commencer par là. Les points de levier ne sont pas un menu. Ils s’apparentent davantage à un escalier. Viser directement le paradigme est voué à l’échec, car intervenir à un niveau aussi profond est pratiquement impossible avant d’avoir bâti le pouvoir, la légitimité, l’organisation, la pression, les récits et les alternatives concrètes sur les marches inférieures. C’est exactement pour cela que tant d’acteurs du changement échouent : ils confondent le point d’influence le plus puissant avec le meilleur point de départ. L’influence profonde n’est pas le point de départ; c’est ce qui devient possible une fois qu’un pouvoir collectif suffisant a été bâti en dessous. Comprendre la complexité n’est pas la même chose que comprendre le pouvoir, et sans pouvoir, il n’y a pas de changement systémique.
C’est également la différence entre les étapes progressives et l’incrémentalisme. Les petits pas sans destination, sans rupture et sans théorie du pouvoir ne mènent nulle part. Ce sont les petits pas qui visent une destination précise qui permettent de gravir l’escalier. Le Protocole de Montréal ressemble à un changement de paradigme qui s’est concrétisé par une signature. Ce n’est pas le cas. Des scientifiques ont publié des articles, des journalistes les ont relayés, des consommateurs ont boycotté les bombes aérosols, un pays les a interdites, et ce n’est qu’alors, fort d’un précédent et d’un pouvoir accumulé en amont, que le monde a signé. Pour l’IA, les étapes ont elles aussi des noms, ces instruments ennuyeux que personne ne filme : la responsabilité en cas de préjudice, des plafonds réellement contraignants, des vérifications qui ont du mordant, le droit de savoir quand une machine vous optimise. Une règle survit à l’humeur qui l’a engendrée. Les campagnes fonctionnent à l’adrénaline; les institutions fonctionnent sur papier, et le papier ne se fatigue pas. C’est une histoire plus modeste qu’une guerre entre le bien et le mal, et elle est plus difficile, car personne ne devient le héros d’une réforme comptable. Mais le Protocole de Montréal n’a pas de protagoniste, et la couche d’ozone se reconstitue de toute façon.
Avant qu’un cœur ne batte pour la première fois, des milliers de cellules doivent s’activer à l’unisson. L’image est belle, et elle est généralement mal interprétée. Les cellules ne se synchronisent pas parce qu’elles s’admirent mutuellement, ni parce que les cellules défectueuses ont été éliminées. Elles se synchronisent parce que le corps établit des conditions dans lesquelles battre à l’unisson est la seule option possible. Voilà ce que sont les règles. Les conditions d’un battement de cœur.
Alors, bien sûr, fâchez-vous contre les hommes en lice. La colère est une porte, et derrière elle commence l’escalier. Mais la question qui déterminera le siècle n’est pas de savoir comment arrêter une poignée d’hommes; c’est de savoir comment changer la signification de la victoire, afin que la prochaine poignée arrive en jouant déjà un jeu différent. L’achat est fait. Le reçu s’imprime. Et un reçu est une information, pas un verdict : il vous indique exactement ce qui a été payé, et exactement ce que nous en avons obtenu en retour. Ceux qui ont rédigé le tableau d’affichage ne peuvent pas le réécrire. Il dénonce le jeu qu’ils ont gagné. Si un nouveau tableau est rédigé, ce sera par ceux qui perdent sous l’ancien, et nous n’avons jamais été aussi nombreux à lire le même reçu en même temps.
Parce que le secours n’y figure pas. La cavalerie n’est pas en retard; elle n’a jamais été engagée. Personne dans la course ne ralentira pour nous sauver, et aucune machine ne sera programmée pour s’attaquer aux cibles qu’elle est censée frapper. Les systèmes déséquilibrés ne s’effondrent pas d’en haut. Ils s’effondrent lorsque les gens en dessous cessent d’attendre et commencent à s’organiser, lorsque la colère dispersée se transforme en une seule revendication avec un objectif précis.
La publication *Minority Report* est soutenue par ses lecteurs. Pour recevoir les nouveaux articles et appuyer mon travail, pensez à vous abonner gratuitement ou à devenir abonné payant.
** Le premier volet : Nous sommes tous à bord d’Apollo 13
Le troisième : Les mouvements se préparent à la crise. L’argent se prépare à y faire face.
Liste évolutive des traductions par Gilles en vrac
Les caractères gras dans le texte sont de Gilles.