Les métaphores des « dieux-machines » vous embrouillent l’esprit

Il existe d’autres façons d’envisager l’IA

Traduction de Machine god metaphors eat your brain par Henry Farrell sur Substack, le 22 septembre 2026.

Voici trois propositions.

  1. Les métaphores constituent les couches d’abstraction fondamentales dans les débats modernes sur l’IA.
  2. Nous sommes à un moment où l’on pourrait raisonnablement affirmer qu’Eliezer Yudkowsky et Nick Land sont les intellectuels politiques les plus influents dans le débat américain. Il suffit de voir dans quel état se trouvent ces deux-là. Ce n’est pas une bonne chose.
  3. La convergence des points (1) et (2) avec les événements récents signifie que les « dieux-machines » font désormais partie du débat. C’est un problème. Les abstractions entraînent nécessairement une perte d’informations. Les informations que la métaphore/abstraction des « dieux-machines » élimine sont cruciales pour comprendre la situation dans laquelle nous nous trouvons. Si le débat public et politique reste centré sur la question « Les dieux-machines : bons ou mauvais ? », nous allons au-devant de moments difficiles.

Je dois reconnaître que moi-même (ainsi que mes coauteurs) avons clairement un intérêt personnel dans ce débat. En effet, je pense que l’approche « l’IA en tant que technologie sociale et culturelle »1GB-Ma traduction de cet article : Les grands modèles d’IA sont des technologies culturelles et sociales que nous avons développée constitue une alternative bien meilleure. La dernière partie de cette lettre d’information portera sur un nouvel article rédigé par un mathématicien qui s’appuie sur cette approche. De même, je ne prétends pas, en réalité, que notre approche alternative doive devenir la seule façon dominante de penser l’IA. Ce que je souhaite réellement, dans la lignée de mon précédent billet, c’est un degré bien plus élevé de pluralisme dans les débats déterminants autour d’une technologie que personne, y compris ses créateurs, ne semble particulièrement bien comprendre ni être capable de prédire de manière utile.

D’après ce que je peux en juger, l’échange Twitter ci-dessus est à l’origine de la dernière vague de « pensée du Dieu-machine ». Des personnes qui connaissent Daniel Kokotajlo me disent que je l’apprécierais et que nous pourrions avoir de bonnes conversations ; j’imagine qu’elles ont raison. J’ai trouvé que la plupart des rationalistes que j’ai rencontrés étaient des êtres humains honnêtes ; dans de nombreux cas, même exceptionnellement honnêtes. De même, je pense qu’il y a quelque chose de terriblement limitatif dans la façon dont ils parlent de l’IA, et je soutiens que c’est un véritable problème que le débat continue de s’accélérer au-delà de l’horizon des événements, vers le cœur même de la pensée de la singularité.

Les deux articles que Kokotajlo mentionne ici, AI 2027 et AI 2040, présentent des scénarios d’avenir dont les prédictions sur ce que deviendra l’IA (divine ; surhumaine) sont globalement identiques. Là où ils divergent, c’est dans leurs hypothèses concernant le degré d’alignement des IA sur les objectifs humains. Dans le scénario où l’IA se développe plus ou moins sans contrainte (en partie grâce à la géopolitique), elle échappe à tout contrôle, et l’humanité risque soit d’être « corgi-isée », soit de disparaître. Dans le scénario où le développement de l’IA est retardé, maîtrisé et soumis à une « destruction informatique mutuelle assurée »,2En tant que personne qui s’occupe, en quelque sorte, de sécurité internationale, je ne trouve pas que les spéculations géopolitiques de la Silicon Valley soient particulièrement bien fondées ni convaincantes. Mais ce n’est pas le sujet de l’article d’aujourd’hui. les hommes et les femmes en viennent à avoir des dieux pour serviteurs et commencent à s’étendre vers les galaxies voisines au cours des deux décennies suivantes.

Aucun de ces deux avenirs ne me semble convaincant, mais ils en convainquent très certainement certains. Casey Newton et Kevin Roose s’associent à NPR pour créer le podcast « Machine Gods » dans le cadre d’« une nouvelle ère audacieuse de stratégie éditoriale pour la chaîne ». Dans sa lettre d’information, Newton remercie la chance que son collaborateur et lui se soient lancés un peu trop tard dans le podcasting technologique pour se laisser « séduire » par Sam Bankman-Fried, et suggère, à peine deux paragraphes plus loin, que les détracteurs de la célèbre crise de panique « shoggoth » de Roose « donnaient un avant-goût de la manière dont les commentateurs n’arrêteraient pas de se contorsionner pour nier que quoi que ce soit d’important se passait avec les modèles de langage (LLM) ». En effet.

La situation n’est pas meilleure ailleurs. À Washington DC, le débat sur la politique en matière d’IA est déchiré par une dispute acharnée entre ceux qui adoptent la perspective « Kokotajlo » (ralentissons le rythme avant que nous ne mourions tous !) et ceux qui veulent laisser libre cours à l’innovation afin d’atteindre la singularité technocapitaliste dès que possible. L’un des camps doit son cadre de réflexion à l’institut MIRI d’Eliezer Yudkowsky. L’autre s’appuie sur la pensée de Nick Land, telle que filtrée par les besoins plus immédiats de Marc Andreessen. Bien que je sois nettement plus enclin à pencher pour le premier camp que pour le second, au motif que nous devons effectivement mener une réflexion sérieuse sur la réglementation, je pense qu’il serait terrible que cette réflexion commence et s’arrête aux seules priorités des laboratoires.

Enfin, il y a Scott Aaronson, sur qui je comptais autrefois pour ses précieuses mises au point à l’égard des responsables politiques et des médias lorsqu’ils s’emballaient à l’excès au sujet de l’informatique quantique. On peut dire sans se tromper que Scott n’est pas d’humeur à démystifier ces jours-ci, maintenant qu’OpenAI a résolu le problème de Navier-Stokes. En témoigne ce qui suit :

L’ère des merveilles et des terreurs

Il y a vingt ans, alors que l’idée que l’IA prenne le contrôle du monde de notre vivant nous semblait encore, à la plupart d’entre nous, un fantasme démesuré de ceux qui connaissaient trop de science-fiction et trop peu de science… voici une mise à jour sur le fait que ces prophéties farfelues se sont réalisées. … Il me semble que la Singularité a déjà commencé ; elle est simplement répartie de manière extrêmement inégale.

… À tous ceux qui disent que la vision apocalyptique de l’IA ressemble à une religion apocalyptique, que les rationalistes/singulariens font figure de secte de la baie de San Francisco, qu’Eliezer Yudkowsky dégage l’aura d’un prophète messianique : oui, oui et oui. Mais surtout, aujourd’hui, on ne vous demande plus de croire à des arguments et à des extrapolations, mais uniquement aux gros titres de l’actualité. Accepter la réalité du dieu-machine à venir après qu’il aura résolu les équations de Navier-Stokes et des dizaines d’autres problèmes mathématiques non résolus de longue date (tout en augmentant spectaculairement ses capacités chaque mois), c’est un peu comme accepter Jésus après qu’il soit revenu sur terre sur un nuage étincelant. C’est le strict minimum épistémique.

Oui, une immense incertitude plane encore sur ce à quoi ressemblera le reste de nos vies, mais pour autant que je puisse en juger, il n’y a plus aucune réelle incertitude quant au fait que tout tournera principalement autour de l’IA, et quant à la mesure dans laquelle nous réussirons ou échouerons à orienter son pouvoir vers l’épanouissement humain.

Alors, pourquoi est-ce que je pense que l’approche du « dieu-machine », loin d’être un « strict minimum épistémique », est un dévoreur d’esprit pernicieux ? La réponse est que cette métaphore rétrécit vos horizons du possible au lieu de les élargir, vous forçant à vous concentrer sur une seule question écrasante : que va faire Jésus-Machine dès qu’il descendra de ce nuage étincelant ? Va-t-il instaurer le paradis sur terre ? Ou est-il en réalité un shoggoth portant un masque de Jésus, nous condamnant à l’esclavage ou à la destruction ? Une fois que vous avez accepté que le « Jésus-Machine » est en train de descendre, toutes les questions autres que celles visant à déterminer ses intentions envers l’humanité semblent hors de propos.

J’ai déjà écrit (avec des collègues et à titre personnel) sur les raisons pour lesquelles je pense que toute cette façon de penser est complètement erronée. Mais peut-être ai-je tort. Prenons trois possibilités quelque peu liées entre elles : p1, que l’humanité ne soit pas la seule belle fleur du cosmos et qu’une intelligence supérieure à celle de l’humain soit tout à fait possible, p2, qu’une intelligence élevée soit en réalité impossible sans une forte intentionnalité, et p3, que les architectures actuelles d’IA soient bel et bien la voie royale vers l’atteinte d’une véritable superintelligence généralisable. Personnellement, j’estime que p1 a une probabilité extrêmement élevée, que p2 et p3 ont une probabilité très faible, et que p1*p2*p3, qui est le scénario le plus évident dans lequel on pourrait s’inquiéter du problème d’alignement de l’IA, a une probabilité très faible en effet. Mais qui peut affirmer que je ne me trompe pas ? De même, moi-même, ou quelqu’un qui se montre sceptique à l’égard de « Machine Jésus » pour des raisons radicalement différentes et incompatibles avec les miennes, pourrions avoir raison. Et si cela est possible, alors nous ne devrions pas nous contenter de nous obséder sur la question de savoir si nous « réussissons ou échouons à orienter » Son Immense Pouvoir vers des fins humaines. Nous pourrions vouloir nous préoccuper d’autres questions également, ou à la place.

Il y a une discussion sur la solution des équations de Navier-Stokes, le miracle qui a conduit Scott à embrasser la vraie foi, dans un article invité sur le blog de Terence Tao, qui illustre utilement ce point. Elle présente également l’avantage d’être (en quelque sorte) préenregistrée. Cette discussion m’intéresse tout particulièrement, car elle s’appuie sur des arguments concernant l’IA en tant que technologie sociale et culturelle. Encore une fois, je ne pense pas qu’il soit nécessaire de croire que ce point de vue soit juste sur le fond pour accepter l’argument plus restreint que je souhaite faire valoir, à savoir que des perspectives autres que celle du « dieu-machine » révèlent d’autres questions et problèmes dont nous devrions très raisonnablement nous préoccuper.

Dans son article invité, le mathématicien Nestor Guillen écrit qu’il avait anticipé la solution de Navier-Stokes, mais que sa réaction n’avait pas été de penser que les mathématiques humaines risquaient d’être remplacées. Au contraire, il a fait valoir que cela validait l’ensemble de l’entreprise.

La majeure partie de cet essai a été rédigée en août et partagée avec quelques amis proches pour recueillir leurs commentaires. En début de semaine, Tristan Buckmaster a annoncé une découverte majeure, réalisée en collaboration avec Levent Alpöge, concernant un éclatement en temps fini pour les équations d’Euler incompressibles en 3D avec forçage. Il a également formulé de graves allégations de faute professionnelle à l’encontre d’OpenAI (voir l’annonce). Le lendemain, OpenAI a annoncé un résultat d’éclatement en temps fini pour les équations de Navier-Stokes en 3D avec forçage, obtenu à partir de son LLM interne. … J’ai décidé de ne pas modifier l’introduction de cet essai et de me contenter de mentionner cette actualité ici.

… Quelle serait la portée de cette nouvelle si, un jour, nous apprenions que la sortie d’un grand modèle linguistique contient une réponse définitive à la question de l’explosion des équations de Navier-Stokes incompressibles, ainsi qu’à celle de la localisation des zéros de la fonction zêta de Riemann ?

Beaucoup de mes confrères mathématiciens considèrent cela comme une sorte de cauchemar, et je pense que c’est une position tout à fait légitime. Je voudrais toutefois défendre ici un point de vue différent. Personnellement, j’en suis venu à croire que la nouvelle selon laquelle la sortie d’un grand modèle contient une idée mathématique intéressante, perspicace et novatrice peut et doit être accueillie comme une source de fierté collective pour les mathématiques et pour les mathématiciens.

Pourquoi en est-il ainsi ? Guillen affirme que :

Les êtres humains ont toujours vécu dans un monde complexe et leur survie a dépendu de leur capacité à traiter des quantités d’informations dépassant ce qu’un individu peut gérer à lui seul — et il est probable qu’il en soit ainsi depuis pratiquement aussi longtemps que l’humanité existe. Le concept de « rationalité limitée » d’Herbert Simon rend bien compte de cela…

Simon a constaté qu’une des implications de la rationalité limitée est que les humains doivent (et le font effectivement) développer des systèmes pour traiter l’information, en tant que groupe. Nous constatons que les humains ont construit des États, des récits, des bureaucraties, des marchés, des bibliothèques, et bien plus encore. Il s’agit là de technologies culturelles et sociales. Ce sont des moyens par lesquels les humains (non pas individuellement, mais en tant que groupe) gèrent des quantités d’informations si vastes qu’aucun individu ne pourrait les traiter à lui seul. …

Les LLM… sont des « enveloppes » qui recouvrent une technologie culturelle plus ancienne : la littérature scientifique. Lorsque vous posez à un LLM une question sur l’inégalité isopérimétrique, le principe du maximum de l’ABP ou une équation différentielle partielle (EDP), vous interagissez en réalité avec toutes les personnes qui ont réfléchi à ces sujets et travaillé dessus — à condition que les données sur lesquelles le LLM a été entraîné contiennent ces contributions d’une manière ou d’une autre.

Sans surprise, je pense que cela est en grande partie exact (je pense effectivement qu’on peut avancer l’argument de la technologie culturelle et sociale, tout en étant terrifié par les conséquences de l’IA : j’y reviendrai dans mon prochain billet). Mais même si ce n’est pas le cas, cela met en lumière des questions différentes — et, je pense, importantes — de celles liées au lien entre machine et divinité.

Plus précisément : si vous considérez l’IA comme une technologie culturelle et sociale, votre première réaction ne sera pas de vous prosterner en prévision de l’ère des dieux à venir. Au contraire, vous serez plutôt enclin à considérer des domaines comme les mathématiques comme une combinaison d’intelligence humaine individuelle et collective, construite sur la base de technologies qui guident et orientent cette intelligence dans des directions particulières. Ainsi, lorsqu’une nouvelle technologie telle que l’IA fait son apparition, remodelant la manière dont les mathématiciens puisent dans leur intelligence partagée, vous aurez des questions à poser. Quels sont les processus actuels par lesquels les connaissances existantes sont diffusées et les nouvelles connaissances créées ? Quelles sont les structures d’incitation à la diffusion et à la création, et comment interagissent-elles entre elles ? Comment ces processus et ces incitations ont-ils été façonnés par les technologies culturelles et sociales passées et actuelles ? Comment ces processus et ces incitations pourraient-ils être modifiés par ce qui se passe actuellement ?
Et ainsi de suite. Vous pouvez découvrir une façon d’approfondir cette réflexion dans le récent billet de Ben Recht, qui suggère, si je le comprends bien, que les mathématiciens devraient vraiment repenser la part de leur domaine qui reposait déjà sur la « recherche de la performance maximale » (prix et défis) avant même l’arrivée de l’IA. L’argument de Tao, tel que cité dans le NYT, va dans le même sens.

[Tao] a comparé OpenAI à un guide de randonnée qui trouve un chemin menant à une cascade cachée. « Cela a une certaine valeur », a-t-il déclaré. « Mais une fois que quelqu’un a montré un chemin précis vers la cascade, les gens empruntent simplement ce chemin. Ils ne passent plus autant de temps à chercher d’autres chemins. »

Je ne suis même pas un mathématicien amateur, je suis donc tout à fait ouvert à la correction, mais je crois comprendre que Tao dit en substance ce qui suit. Les processus automatisés de découverte présentent des avantages évidents pour indiquer la direction vers de nouvelles choses. De même, ils font basculer l’équilibre de « l’exploration » vers « l’exploitation ». Les divagations apparemment sans but des humains peuvent avoir des avantages lorsqu’elles ouvrent des perspectives inattendues issues de Serendippo. Plus généralement :

la résolution de problèmes n’est qu’un outil et un moyen d’atteindre l’objectif premier, à savoir la compréhension conceptuelle et la perspicacité. Oublier cela dans le monde de l’IA risque de retourner cet outil contre l’objectif premier. En effet, la production de masse, à un rythme toujours plus rapide, d’énoncés « vrai/faux » pourrait détruire un terrain fertile au lieu d’insuffler la vie à de nouvelles idées.

Il se pourrait bien que l’IA devienne universellement plus performante en matière de découverte, au point que les humains deviennent superflus en mathématiques. C’est l’hypothèse du « dieu machine ». Mais cette hypothèse exclut, plus ou moins d’un coup de chapeau, la possibilité que la curiosité humaine puisse encore avoir une valeur indépendante dans la découverte de nouvelles possibilités, ainsi que toutes les questions qui en découlent. Si l’IA est plus performante dans certains domaines et les humains dans d’autres, il faut alors s’attaquer aux problèmes complexes de conception organisationnelle. Comment refondre les institutions mathématiques afin qu’elles concilient au mieux les approches de la découverte menées par l’IA et celles menées par les humains ? Comment redéfinir la relation entre la diffusion des connaissances et la découverte ? Quelles incitations individuelles et organisationnelles semblent les mieux adaptées pour atteindre des objectifs généraux ? Quels objectifs généraux devrait-on se fixer ? Aucune de ces questions n’est facile, et il y aura probablement des compromis complexes entre les solutions à un ensemble de problèmes et celles à un autre.

Je ne pense pas qu’une approche de l’« IA en tant que technologie culturelle et sociale » apporte des réponses immédiates (au-delà peut-être de « vous devriez vraiment lire James March »). Mais l’important, c’est qu’elle permet de voir que ces questions peuvent être importantes. Si vous partez, comme le fait Guillen, du principe que l’IA ne remplace pas inévitablement les humains dans la diffusion et la découverte des connaissances, mais qu’elle réorganise plutôt les relations entre eux, alors vous commencez à vous poser des questions qui sont systématiquement occultées par la « pensée du Dieu-machine ». Pour être juste envers Scott Aaronson, son article suggère vers la fin qu’il se soucie lui aussi de ces questions. Peut-être que, lorsque l’effervescence sera retombée, il trouvera de meilleurs moyens de les aborder de manière systématique.

On pourrait, bien sûr, avancer des arguments similaires concernant d’autres approches que celles de la technologie culturelle et sociale. La cybernétique en est un autre exemple très évident. Si l’on s’en tient à la question de l’alignement de l’IA, on devra nécessairement faire confiance à des IA « divines » pour surveiller d’autres IA « divines » et prier pour que tout se passe bien. Si vous partez d’une perspective cybernétique (par exemple : la réflexion de Maxim Raginsky), vous finirez par vous poser des questions très différentes. Comme l’a montré l’incident HuggingFace, il existe beaucoup de failles dans les capacités de surveillance et de contrôle des laboratoires d’IA. « J’ai besoin de couches d’abstraction pour surveiller mes couches d’abstraction » est (a) l’autocollant de pare-chocs le plus nul et le plus prétentieux au monde, (b) une synthèse profonde de la condition moderne, et (c) un diagnostic des problèmes fondamentaux que les laboratoires d’IA se créent eux-mêmes et qu’ils ne sont pas toujours capables de percevoir, pour autant que l’on puisse en juger de l’extérieur. Lorsque vous avez besoin de l’IA pour résumer les données qui vous permettent de rédiger vos rapports d’incident sur l’IA, certains de ces trous de gruyère risquent d’être étroitement alignés, laissant potentiellement passer des éléments que vous ne souhaitez pas voir passer.

Une troisième approche, connexe mais significativement différente, est celle de la cybersécurité. Comme le dit Dan Davies, « presque tous les exemples de comportements agentiques inquiétants semblent n’avoir été observés que dans un seul contexte : celui des laboratoires de recherche de pointe menant des projets de cybersécurité et négligeant leurs précautions en matière de bac à sable. » Je suis certain qu’il y a d’excellents spécialistes de la cybersécurité dans ces laboratoires, mais je soupçonne qu’ils ont beaucoup moins d’influence en interne que ceux qui repoussent les limites de l’agentivité. Si vous êtes ancré dans une culture qui a globalement décidé qu’il est impossible à l’intelligence humaine ordinaire d’empêcher des entités prétendument superintelligentes de s’affranchir de leurs contraintes, alors la cybersécurité semble secondaire : l’alignement des objectifs de l’IA sur ceux des humains est le seul moyen de garder une longueur d’avance.

Je pourrais continuer, mais j’espère que le message est clair. La métaphore du « Dieu-Machine », qui n’est en réalité qu’une reformulation accrocheuse de notions de longue date au sein d’une communauté particulière de spécialistes de l’IA, a échappé à tout contrôle. Elle conduit, plus ou moins par nécessité, à une simplification radicale du débat. Si vous croyez que les « dieux-machines » sont en marche, et qu’une superintelligence dotée de pouvoirs extraordinaires et orientée vers des objectifs est donc à nos portes, alors la seule chose qui compte est de s’assurer que les objectifs de cette superintelligence correspondent à ceux qui vous tiennent à cœur. Si vous fixez le soleil, vous ne voyez que son éblouissement, et vous passez à côté de toutes les autres questions qui pourraient être importantes. Réfléchir à ces questions implique d’adopter une vision plus pluraliste des sources de connaissance et de s’interroger sur la grande diversité des avenirs qui s’offrent à nous, bien au-delà du simple choix entre « dieux-machines : bons » ou « dieux-machines : mauvais ». C’est tout.

Liste évolutive des articles traduits par Gilles en vrac
Les caractères gras dans le texte sont de l’auteur.e

Notes