Traduction de What AI debates have to do with alchemy par Henry Farrell, 2 octobre sur Substack
Les deux prochaines semaines s’annoncent extrêmement chargées pour moi : plusieurs conférences et ateliers qui m’obligent à rédiger des notes de synthèse. Deux de ces conférences auront lieu dans la région de la Baie de San Francisco. Si vous vous rendez à la COLM (Conférence sur la modélisation du langage) à San Francisco, vous pourrez m’entendre intervenir jeudi prochain à 9 h (ne manquez pas non plus la discussion de mes complices James Evans et Alison Gopnik avec deux autres éminents chercheurs, mercredi à 14 h 30). Si les modèles de langage (LLM) et les sciences sociales vous intéressent, vous pouvez vous inscrire à ma conférence à l’université de Berkeley le lendemain.
Mais je ne vais pas pouvoir écrire grand-chose tant que cette effervescence ne se sera pas calmée. Donc, à défaut d’un nouvel article, en voici un plus ancien que j’ai écrit pour Lawfare l’année dernière, sur l’excellent livre d’Adam Becker, More Everything Forever.
L’ouvrage d’Adam Becker, « More Everything Forever », commence par décrire les idées d’Eliezer Yudkowsky, un gourou de l’IA qui, selon Sam Altman, mérite un prix Nobel. Les ambitions de Yudkowsky pour l’humanité incluent « une santé parfaite, l’immortalité » et un avenir dans lequel « si vous imaginez quelque chose de pire que des manoirs avec des serviteurs robotiques pour tout le monde, c’est que vous n’êtes pas assez ambitieux ». Selon Yudkowsky et ses pairs, un « glorieux avenir transhumaniste » nous attend si nous maîtrisons correctement l’IA, tandis que nous risquons l’extinction si nous nous y prenons mal.
Les termes « IA » et « transhumaniste » sont de nouveaux mots pour désigner des ambitions bien plus anciennes. Comme le fait remarquer le Dr Trelawney, occultiste louche, dans le roman d’Anthony Powell de 1962, *Les Bienveillantes* : « Être riche pour toujours, jeune pour toujours, ne jamais mourir… Tel était, à chaque époque, le rêve de l’alchimiste. » Les alchimistes de la Renaissance ont obtenu le soutien de monarques tels que Rodolphe II, l’empereur du Saint-Empire romain germanique qui a dilapidé les richesses de son royaume dans une quête vaine visant à découvrir la pierre philosophale. Aujourd’hui, comme l’explique Becker, l’AGI, ou intelligence artificielle générale, est devenue le moyen par lequel les philosophes pourraient transsubstantier notre réalité banale en un royaume où l’apparemment impossible devient possible : vivre éternellement, ressusciter les morts et refaire l’univers à l’image de l’humanité.
Ces idées ne seraient qu’une curiosité si elles ne étaient pas en train de remodeler le monde et la conception qu’ont les décideurs politiques de la sécurité nationale. Notre époque est tout aussi étrange que la Prague de Rodolphe II. À l’instar d’un roman de John Crowley, elle possède ses propres golems immortels et ses sorciers qui espèrent dialoguer avec des êtres divins par l’intermédiaire d’un médium. Selon la description d’Ezra Klein, les programmeurs d’IA se considèrent comme des lanceurs de sorts d’invocation, même s’ils ne savent pas exactement ce qui se cache de l’autre côté du portail.
Tout comme il y a des siècles, les dirigeants les écoutent. L’administration Biden a misé la sécurité nationale des Américains sur l’hypothèse que l’IA générale (AGI) était à nos portes, tandis que l’administration Trump et ses alliés du Golfe semblent croire que l’IA contribuera à créer un monde où ils tiendront les rênes.
L’excellent ouvrage de Becker, plein de vivacité, ne traite pas de l’IA en tant que technologie opérationnelle. Il aborde à peine les combinaisons d’apprentissage automatique et de « réseaux neuronaux » (des moteurs de traitement statistique qui ressemblent vaguement à des systèmes de neurones) qui, par exemple, sont utilisées pour simuler le repliement des protéines et les systèmes météorologiques complexes. Il traite plutôt de la notion d’IA et d’autres idées étroitement liées. Si nous avons parfois l’impression de vivre dans un conte de fées sombre aux ramifications infinies, c’est parce que les réalités souvent banales de l’IA se sont entremêlées à un ensemble de notions fantastiques qui précèdent de loin les technologies opérationnelles dont nous disposons aujourd’hui.
Il existe de nombreux ouvrages qui vous aideront à comprendre comment la technologie de l’IA fonctionne dans la pratique, mais rares sont ceux qui tentent ne serait-ce qu’un peu de décrire son fonctionnement en tant que mythe. Si vous souhaitez comprendre pourquoi de nombreux leaders de l’IA croient que leur technologie guérira les blessures de la mortalité, nous accordera une abondance quasi illimitée et nous permettra de nous étendre dans la galaxie, c’est le livre que vous devez lire.
Becker prend au sérieux ces « mages en herbe » de l’IA, tout en affirmant qu’ils se trompent lourdement. Bien avant l’apparition de modèles comme ChatGPT, des gourous tels que Yudkowsky, l’informaticien et auteur de science-fiction Vernor Vinge, récemment décédé, et le futuriste Ray Kurzweil, avaient déjà élaboré une vision vaguement commune de ce que l’IA pourrait accomplir. Ils espéraient un avenir où l’humanité pourrait utiliser l’IA pour transformer les étoiles, voire les galaxies, en ressources au service de l’humanité, ou craignaient un avenir où l’humanité deviendrait elle-même une ressource, destinée à être consumée et jetée par une IA sauvage ayant transcendé ses créateurs et développé ses propres objectifs. Il en résulte, selon Becker, une confiance dans la capacité de la technologie à guérir tous les maux, ainsi qu’une vision singulière d’un « avenir immortel dans l’espace », avec une énergie illimitée, un temps illimité et des ressources illimitées. La vérité, dit-il, c’est que c’est en reconnaissant nos limites physiques que nous pouvons comprendre la diversité réelle des possibilités politiques qui s’offrent à nous, car nous sommes contraints d’affronter les problèmes difficiles que les rêveurs préféreraient ignorer.
Leurs idées sont issues d’un mélange de philosophie analytique et de science-fiction, créant une vision qui est autant une communauté informelle qu’une manière de penser. Comme le dit Becker, cette idéologie de l’avenir est « tentaculaire et mal définie », et la culture qui l’anime est centrée sur la région de la Baie de San Francisco. « Longtermistes », « rationalistes », « défenseurs de la Singularité » : tous débattent sans relâche sur Internet et lors de rassemblements physiques, concoctant un mélange enivrant d’idées qui ont façonné notre compréhension de l’IA.
Le longtermisme est une variante particulière de l’« altruisme efficace », qui est lui-même une ramification de la philosophie analytique utilitariste, selon laquelle nous devrions viser à promouvoir le plus grand bien pour le plus grand nombre. Les altruistes efficaces ont commencé par affirmer que nous devrions privilégier les intérêts des personnes lointaines autant que ceux de nos proches, et en essayant de mesurer l’efficacité des interventions philanthropiques. Des mesures en apparence banales, comme la distribution de moustiquaires, pourraient sauver plus de vies que des solutions plus spectaculaires et plus coûteuses apportées à des problèmes apparemment plus importants. Au fil du temps, cependant, certains philosophes éminents de l’altruisme efficace, tels que Nick Bostrom, Toby Ord et Will MacAskill, ont commencé à se tourner vers des ambitions plus grandioses. Et si nous commencions à accorder autant de valeur à la vie des générations futures qu’à celle des personnes vivant aujourd’hui ? Et s’il existait des avenirs possibles dans lesquels l’humanité pourrait s’étendre à travers les étoiles, ou transférer des copies d’êtres humains dans des environnements virtuels, permettant peut-être l’existence de quadrillions de descendants ? Ne devrions-nous pas faire tout notre possible pour garantir que ces futurs se concrétisent, même si cela impliquait de négliger les problèmes actuels tels que le changement climatique ? Selon Ord et MacAskill, une Terre plus chaude serait certes néfaste, mais ne constituerait qu’un obstacle mineur dans l’histoire future de l’humanité, comparé aux promesses et aux défis de l’IA et des technologies similaires.
Ces idées s’inscrivaient parfaitement dans le rationalisme, un mouvement en ligne qui s’est épanoui sur des sites web tels que LessWrong, Overcoming Bias et Slate Star Codex. Les rationalistes se consacraient à l’amélioration du raisonnement humain individuel, grâce à l’utilisation du théorème de Bayes (un moyen d’ajuster les probabilités de différentes hypothèses à la lumière des preuves), de la théorie des jeux et d’autres outils mathématiques. Des rationalistes de premier plan comme Yudkowsky étaient obsédés par la possibilité que l’IA puisse être capable de raisonner mieux que les êtres humains. Le rationalisme pourrait-il mettre au point des techniques pour contraindre les futures IA, afin de s’assurer que leur intérêt personnel s’aligne sur celui des êtres humains ? Au départ, Yudkowsky et d’autres étaient optimistes, mais ils sont devenus de plus en plus pessimistes au fil du temps, craignant que les IA ne manipulent mieux les humains que l’inverse. Une expérience de pensée rationaliste notoire, le « Basilic de Roko », exposait une logique alambiquée selon laquelle les personnes conscientes de la possibilité d’une IA future, et qui n’auraient pas fait tout ce qui était en leur pouvoir pour la concrétiser, seraient condamnées à un tourment éternel une fois que l’IA aurait pris le pouvoir.
Tous trouvaient leur inspiration dans l’idée de Vernor Vinge selon laquelle l’humanité était au bord d’une « singularité », un point à partir duquel son destin changerait. Une fois que les humains auraient développé des systèmes d’IA plus intelligents qu’eux-mêmes (en d’autres termes, une IA générale, ou AGI), ces systèmes pourraient s’efforcer de devenir encore plus intelligents, et cette forme d’IA encore plus intelligente s’améliorerait à son tour dans une boucle de rétroaction susceptible de transformer la condition humaine en l’espace d’un après-midi. Un avenir glorieux nous attendait tant que l’IA restait au service des besoins humains. Dans le cas contraire, l’humanité risquait d’être accidentellement anéantie à mesure que l’intelligence artificielle atteindrait son apogée. Kurzweil a popularisé ces idées dans un ouvrage publié en 2005 qui prédisait que la Singularité se produirait au cours des prochaines décennies. Ces différentes idées ont fusionné, comme le décrit Becker, pour former « l’idéologie du salut technologique », cette notion selon laquelle il suffirait simplement « d’aligner l’IA, d’éviter l’apocalypse, et la technologie s’occuperait du reste ».
Ce mélange enivrant d’idées a contribué à inspirer le développement des modèles dits « de pointe » qui ont redéfini la réflexion sur l’IA au cours des quatre dernières années. OpenAI, dirigée par Sam Altman, a été fondée par des rationalistes et des « longtermistes » convaincus que la Singularité était proche, et qui ont persuadé les riches de la Silicon Valley qu’ils devaient agir en conséquence. On ne pouvait pas compter sur les intérêts commerciaux pour faire les choses correctement : c’est pourquoi OpenAI, qui a créé la série de modèles GPT, a été structurée en association à but non lucratif sous le contrôle d’un conseil d’administration composé de personnes axées sur l’alignement de l’IA.
Cet arrangement était censé garantir que l’IA serait sûre et alignée sur les intérêts généraux de l’espèce humaine, mais les désaccords ont commencé presque immédiatement. Elon Musk, l’un des premiers soutiens les plus importants d’OpenAI, s’est opposé à Altman et a perdu. Puis, les membres de cette petite communauté ont commencé à se rendre compte que les grands modèles linguistiques — une approche de l’IA qui réduisait les vastes corpus de textes générés par l’homme, disponibles sur Internet et ailleurs, en ensembles relativement compacts de poids statistiques — pouvaient répondre à des invites d’une manière qui semblait ressembler à une conversation humaine ordinaire. L’amélioration de ces modèles passait par la « mise à l’échelle » : le déploiement de semi-conducteurs spécialisés et coûteux lors de cycles d’entraînement onéreux afin de traiter des volumes de données toujours plus vastes. Cela pouvait signifier que l’IA générale (AGI) et la Singularité étaient à portée de main — mais y parvenir coûterait des sommes colossales aux bailleurs de fonds commerciaux. Les tensions qui en ont résulté ont donné lieu à de nouveaux rebondissements : certains membres clés d’OpenAI ont quitté l’entreprise pour fonder une société rivale, Anthropic, censée prendre plus au sérieux les risques liés à l’IA, tandis que des sceptiques au sein du conseil d’administration d’OpenAI ont licencié Sam Altman pour un manque de franchise présumé — avant d’être eux-mêmes remplacés lorsque Sam Altman est revenu avec le soutien de Microsoft.
L’ambition transhumaniste et les craintes concernant une IA hors de contrôle permettent à des laboratoires comme OpenAI et Anthropic d’affirmer qu’ils façonnent un avenir meilleur pour nous tous et qu’ils nous préservent d’un avenir pire. Dario Amodei, PDG d’Anthropic, met en garde contre les ravages que l’IA pourrait causer si elle n’était pas contrôlée. Il espère également que l’IA deviendra bientôt une sorte d’« intelligence pure », « plus intelligente qu’un lauréat du prix Nobel dans la plupart des domaines pertinents », un véritable « pays de génies dans un centre de données », dédié à la découverte. Tout comme la pierre philosophale pouvait transmuter des substances, guérir des maladies et créer un élixir de longévité, Amodei prédit que l’IA transformera bientôt la science des matériaux, guérira la plupart des formes de cancer et doublera l’espérance de vie humaine.
Comme le souligne Becker, ces visions extraordinaires de l’avenir de l’humanité ne sont pas stupides en soi. Des possibilités insolites peuvent émerger de changements majeurs qui se produisent à grande échelle. Il est possible que, sans ces visions, les premières percées n’auraient jamais eu lieu. Au début du XXe siècle, le sociologue Max Weber s’est interrogé sur la manière dont les gens avaient acquis le capital qui avait permis à l’économie moderne de se mettre en marche. Il a conclu, dans une réflexion restée célèbre, que la crainte des calvinistes face à la damnation éternelle avait été le moteur initial de l’éthique du travail, indispensable à l’accumulation du capital d’investissement, fondement essentiel du développement de l’économie moderne en Occident. Peut-être que l’irrationalisme qui anime les rationalisations des rationalistes — cette quête alchimique de la vie éternelle et de l’or qui se reproduit — a de la même manière stimulé la création de modèles qui, sans cela, auraient semblé spéculatifs et inabordables. Peut-être pas.
Quoi qu’il en soit, les débats sur l’IA ont été largement accaparés par une communauté monoculturelle de rationalistes, de longtermistes et de spéculateurs de la Singularité qui ont développé leurs idées et leurs ambitions bien avant de construire les modèles. Les membres de cette communauté sont loin d’être stupides, et beaucoup d’entre eux, probablement la grande majorité, ne sont pas non plus particulièrement hypocrites. Il peut être difficile de faire comprendre une critique à un fondateur, lorsque sa prochaine levée de fonds dépend justement de son incompréhension de celle-ci, mais les ingénieurs, penseurs et écrivains ordinaires sont moins exposés à ce genre de tentations.
Il n’en reste pas moins que le résultat final est que nos débats actuels sur l’IA reposent sur des représentations spéculatives d’avenirs spéculatifs, qui ont été en grande partie développées par Vinge dans les années 1990, puis par Kurzweil et Yudkowsky dans les années 2000, sur la base d’idées encore plus anciennes (Becker décrit les récits d’Isaac Asimov et d’autres auteurs de l’« âge d’or » de la science-fiction, entre les années 1930 et 1960). Ces débats s’articulent autour d’affirmations enthousiastes sur la manière dont les capacités de l’IA telle qu’elle existe réellement (un ensemble de techniques statistiques et prédictives puissantes) pourraient évoluer pour correspondre à l’IA théorique décrite dans les expériences de pensée issues de la philosophie analytique, ainsi qu’à des idées empruntées à la science-fiction et à la fantasy (le chef-d’œuvre de Yudkowsky est la fanfiction de 660 000 mots intitulée « Harry Potter et les méthodes de la rationalité »).
Ces idées se sont répandues bien au-delà de leur communauté d’origine. Shazeda Ahmed et ses collègues constatent que les altruistes efficaces ont développé le domaine de la sécurité de l’IA autour de leur préoccupation concernant « l’alignement » de l’IA, afin qu’elle ne se retourne pas contre ses créateurs. Les « laboratoires », et les personnes qui y travaillent, peuvent orienter le débat, non seulement parce qu’ils exercent une influence ordinaire, mais aussi parce qu’ils détiennent un quasi-monopole sur les données relatives à ce que l’IA de pointe peut ou ne peut pas faire. Un article récent d’Ilan Strauss et d’autres auteurs suggère que les recherches menées par ces laboratoires dominent les citations universitaires : à lui seul, Google DeepMind compte plus de citations de ses articles que les quatre universités les plus influentes réunies.
Cela aide à expliquer comment les idées de ces laboratoires ont déteint sur la politique. Becker s’étend bien davantage sur la Silicon Valley que sur Washington, D.C. Il consacre environ une page à discuter de la manière dont l’idéologie du salut technologique a imprégné les think tanks bien financés de Washington, mais ce n’est pas là son sujet principal. Néanmoins, quiconque participe aux débats sur la sécurité nationale reconnaîtra l’influence remarquable des idées décrites par Becker, et la manière dont elles se sont entremêlées avec la crainte de la Chine pour faire entrer le débat dans une nouvelle phase. Peu avant de quitter ses fonctions de conseiller à la sécurité nationale, Jake Sullivan a appelé Axios pour lancer un avertissement « catastrophique » sur ce que cela signifierait si la Chine, plutôt que les États-Unis, était en mesure de contrôler les « pouvoirs potentiellement divins » de l’IA. D’après des conversations officieuses que j’ai eues, il apparaît clairement que des personnalités de premier plan de l’administration Biden anticipaient que quelque chose ressemblant vaguement à la « singularité » de Vinge — le moment où l’IA serait capable de s’améliorer d’elle-même dans une boucle de rétroaction continue — était imminent. C’est la principale raison pour laquelle les États-Unis ont refusé à la Chine l’accès aux semi-conducteurs les plus avancés utilisés pour entraîner l’IA. Elle voulait s’assurer que la transition vers l’IA générale (AGI) se ferait selon les conditions fixées par les États-Unis, empêchant ainsi une révolution de l’AGI aux caractéristiques chinoises. Si seulement les États-Unis pouvaient conserver une longueur d’avance pendant quelques années, l’IA américaine prendrait son essor, offrant ainsi aux États-Unis un avantage stratégique durable. L’une des dernières initiatives politiques de l’administration Biden a consisté en une tentative vouée à l’échec visant à utiliser son contrôle de la production mondiale de semi-conducteurs pour diviser le monde en trois zones, avec des niveaux d’accès différents aux puces et aux modèles d’IA de pointe. Ces idées politiques ont trouvé un écho dans les laboratoires, comme en témoignent les éditoriaux co-rédigés par des fondateurs tels qu’Amodei, qui mettent en garde contre les dangers de l’IA chinoise, tandis qu’Altman avertit que les États-Unis ne sont « qu’à peine en avance » sur la Chine.
Les politiques de l’administration Biden reposaient sur des paris risqués. L’IA n’est peut-être pas la solution miracle aux problèmes technologiques épineux et complexes promise par Altman, Amodei et leurs pairs. Certains (dont la plupart des membres de l’Association for the Advancement of Artificial Intelligence, ainsi que moi-même et mes collègues) estiment que les approches actuelles ne mèneront pas de sitôt à une IA générale (AGI) capable de s’auto-améliorer. Comme le suggère le succès de DeepSeek dans la construction de modèles d’IA, les semi-conducteurs pourraient ne pas constituer l’atout décisif en matière d’IA que les décideurs politiques américains croyaient.
Quoi qu’il en soit, l’administration Trump semble avoir opté pour une approche différente, remplaçant un grand projet d’ordre mondial en matière d’IA par une stratégie plus souple, fondée sur la convergence en constante évolution entre les notions de grandeur américaine et les intérêts particuliers d’entreprises bien connectées. Cela consiste actuellement à tirer parti du contrôle de la technologie pour maintenir la domination américaine, en concluant des accords avec les États du Golfe, tout en essayant d’écarter la Chine. Lorsque Trump a effectué une tournée dans les États du Golfe accompagné d’une délégation de PDG du secteur technologique, il a proposé l’accès à des semi-conducteurs haut de gamme en échange de promesses d’investissements massifs, acceptant gracieusement un avion à réaction ainsi qu’un transfert d’argent à grande échelle acheminé, moyennant des frais, via le stablecoin de sa famille.
Ce mélange émergent d’empire, de technologie magique et de transactions intéressées rappelle lui aussi la Renaissance. Le sorcier anglais John Dee, qui affirmait avoir transformé le mercure en or en présence de Rodolphe II, est également considéré comme l’inventeur du terme « Empire britannique ». En tant que membre de la cour de la reine Élisabeth Ire, il combinait expériences alchimiques et conversations indirectes avec les anges à des projets plus terre-à-terre visant à étendre la puissance britannique au-delà de l’Atlantique et à s’enrichir personnellement.
La quête de l’immortalité et de la transformation universelle menée par les alchimistes est à nouveau étroitement liée à la lutte entre les empires. Les rêves de santé parfaite, de victoire sur la mort et de demeures dotées de serviteurs robots que décrit Becker inspirent des visions d’un avenir lointain radicalement transformé et d’un présent proche dans lequel l’Amérique peut utiliser des technologies de pointe pour renforcer sa puissance. De telles visions découlent d’une idéologie du salut qui a certes alimenté d’importantes avancées technologiques, mais qui pourrait se tromper lourdement sur la direction que ces avancées nous feront prendre.
Nous sommes entraînés vers un monde où les modèles d’IA offrent des moyens nouveaux et utiles de synthétiser l’information du monde et d’établir des liens non évidents entre ses éléments, mais peuvent également tisser de nouvelles croyances religieuses syncrétiques à partir de la myriade de sources humaines qu’ils synthétisent. Au début du XXe siècle, Weber affirmait que le calvinisme rationalisé avait conduit à la défaite des anciens dieux et au désenchantement inexorable d’un monde dominé par la bureaucratie et le capitalisme organisé. Au début du XXIe siècle, c’est exactement le contraire qui se produit, l’IA ouvrant la voie au retour du fantastique. L’eschatologie de Yudkowsky n’est qu’une des visions prophétiques qui accompagnent l’IA. Les changements concrets que l’IA apportera à la bureaucratie et aux marchés iront de pair avec l’extase et la ferveur religieuses, certaines personnes en venant à croire qu’elles peuvent parler à Dieu par l’intermédiaire de la machine, tandis que d’autres l’utiliseront pour élaborer leurs propres fantasmes étendus sur la politique. Comme le montre l’ouvrage de Becker, la technologie n’est pas seulement une force abstraite qui transforme le monde, mais un miroir dans lequel les êtres humains voient se concrétiser leurs rêves et leurs ambitions. Nous commençons à découvrir à quoi cela ressemble à grande échelle.
Fichier Excel des traductions par Gilles en vrac
Fiches avec les premières phrases (et non seulement les titres)
Les caractères gras dans le texte sont de Gilles.