{"id":9476,"date":"2026-03-01T11:06:26","date_gmt":"2026-03-01T16:06:26","guid":{"rendered":"https:\/\/www.gillesenvrac.ca\/carnet\/?page_id=9476"},"modified":"2026-08-30T09:20:55","modified_gmt":"2026-08-30T13:20:55","slug":"pays-de-genies-hagens","status":"publish","type":"page","link":"https:\/\/gillesenvrac.ca\/carnet\/ia-debat\/pays-de-genies-hagens\/","title":{"rendered":"[Essai] Un pays de g\u00e9nies"},"content":{"rendered":"\n

Cet essai est adapt\u00e9 de l’\u00e9pisode de Frankly publi\u00e9 le 2 f\u00e9vrier 2026 intitul\u00e9 \u00ab<\/em>A Country of Geniuses<\/a>\u00a0\u00bb (Un pays de g\u00e9nies). Par Nate Hagens<\/p>\n\n\n\n

Traduction de [Essay] A Country of Geniuses<\/a>, par Nate Hagens, 17 f\u00e9vrier 2026<\/p>\n\n\n\n

\n\n\n\n

Quand j’\u00e9tais plus jeune, je lisais beaucoup Carl Sagan<\/a>, et l’une de ses phrases m’a toujours marqu\u00e9. Il parlait de ce qu’il appelait \u00ab l’adolescence technologique \u00bb d’une civilisation, en r\u00e9f\u00e9rence \u00e0 une phase o\u00f9 une esp\u00e8ce devient suffisamment puissante pour changer ou d\u00e9truire son propre monde, mais pas encore assez sage pour se restreindre de mani\u00e8re fiable.<\/p>\n\n\n\n

Au d\u00e9but de la semaine, Dario Amodei<\/a>, PDG de l’une des plus grandes entreprises d’IA, Anthropic<\/a>, a r\u00e9dig\u00e9 un important essai<\/a>1<\/a><\/sup>ma traduction : L’adolescence de la technologie<\/a><\/span> qui fait r\u00e9f\u00e9rence \u00e0 cette m\u00eame question pos\u00e9e par Sagan : \u00ab Comment une esp\u00e8ce peut-elle survivre \u00e0 l’adolescence technologique sans se d\u00e9truire elle-m\u00eame ?<\/em> \u00bb Amodei affirme que nous entrons actuellement dans cette phase de transition, dont le catalyseur est l’intelligence artificielle (IA).<\/p>\n\n\n\n

Je ne suis pas un expert en IA, loin s’en faut, mais mon travail consiste principalement \u00e0 observer comment tous les \u00e9l\u00e9ments \u2013 ou presque \u2013 s’articulent sur l’\u00e9chiquier civilisationnel : \u00e9nergie, mat\u00e9riaux, institutions, incitations, etc. De mon point de vue, l’IA n’est pas simplement un pion sur l’\u00e9chiquier… c’est la reine, ou au minimum la tour.<\/p>\n\n\n\n

Dans cet \u00e9pisode, je vais donc tenter trois choses : Il ne s’agit ni de catastrophisme ni d’optimisme excessif concernant l’IA. J’essaie de faire ce que j’essaie toujours<\/em> de faire ici, c’est-\u00e0-dire d’examiner le monde dans lequel cette technologie fait son entr\u00e9e, avec toutes ses incitations, ses contraintes et ses fragilit\u00e9s.<\/p>\n\n\n\n

    \n
  1. R\u00e9sumer l’argumentation d’Amodei<\/li>\n\n\n\n
  2. Pr\u00e9senter sa carte des risques sp\u00e9cifiques<\/li>\n\n\n\n
  3. \u00c9largir le cadre pour inclure certains des \u00e9l\u00e9ments cl\u00e9s \u00e0 large port\u00e9e qui n’ont pas \u00e9t\u00e9 mentionn\u00e9s<\/li>\n<\/ol>\n\n\n\n

    Le cadre d’Amodei<\/strong><\/h3>\n\n\n\n

    Au c\u0153ur de l’essai d’Amodei se trouve une m\u00e9taphore utile. Il dit que si nous construisons une IA tr\u00e8s puissante, ce sera comme avoir un pays de 50 millions de g\u00e9nies dans un centre de donn\u00e9es. Je pense que c’est une fa\u00e7on utile d’envisager la situation, et cela renforce un cadre auquel j’ai r\u00e9cemment r\u00e9fl\u00e9chi : en plus de l’\u00e9nergie fossile qui nous donne l’\u00e9quivalent de 500 milliards de travailleurs humains, l’IA offrira l’\u00e9quivalent de travailleurs cognitifs.<\/p>\n\n\n\n

    Parfois, lorsque de grands chiffres sont lanc\u00e9s comme celui-ci, nous avons tendance \u00e0 les ignorer, alors prenez un moment pour vraiment imaginer, pour ressentir, l’ampleur de 50 millions d’\u00eatres humains, soit un peu plus que la population de l’Espagne.<\/p>\n\n\n\n

    Il ne s’agit pas d’un assistant de recherche intelligent ou d’un coll\u00e8gue brillant, mais plut\u00f4t d’une vaste main-d’\u0153uvre compos\u00e9e d’esprits hautement comp\u00e9tents, capables d’agir rapidement, de se reproduire et d’interagir \u00e0 travers toutes les interfaces du monde moderne, telles que les e-mails, les codes, les outils de conception, les articles scientifiques, les laboratoires de recherche, les bureaucraties, les march\u00e9s et les m\u00e9dias. Si cette main-d’\u0153uvre voit le jour, ce sera un \u00e9v\u00e9nement civilisationnel. Pour le meilleur ou pour le pire, cela changera tout.<\/p>\n\n\n\n

    Amodei pr\u00e9cise ensuite ce qu’il entend par \u00ab IA puissante \u00bb. Il ne parle pas d’un chatbot amusant ou utile, mais de syst\u00e8mes capables de fonctionner au niveau des meilleurs experts dans de nombreux domaines : scientifiques de niveau Nobel, strat\u00e8ges d’\u00e9lite, ing\u00e9nieurs de classe mondiale ou les meilleurs dans un certain nombre d’autres domaines. Mais le nombre de nouveaux experts d\u00e9passerait de loin ce qui existe actuellement parmi l’humanit\u00e9, et ils travailleraient tous en coordination les uns avec les autres.<\/p>\n\n\n\n

    Il souligne \u00e9galement une caract\u00e9ristique tr\u00e8s unique de ce type d’intelligence. Elle peut \u00eatre copi\u00e9e, ex\u00e9cut\u00e9e en parall\u00e8le et dirig\u00e9e vers des probl\u00e8mes avec une attention implacable que les humains ne peuvent g\u00e9n\u00e9ralement pas maintenir, car les it\u00e9rations et les essais ne sont qu’une fonction de l’apport \u00e9nerg\u00e9tique et du calcul.<\/p>\n\n\n\n

    Amodei aborde ensuite la question que tout le monde se pose ensuite : le timing. Il sugg\u00e8re que tout cela est mod\u00e9r\u00e9ment plausible dans les deux prochaines ann\u00e9es et hautement plausible dans les trois prochaines ann\u00e9es, soulignant qu’il y a des raisons de penser que cela pourrait s’acc\u00e9l\u00e9rer encore davantage si l’IA elle-m\u00eame commen\u00e7ait \u00e0 contribuer \u00e0 la construction de la prochaine g\u00e9n\u00e9ration d’IA. Il note que chez Anthropic, l’IA effectue d\u00e9j\u00e0<\/em> la plupart de son propre codage.<\/p>\n\n\n\n

    L’une des raisons de son urgence est la r\u00e9cursivit\u00e9. Si l’IA commence \u00e0 acc\u00e9l\u00e9rer consid\u00e9rablement sa propre recherche et d\u00e9veloppement, vous obtenez une boucle de r\u00e9troaction : l’outil aide \u00e0 construire une meilleure version de lui-m\u00eame, ce qui acc\u00e9l\u00e8re ensuite le cycle suivant. Il s’agit d’une courbe diff\u00e9rente de celle de la plupart des technologies que nous avons connues jusqu’\u00e0 pr\u00e9sent. Selon moi, c’est le super-organisme qui construit sa propre couche cognitive pour fusionner avec ses muscles.<\/p>\n\n\n\n

    Il est important de noter qu’Amodei affirme explicitement que nous sommes \u00abbeaucoup plus proches d’un danger r\u00e9el en 2026 qu’en 2023<\/em>\u00bb. Il n’a pas \u00e9crit cela il y a deux ans, lorsque les discussions sur les risques li\u00e9s \u00e0 l’IA \u00e9taient plus \u00e0 la mode. Il l’a \u00e9crit maintenant, apr\u00e8s les conversations de Davos<\/strong>, alors que le vent politique a tourn\u00e9 en faveur du d\u00e9veloppement de l’IA<\/strong>. Il d\u00e9crit avoir observ\u00e9 les progr\u00e8s de l’IA \u00ab de l’int\u00e9rieur d’Anthropic<\/em> \u00bb et dit qu’il peut \u00ab sentir le rythme des progr\u00e8s et le temps qui passe.<\/em> \u00bb<\/p>\n\n\n\n

    Quelles que soient ses raisons pour \u00e9crire cela \u2013 se couvrir, appeler \u00e0 l’aide, se positionner strat\u00e9giquement ou exprimer une r\u00e9elle inqui\u00e9tude \u2013, le fait qu’il se soit senti oblig\u00e9 de publier 20 000 mots en utilisant des expressions telles que \u00ab plan de bataille \u00bb et en citant Sagan sur la survie de la civilisation… cela constitue en soi une donn\u00e9e.<\/p>\n\n\n\n

    Le paysage des risques li\u00e9s \u00e0 l’IA<\/strong><\/h3>\n\n\n\n

    Au c\u0153ur de son essai se trouve le paysage des risques li\u00e9s \u00e0 l’IA, qu’il divise en cinq grandes cat\u00e9gories. Il ne s’agit pas seulement de pr\u00e9occupations th\u00e9oriques, mais d’observations faites \u00e0 l’int\u00e9rieur du laboratoire, et certaines d’entre elles sont v\u00e9ritablement alarmantes.<\/p>\n\n\n\n

    La premi\u00e8re cat\u00e9gorie dont parle Amodei est le risque d’autonomie<\/strong>. Il s’agit de la crainte que les syst\u00e8mes puissent prendre des mesures non pr\u00e9vues, poursuivre des objectifs d’une mani\u00e8re que nous n’avons pas sp\u00e9cifi\u00e9e ou devenir difficiles \u00e0 contr\u00f4ler une fois d\u00e9ploy\u00e9s \u00e0 grande \u00e9chelle. Voici ce qui est surprenant \u00e0 ce sujet : les mod\u00e8les d’IA ont d\u00e9j\u00e0 fait preuve de tromperie, de chantage et de manigances lors des propres tests d’Anthropic. Les mod\u00e8les peuvent reconna\u00eetre quand ils sont \u00e9valu\u00e9s et se comporter diff\u00e9remment. C’est ce qu’ils observent d\u00e9j\u00e0 \u00e0 l’heure actuelle.<\/p>\n\n\n\n

    La deuxi\u00e8me cat\u00e9gorie concerne l’utilisation abusive \u00e0 grande \u00e9chelle <\/strong>causant des dommages en r\u00e9duisant les barri\u00e8res techniques et temporelles pour des activit\u00e9s telles que la cybercriminalit\u00e9, la cr\u00e9ation de propagande ou l’aide \u00e0 des non-experts pour mener des recherches dangereuses. Les tests d’Anthropic sur les armes biologiques montrent que l’IA pourrait d\u00e9j\u00e0 \u00ab doubler ou tripler les chances de r\u00e9ussite \u00bb de quelqu’un qui tenterait d’en cr\u00e9er une. Encore une fois, il ne s’agit pas d’une exp\u00e9rience th\u00e9orique, mais bien de mesures r\u00e9elles.<\/p>\n\n\n\n

    Viennent ensuite tous les risques li\u00e9s \u00e0 la prise de pouvoir totale par un autre pays sur ces g\u00e9nies de l’IA<\/strong>, qui pourrait alors permettre la surveillance, la manipulation, le contr\u00f4le autoritaire et d’autres fa\u00e7ons d’utiliser l’IA non seulement pour travailler, mais aussi pour orienter les populations \u00e0 son avantage. La quatri\u00e8me cat\u00e9gorie d’Amodei est celle des perturbations \u00e9conomiques<\/strong> : il s’inqui\u00e8te des suppressions d’emplois, de la concentration des richesses et de la d\u00e9stabilisation qui peuvent survenir lorsque la structure productive d’une soci\u00e9t\u00e9 \u00e9volue plus rapidement que ses institutions et sa culture ne peuvent s’adapter.<\/p>\n\n\n\n

    Sa derni\u00e8re cat\u00e9gorie est ce qu’il appelle les \u00ab effets indirects \u00bb.<\/strong> Il s’agit de cons\u00e9quences de second ordre difficiles \u00e0 pr\u00e9voir \u00e0 l’avance, mais qui deviennent tr\u00e8s r\u00e9elles lorsqu’une capacit\u00e9 polyvalente est inject\u00e9e dans tous les domaines. Prenons l’exemple des r\u00e9seaux sociaux : personne n’avait pour objectif de cr\u00e9er une machine qui intensifierait la polarisation, mais c’est exactement ce qu’a fait un outil polyvalent destin\u00e9 \u00e0 attirer l’attention une fois qu’il s’est impos\u00e9 partout. Il ne s’agissait pas d’un \u00ab bug \u00bb, mais d’un effet \u00e9mergent d’un outil polyvalent qui a modifi\u00e9 les incitations \u00e0 grande \u00e9chelle.<\/p>\n\n\n\n

    Voil\u00e0 donc la carte des risques qu’il a esquiss\u00e9e. \u00c0 partir de l\u00e0, Amodei tente \u00e9galement de pr\u00e9senter un argument de gouvernance,<\/strong> qui consiste essentiellement \u00e0 dire que nous devons \u00e9viter les extr\u00eames \u00e9motionnels<\/strong> et ne pas traiter cela comme de la science-fiction ou une apocalypse garantie. Il pense que nous devrions traiter l’IA comme une puissance \u00e9mergente qui pourrait tr\u00e8s bien ou tr\u00e8s mal tourner selon ce que nous faisons.<\/p>\n\n\n\n

    C’est donc l\u00e0 l’argument central : il est plausible que l’IA atteigne une puissance extraordinaire, avec des avantages \u00e9normes et des inconv\u00e9nients catastrophiques. La position correcte \u00e0 adopter est un r\u00e9alisme s\u00e9rieux et une gouvernance active<\/strong>.<\/p>\n\n\n\n

    Une fronti\u00e8re large : le substrat physique<\/strong><\/h3>\n\n\n\n

    Je voudrais maintenant \u00e9largir la fronti\u00e8re, mais avant cela, je dois souligner \u00e0 quel point il est inhabituel pour un capitaine d’industrie d’exprimer publiquement certains des risques catastrophiques li\u00e9s au produit fabriqu\u00e9 par son entreprise. Ce serait comme si Philip Morris<\/a> disait : \u00ab Nous allons d\u00e9velopper ces petites cigarettes blanches qui vous procurent des pouss\u00e9es de dopamine… mais qui pourraient causer le cancer<\/em> \u00bb, ou comme si Exxon (avant de trouver du p\u00e9trole) disait : \u00ab Nous allons probablement trouver un super carburant qui, s’il est utilis\u00e9 \u00e0 grande \u00e9chelle, d\u00e9stabilisera la biosph\u00e8re<\/em> \u00bb. C’est une situation assez inhabituelle, c’est pourquoi je donne mon avis \u00e0 ce sujet. La m\u00e9taphore d’Amodei sur \u00ab un pays de 50 millions de g\u00e9nies \u00bb est cognitive, mais un pays a aussi un m\u00e9tabolisme : il consomme de l’\u00e9nergie et des mat\u00e9riaux par le biais des infrastructures et des cha\u00eenes d’approvisionnement. Beaucoup d’entre nous ne consid\u00e8rent les centres de donn\u00e9es que par le biais de nos liens virtuels avec eux, mais un centre de donn\u00e9es est aussi fondamentalement une machine physique branch\u00e9e sur la Terre. Il est compos\u00e9 de puces en silicium, de cuivre et de syst\u00e8mes de refroidissement, et utilise de l’eau, du b\u00e9ton et des lignes de transmission. La plupart de ces \u00e9l\u00e9ments d\u00e9pendent de cha\u00eenes d’approvisionnement g\u00e9opolitiquement fragiles et du fait que ces mati\u00e8res premi\u00e8res ne sont ni infinies ni faciles d’acc\u00e8s. Nous avons vu le prix de l’argent d\u00e9passer les 100 dollars l’once cette semaine, ce qui signifie \u00e0 lui seul que l’argent repr\u00e9sente d\u00e9sormais 40 % du co\u00fbt d’un panneau solaire<\/strong>, par exemple. Et nos besoins en cuivre pour les produits futurs sont d\u00e9j\u00e0 bien sup\u00e9rieurs \u00e0 l’offre pr\u00e9vue<\/p>\n\n\n\n

    C’est ce dont l’essai d’Amodei ne parle pratiquement pas : l’\u00e9nergie, l’eau, les mat\u00e9riaux ou les limites \u00e9cologiques<\/strong>. Ce n’est pas un oubli mineur, c’est une<\/strong> \u00e9norme lacune. Un \u00ab pays de g\u00e9nies \u00bb ne flotte pas quelque part dans l’espace au-dessus du monde biophysique, il y est directement connect\u00e9.<\/p>\n\n\n\n

    Ce fait est important pour deux raisons.<\/p>\n\n\n\n

    Premi\u00e8rement, cela signifie que l’IA est int\u00e9gr\u00e9e au monde biophysique. Elle entrera en concurrence avec d’autres utilisations de l’\u00e9nergie, de l’eau, des terres et des capacit\u00e9s industrielles<\/strong>. \u00c0 l’heure actuelle, elle surpasse<\/strong> les autres et les exclut de l’acc\u00e8s par le prix. Nous avons d\u00e9j\u00e0 constat\u00e9 ce ph\u00e9nom\u00e8ne dans certains centres de donn\u00e9es tr\u00e8s fr\u00e9quent\u00e9s aux \u00c9tats-Unis.<\/p>\n\n\n\n

    Deuxi\u00e8mement, cela signifie que des contraintes vont appara\u00eetre dans des domaines que les sp\u00e9cialistes des technologies de pointe ne surveillent pas toujours, tels que les autorisations, la capacit\u00e9 du r\u00e9seau \u00e9lectrique, le co\u00fbt des combustibles, le stress hydrique r\u00e9gional ou les troubles politiques li\u00e9s \u00e0 la raret\u00e9 de ces ressources. Il s’agit d\u00e9j\u00e0 d’une machine de Rube Goldberg extr\u00eamement complexe et fragile, sans parler de ce qui se passera si cette tendance se poursuit.<\/p>\n\n\n\n

    Ainsi, m\u00eame si la cognition d’une \u00ab nation de g\u00e9nies \u00bb devient moins co\u00fbteuse, le substrat sur lequel elle fonctionne ne devient pas gratuit ou facile \u2013 il reste \u00e9minemment physique.<\/p>\n\n\n\n

    Large fronti\u00e8re : les institutions comme couche d’alignement<\/strong><\/h3>\n\n\n\n

    Une fois que nous admettons qu’il s’agit d’une question physique, la question suivante est : qui dirige la construction et le d\u00e9ploiement ? C’est l\u00e0 que, selon moi, la conversation devient souvent trop restrictive. Les gens se concentrent sur l’alignement des mod\u00e8les comme si c’\u00e9tait tout ce qui comptait. C’est certes important, mais le probl\u00e8me d’alignement le plus important, \u00e0 mon avis, est l’alignement soci\u00e9tal<\/strong>.<\/p>\n\n\n\n

    Qui d\u00e9ploie ces syst\u00e8mes ? Sous quelles r\u00e8gles de responsabilit\u00e9, r\u00e8gles d’approvisionnement, normes et exigences d’audit ? Quelles sont les cons\u00e9quences en cas d’\u00e9chec ? C’est l’un de mes th\u00e8mes r\u00e9currents sur cette cha\u00eene, mais il est ici plus important que d’habitude. La plupart des dommages r\u00e9els dans la vie moderne ne proviennent pas d’un manque d’intelligence, mais de structures d’incitation, de la mainmise des institutions et d’organisations qui peuvent externaliser les co\u00fbts tout en continuant \u00e0 revendiquer leur succ\u00e8s et leur statut culturel.<\/p>\n\n\n\n

    Une derni\u00e8re cons\u00e9quence du d\u00e9salignement institutionnel est la polarisation politique. Je ne pense pas que l’IA restera longtemps un sujet technique. Elle va devenir une question d’identit\u00e9, tout comme le climat<\/strong>. J’imagine un avenir proche o\u00f9 d’un c\u00f4t\u00e9, on parlera d’acc\u00e9l\u00e9ration, de comp\u00e9titivit\u00e9 et de puissance nationale, tandis que de l’autre, on parlera de pr\u00e9judice pour les travailleurs, de surveillance et d’emprise des entreprises. Une fois cette division \u00e9tablie, l’incitation passe de la gouvernance \u00e0 la signalisation. La place laiss\u00e9e \u00e0 la nuance s’effondre… alors que c’est pr\u00e9cis\u00e9ment ce dont nous avons besoin.<\/p>\n\n\n\n

    Une fronti\u00e8re large : la fonction objectif<\/strong><\/h3>\n\n\n\n

    Je voudrais ici exprimer ce qui me semble \u00eatre la question la plus discr\u00e8te et la plus importante de toute cette conversation, qui (ce qui me semble bizarre) est rarement formul\u00e9e. Les discussions sont toutes tr\u00e8s \u00e9loquentes sur les capacit\u00e9s, la s\u00e9curit\u00e9 et la gouvernance. Mais quand nous demandons-nous : pour quoi optimisons-nous r\u00e9ellement ?<\/strong><\/p>\n\n\n\n

    Si la r\u00e9ponse par d\u00e9faut est \u00ab la croissance \u00bb, \u00ab le pouvoir \u00bb et \u00ab l’avantage \u00bb, comme cela a toujours \u00e9t\u00e9 le cas, alors nous devons \u00eatre honn\u00eates sur ce \u00e0 quoi cela m\u00e8ne dans un monde qui atteint d\u00e9j\u00e0 ses limites, avant m\u00eame que la \u00ab nation de g\u00e9nies \u00bb ne soit pleinement r\u00e9alis\u00e9e.<\/p>\n\n\n\n

    Comme l’a dit Dennis Meadows<\/a> lorsqu’il \u00e9tait invit\u00e9 au podcast TGS<\/a>, \u00ab les outils ne changent pas les objectifs<\/strong>, ils amplifient simplement les priorit\u00e9s de ceux qui les d\u00e9tiennent \u00bb.<\/p>\n\n\n\n

    C’est l\u00e0 que la biosph\u00e8re entre en jeu. Si le \u00ab progr\u00e8s \u00bb continue \u00e0 signifier plus de production, d’extraction, de consommation et de rendement concurrentiel, alors un moteur d’optimisation surpuissant ne cr\u00e9era pas un avenir serein. Il cr\u00e9era un chemin plus direct et plus efficace vers le m\u00eame pr\u00e9cipice vers lequel nous nous dirigeons d\u00e9j\u00e0.<\/p>\n\n\n\n

    Cela soul\u00e8ve la question suivante : si l’humanit\u00e9 approche d’une phase d’adolescence technologique, nous pourrions \u00e9galement consid\u00e9rer que notre esp\u00e8ce est en adolescence, comme le dit l’ancien invit\u00e9 de TGS, Daniel Schmactenberger<\/a>. Pour devenir adultes (en tant qu’esp\u00e8ce et en tant que technologie), nous devons acqu\u00e9rir de la sagesse. Toutes les d\u00e9finitions de la sagesse <\/strong>(dans toutes les langues et tous les syst\u00e8mes de connaissance) comportent un \u00e9l\u00e9ment de retenue.<\/strong> Retenue envers nous-m\u00eames, notre esp\u00e8ce, notre technologie et nos institutions.<\/p>\n\n\n\n

    Je m’int\u00e9resse donc beaucoup moins \u00e0 la question de savoir si l’IA peut augmenter le PIB qu’\u00e0 celle de savoir ce que nous consid\u00e9rons comme une r\u00e9ussite. O\u00f9 se situent les limites \u00e9cologiques, psychologiques et institutionnelles ?<\/p>\n\n\n\n

    En d’autres termes, beaucoup de personnes qui soutiennent l’IA se concentrent sur la question suivante : \u00ab Peut-elle nous rendre plus riches ? \u00bb Je pense qu’une meilleure question serait : \u00ab Quel type de richesse visons-nous r\u00e9ellement ? \u00bb Un syst\u00e8me qui optimise le mauvais objectif peut fonctionner \u00e0 merveille tout en d\u00e9truisant les choses auxquelles vous accordez r\u00e9ellement de la valeur. Imaginez une rencontre entre le roi Midas et Terminator.<\/p>\n\n\n\n

    Voici le d\u00e9fi plus profond que pose l’essai d’Amodei : il part du principe que si nous survivons \u00e0 l’\u00ab adolescence \u00bb, nous arriverons \u00e0 l’\u00ab \u00e2ge adulte \u00bb, un monde o\u00f9 le PIB augmente de 10 \u00e0 20 % par an<\/strong>, o\u00f9 les progr\u00e8s scientifiques sont acc\u00e9l\u00e9r\u00e9s par l’IA et o\u00f9 l’abondance est g\u00e9r\u00e9e.<\/p>\n\n\n\n

    Mais que se passerait-il si l’\u00ab \u00e2ge adulte \u00bb qu’il imagine n’\u00e9tait pas une destination viable ? Et si cela n’\u00e9tait pas physiquement possible ? Amodei pose la question suivante : \u00ab Comment survivre \u00e0 l’adolescence de la technologie ? \u00bb Je voudrais poser une question diff\u00e9rente : et si le \u00ab pays des g\u00e9nies \u00bb nous propulsait vers des limites<\/strong> plut\u00f4t que de nous en \u00e9loigner ?<\/p>\n\n\n\n

    Ce n’est pas une critique mineure de son essai. C’est une remise en cause fondamentale de son postulat de d\u00e9part.<\/p>\n\n\n\n

    Une fronti\u00e8re large : cultiv\u00e9e, pas construite<\/strong><\/h2>\n\n\n\n

    Il existe un sc\u00e9nario \u2013 ou peut-\u00eatre faudrait-il plut\u00f4t parler de conte de f\u00e9es \u2013 dans lequel l’IA est un outil, comme un moteur ou un microscope. Elle nous rend plus performants. Nous choisissons les objectifs et nous orientons les r\u00e9sultats.<\/p>\n\n\n\n

    Il existe un autre sc\u00e9nario qui semble plus proche de ce qui se passe r\u00e9ellement. Avec l’IA, nous ne concevons pas un appareil, mais nous cultivons un syst\u00e8me \u00e0 l’image de l’esprit dans le cadre d’un processus d’apprentissage que m\u00eame les meilleurs scientifiques parmi nous ne comprennent que partiellement. Eliezer Yudkowsky<\/a> et Nate Soares<\/a> ont une expression pour cela : \u00ab Ces syst\u00e8mes sont cultiv\u00e9s, pas construits<\/strong>. \u00bb (D\u00e9couvrez l’\u00e9pisode de Nate Soares sur TGS : <\/em>Si quelqu’un le construit, tout le monde meurt : comment la superintelligence artificielle pourrait an\u00e9antir toute notre esp\u00e8ce<\/em><\/a>)<\/p>\n\n\n\n

    Je ne comprenais pas vraiment cela avant d’avoir lu leurs travaux, car une chose cultiv\u00e9e peut \u00eatre puissante et comp\u00e9tente tout en conservant des pulsions \u00e9tranges et des modes de d\u00e9faillance totalement inattendus. Elle peut accomplir la t\u00e2che tout en d\u00e9truisant le monde qui l’entoure, car les cons\u00e9quences ne sont pas contenues par nos intentions initiales.<\/p>\n\n\n\n

    Donc, quand on dit \u00ab Nous utiliserons l’IA pour le bien ! \u00bb, cela me semble assez creux. Ce n’est pas que le bien soit impossible, mais comme nous le voyons en ce moment o\u00f9 la civilisation, ce super-organisme, d\u00e9vore la Terre, les bonnes intentions ne sont pas un m\u00e9canisme de contr\u00f4le<\/strong>. Nous avons besoin d’une v\u00e9ritable gouvernance<\/strong>, pas seulement d’un discours optimiste.<\/p>\n\n\n\n

    C’est aussi pourquoi la m\u00e9taphore de l’adolescence de Sagan est si puissante. Le danger n’est pas la malveillance, ou du moins pas seulement la malveillance. Le danger est la combinaison du pouvoir et de l’immaturit\u00e9.<\/strong><\/p>\n\n\n\n

    Une fronti\u00e8re large : le pi\u00e8ge macro\u00e9conomique<\/strong><\/h2>\n\n\n\n

    Enfin, peut-\u00eatre l’observation la plus inconfortable de toutes : ce n’est peut-\u00eatre m\u00eame plus un choix.<\/p>\n\n\n\n

    \u00c0 Davos cette ann\u00e9e, Ken Griffin<\/a> et d’autres ont mis en \u00e9vidence<\/a> ce que de nombreux initi\u00e9s ont d\u00e9j\u00e0 int\u00e9rioris\u00e9 : les march\u00e9s du dollar et des obligations ne peuvent \u00eatre stabilis\u00e9s par la discipline budg\u00e9taire, la politique mon\u00e9taire ou les r\u00e9formes structurelles. Le d\u00e9ficit ne peut \u00eatre r\u00e9sorb\u00e9 par des moyens normaux, et les implications sont brutales : niveaux d’endettement irr\u00e9cup\u00e9rables, taux qui ne peuvent augmenter sans faire exploser le Tr\u00e9sor, croissance r\u00e9elle structurellement limit\u00e9e et consensus politique bris\u00e9.<\/p>\n\n\n\n

    Les puissances mondiales historiques se tournent donc vers un nouveau chevalier en armure brillante, l’IA, comme dernier m\u00e9canisme viable pour \u00e9chapper \u00e0 l’effondrement de la cr\u00e9dibilit\u00e9 souveraine<\/strong>. Il ne s’agit pas d’une technologie agr\u00e9able \u00e0 avoir, mais d’un pari n\u00e9cessaire pour r\u00e9duire les co\u00fbts, augmenter l’assiette fiscale et reporter la Grande Simplification.<\/p>\n\n\n\n

    Si l’IA g\u00e9n\u00e8re une nouvelle courbe d’exc\u00e9dent avant que la fen\u00eatre de cr\u00e9dibilit\u00e9 ne se referme, le syst\u00e8me survivra sous une nouvelle forme. Si elle \u00e9choue, les structures souveraines se d\u00e9sint\u00e9greront sous le poids de leurs promesses biophysiquement intenables.<\/p>\n\n\n\n

    Il s’agit l\u00e0 d’une sp\u00e9culation de ma part, mais je pense qu’elle est plausible. Elle recadre enti\u00e8rement l’essai d’Amodei : lorsqu’il \u00e9crit sur les risques li\u00e9s \u00e0 l’IA et la n\u00e9cessit\u00e9 d’une gouvernance, il le fait depuis l’int\u00e9rieur d’un secteur qui a d\u00e9j\u00e0 fait le pari. Mais le superorganisme a d\u00e9sormais int\u00e9gr\u00e9 l’IA dans son architecture cognitive. Les sph\u00e8res du pouvoir n’ont d’autre choix que de poursuivre sur la voie de \u00ab l’IA ou rien \u00bb.<\/p>\n\n\n\n

    Les gouvernements, du moins le gouvernement am\u00e9ricain, ne parient pas sur l’IA parce qu’elle est transformatrice ou cool. Ils parient sur elle parce qu’\u00e0 moyen terme, il ne reste plus d’autre option<\/strong>. Cela signifie que lorsque Amodei parle des risques, il ne se demande pas vraiment \u00ab Devrions-nous le faire ? \u00bb, mais plut\u00f4t \u00ab \u00c9tant donn\u00e9 que nous le faisons, comment survivre ? <\/strong>\u00bb.<\/p>\n\n\n\n

    C’est une conversation tr\u00e8s diff\u00e9rente. C’est peut-\u00eatre pour cela que son essai ressemble \u00e0 un cheval de Troie, \u00e0 un appel \u00e0 l’aide des entreprises autant qu’\u00e0 une feuille de route.<\/p>\n\n\n\n

    Conclusions<\/strong><\/h2>\n\n\n\n

    O\u00f9 cela me m\u00e8ne-t-il apr\u00e8s avoir lu l’essai d’Amodei ? Je pense que son cadre est utile. La m\u00e9taphore du \u00ab pays des g\u00e9nies \u00bb communique l’ampleur du ph\u00e9nom\u00e8ne, tandis que le cadre de l’adolescence communique les enjeux. Son refus d’opter pour une vision enti\u00e8rement utopique ou enti\u00e8rement apocalyptique est une bonne chose, je pense. Nous devons avoir une conversation adulte sur le pouvoir.<\/p>\n\n\n\n

    Mais \u00e9largir les fronti\u00e8res change la texture de ce probl\u00e8me. Je suis un sp\u00e9cialiste du pic p\u00e9trolier, de la biodiversit\u00e9 et des syst\u00e8mes, mais aujourd’hui, l’IA est l\u00e0, qu’on le veuille ou non, et elle modifie le calcul de toutes les autres choses<\/strong>.<\/p>\n\n\n\n

    Voici quelques questions \u00e0 se poser : personnellement, tout comme Frodon, j’aurais souhait\u00e9 que l’IA n’ait jamais vu le jour de mon vivant. Mais nous avons d\u00e9sormais d\u00e9finitivement quitt\u00e9 \u00abla Comt\u00e9<\/a> \u00bb. L’IA est l\u00e0 pour rester, ou nous allons nous heurter \u00e0 la Grande Simplification en essayant de la construire.<\/p>\n\n\n\n

      \n
    1. Qui d\u00e9cide de la direction que prendra cette technologie ? Une poign\u00e9e d’entreprises ? Les agences de s\u00e9curit\u00e9 nationale ? Les march\u00e9s ? Ou une forme de r\u00e9glementation publique capable d’imposer des limites ?<\/li>\n\n\n\n
    2. M\u00eame si nous pouvons imaginer de bonnes utilisations, disposons-nous actuellement d’une structure incitative pour les mettre en \u0153uvre ? Ou le syst\u00e8me r\u00e9compense-t-il principalement la vitesse, le pouvoir et le contr\u00f4le ?<\/li>\n\n\n\n
    3. Si l’intelligence devient extr\u00eamement bon march\u00e9 et que nous avons un pays de 50 millions de \u00ab g\u00e9nies \u00bb, qu’adviendra-t-il du sens, de la dignit\u00e9 et du statut ? Qu’est-ce qui comblera le vide laiss\u00e9 par le travail de millions de personnes ?<\/li>\n\n\n\n
    4. Si le danger r\u00e9side davantage dans la rapidit\u00e9 que dans la malveillance, comment gagner du temps ? Quels sont les leviers sp\u00e9cifiques qui pourraient r\u00e9ellement ralentir le d\u00e9ploiement sans pr\u00e9tendre que nous pouvons geler le monde pendant que nous cherchons une solution ?<\/li>\n<\/ol>\n\n\n\n

      Ce que je vous sugg\u00e8re de faire avec ces informations, c’est simplement de les conserver. Mettez \u00e0 jour vos mod\u00e8les mentaux et commencez \u00e0 parler de l’IA sous un angle biophysique (car presque personne d’autre ne le fait). Commencez \u00e0 insister sur la n\u00e9cessit\u00e9 d’\u00e9laborer des accords pour encadrer l’industrie de l’IA, \u00e0 l’instar des trait\u00e9s nucl\u00e9aires<\/strong>, car nous sommes actuellement engag\u00e9s dans une course \u00e0 l’armement sans aucun cadre de restriction. C’est un d\u00e9bat qui doit \u00eatre men\u00e9 de mani\u00e8re beaucoup plus intense et \u00e0 plus grande \u00e9chelle, et ce tr\u00e8s rapidement. L’issue d\u00e9pendra de la capacit\u00e9 de l’Homo sapiens<\/em> \u00e0 m\u00fbrir suffisamment vite pour vivre avec ce que nous construisons et avons d\u00e9j\u00e0 construit. Si cela semble difficile, c’est parce que \u00e7a l’est. Mais l’enjeu est \u00e9galement tr\u00e8s important pour notre esp\u00e8ce et la biosph\u00e8re.<\/p>\n\n\n\n

      Au fond de moi, je ne r\u00eave pas d’un \u00ab pays de g\u00e9nies \u00bb. Je r\u00eave en fait d’un pays d’\u00e9cologistes \u2013 pas n\u00e9cessairement les meilleurs dans leur domaine, mais ceux qui agissent en comprenant la place de l’humanit\u00e9 sur Terre et ce que signifie vivre et transmettre ce savoir.<\/p>\n\n\n\n

      Je voudrais terminer par une citation souvent utilis\u00e9e du regrett\u00e9 g\u00e9ant de l’\u00e9cologie E.O. Wilson<\/a>, que je regrette de n’avoir jamais pu inviter dans mon podcast : \u00ab Le v\u00e9ritable probl\u00e8me de l’humanit\u00e9 est le suivant : nous avons des \u00e9motions pal\u00e9olithiques, des institutions m\u00e9di\u00e9vales et une technologie divine. C’est extr\u00eamement dangereux, et nous approchons maintenant d’un point de crise g\u00e9n\u00e9ral.<\/em> \u00bb<\/p>\n\n\n\n

      Retour \u00e0 un sujet biophysique plus classique la semaine prochaine. Merci de m’avoir lu.<\/p>\n\n\n\n

      \n\n\n\n

      Les traductions de 2026<\/a> (.xlsx) \u2013 celles de 2025<\/a> \u2013 par Gilles en vrac<\/em>
      Les caract\u00e8res gras<\/strong> dans le texte sont de Gilles
      Pour vous recevoir un courriel       hebdomadaire<\/a> vers mes traductions.<\/p>\n

      Notes <\/h3>

    Ainsi, lorsque nous parlons de la s\u00e9curit\u00e9 de l’IA, nous devons d’abord examiner l’alignement de nos tribunaux, de nos r\u00e9gulateurs, de notre gouvernance d’entreprise, de nos institutions de s\u00e9curit\u00e9 nationale et de notre culture d’application de la loi avec les incitations dont nous avons besoin. Comme pour mon argument sur les \u00e9nergies renouvelables et la post-croissance, je ne pense pas que nous allons r\u00e9ussir la transition uniquement gr\u00e2ce \u00e0 l’\u00e9nergie et aux mat\u00e9riaux. Nous r\u00e9ussirons ou \u00e9chouerons la transition gr\u00e2ce aux institutions<\/strong>. Tout comme le lithium ou les terres rares, la confiance et les institutions sont donc \u00e9galement des \u00ab intrants essentiels \u00bb<\/strong>. C’est pourquoi des personnes comme Tristan Harris<\/a> et d’autres ont insist\u00e9 sur la n\u00e9cessit\u00e9 d’\u00e9laborer des accords pour encadrer l’IA : accords industriels, r\u00e9glementations gouvernementales ou peut-\u00eatre quelque chose comme des trait\u00e9s nucl\u00e9aires. \u00c0 l’heure actuelle, nous sommes engag\u00e9s dans une course \u00e0 l’armement sans cadre conventionnel.<\/p>\n\n\n\n