{"id":9492,"date":"2026-03-01T16:44:53","date_gmt":"2026-03-01T21:44:53","guid":{"rendered":"https:\/\/www.gillesenvrac.ca\/carnet\/?page_id=9492"},"modified":"2026-03-01T19:50:02","modified_gmt":"2026-03-02T00:50:02","slug":"adolescence-de-la-technologie","status":"publish","type":"page","link":"https:\/\/gillesenvrac.ca\/carnet\/adolescence-de-la-technologie\/","title":{"rendered":"L&rsquo;adolescence de la technologie"},"content":{"rendered":"\n<h2 class=\"wp-block-heading\"><em>Affronter et surmonter les risques li\u00e9s \u00e0 l&rsquo;intelligence artificielle puissante<\/em><\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">Traduction de <a href=\"https:\/\/www.darioamodei.com\/essay\/the-adolescence-of-technology\">The Adolescence of Technology<\/a> par <a href=\"https:\/\/www.darioamodei.com\/\">Dario Amodei<\/a>, janvier 2026 <\/p>\n\n\n\n<hr class=\"wp-block-separator has-alpha-channel-opacity\"\/>\n\n\n\n<p class=\"wp-block-paragraph\">Dans l&rsquo;adaptation cin\u00e9matographique du livre <em>Contact <\/em>de Carl Sagan, il y a une sc\u00e8ne o\u00f9 le personnage principal, une astronome qui a d\u00e9tect\u00e9 le premier signal radio provenant d&rsquo;une civilisation extraterrestre, est pressentie pour repr\u00e9senter l&rsquo;humanit\u00e9 lors d&rsquo;une rencontre avec les extraterrestres. Le jury international qui l&rsquo;interroge lui demande : \u00ab Si vous pouviez poser une seule question [aux extraterrestres], quelle serait-elle ? \u00bb Elle r\u00e9pond : \u00ab Je leur demanderais : \u00ab Comment avez-vous fait ? Comment avez-vous \u00e9volu\u00e9, comment avez-vous surv\u00e9cu \u00e0 cette adolescence technologique sans vous d\u00e9truire ? \u00bb Quand je pense \u00e0 la situation actuelle de l&rsquo;humanit\u00e9 face \u00e0 l&rsquo;IA, \u00e0 ce qui nous attend, je repense sans cesse \u00e0 cette sc\u00e8ne, car cette question est tellement pertinente pour notre situation actuelle, et j&rsquo;aimerais que nous ayons la r\u00e9ponse des extraterrestres pour nous guider. Je crois que nous entrons dans une p\u00e9riode de transition, \u00e0 la fois tumultueuse et in\u00e9vitable, qui mettra \u00e0 l&rsquo;\u00e9preuve notre identit\u00e9 en tant qu&rsquo;esp\u00e8ce. L&rsquo;humanit\u00e9 est sur le point de se voir confier un pouvoir presque inimaginable, et il est tr\u00e8s difficile de savoir si nos syst\u00e8mes sociaux, politiques et technologiques ont la maturit\u00e9 n\u00e9cessaire pour l&rsquo;exercer.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Dans mon essai <a href=\"https:\/\/darioamodei.com\/machines-of-loving-grace\"><em>Machines of Loving Grace<\/em><\/a>, j&rsquo;ai tent\u00e9 de d\u00e9crire le r\u00eave d&rsquo;une civilisation qui aurait atteint l&rsquo;\u00e2ge adulte, o\u00f9 les risques auraient \u00e9t\u00e9 pris en compte et o\u00f9 l&rsquo;IA puissante serait utilis\u00e9e avec comp\u00e9tence et compassion pour am\u00e9liorer la qualit\u00e9 de vie de tous. J&rsquo;ai sugg\u00e9r\u00e9 que l&rsquo;IA pourrait contribuer \u00e0 d&rsquo;\u00e9normes progr\u00e8s dans les domaines de la biologie, des neurosciences, du d\u00e9veloppement \u00e9conomique, de la paix mondiale, du travail et du sens. J&rsquo;ai estim\u00e9 qu&rsquo;il \u00e9tait important de donner aux gens une cause inspirante pour laquelle se battre, une t\u00e2che \u00e0 laquelle les acc\u00e9l\u00e9rationnistes de l&rsquo;IA et les d\u00e9fenseurs de la s\u00e9curit\u00e9 de l&rsquo;IA semblaient, curieusement, avoir \u00e9chou\u00e9. Mais dans cet essai, je souhaite aborder le rite de passage lui-m\u00eame : cartographier les risques auxquels nous sommes sur le point d&rsquo;\u00eatre confront\u00e9s et essayer de commencer \u00e0 \u00e9laborer un plan de bataille pour les vaincre. Je crois profond\u00e9ment en notre capacit\u00e9 \u00e0 vaincre, en l&rsquo;esprit et la noblesse de l&rsquo;humanit\u00e9, mais nous devons faire face \u00e0 la situation sans illusions.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Tout comme pour les avantages, je pense qu&rsquo;il est important de discuter des risques de mani\u00e8re prudente et r\u00e9fl\u00e9chie. En particulier, je pense qu&rsquo;il est essentiel de :<\/p>\n\n\n\n<ul class=\"wp-block-list\">\n<li><strong>\u00c9viter le catastrophisme. <\/strong>Ici,je n&rsquo;entends pas seulement le \u00ab catastrophisme \u00bb dans le sens o\u00f9 l&rsquo;on croit que la catastrophe est in\u00e9vitable (ce qui est \u00e0 la fois une croyance fausse et auto-r\u00e9alisatrice), mais plus g\u00e9n\u00e9ralement, le fait de penser aux risques de l&rsquo;IA d&rsquo;une mani\u00e8re quasi religieuse.<sup id=\"mfn-content-00000000000008570000000000000000_9492-1\" class=\"modern-footnotes-footnote modern-footnotes-footnote--hover-on-desktop \" data-mfn=\"1\" data-mfn-post-scope=\"00000000000008570000000000000000_9492\"><a href=\"javascript:void(0)\"  role=\"button\" aria-pressed=\"false\" aria-describedby=\"mfn-content-00000000000008570000000000000000_9492-1\">1<\/a><\/sup><span role=\"tooltip\" class=\"modern-footnotes-footnote__note\" tabindex=\"0\" data-mfn=\"1\">Cela rejoint un point que j\u2019ai soulev\u00e9 dans\u00a0<em>Machines of Loving Grace<\/em>, o\u00f9 j\u2019ai commenc\u00e9 par dire que les avantages de l\u2019IA ne devaient pas \u00eatre consid\u00e9r\u00e9s comme une proph\u00e9tie de salut, et qu\u2019il \u00e9tait important d\u2019\u00eatre concret et r\u00e9aliste et d\u2019\u00e9viter toute grandiloquence. En fin de compte, les proph\u00e9ties de salut et les proph\u00e9ties de malheur ne sont d\u2019aucune aide pour affronter le monde r\u00e9el, pour essentiellement les m\u00eames raisons.<\/span> Beaucoup de gens r\u00e9fl\u00e9chissent de mani\u00e8re analytique et lucide aux risques li\u00e9s \u00e0 l&rsquo;IA depuis de nombreuses ann\u00e9es, mais j&rsquo;ai l&rsquo;impression que pendant la p\u00e9riode o\u00f9 les inqui\u00e9tudes concernant les risques li\u00e9s \u00e0 l&rsquo;IA ont atteint leur paroxysme en 2023-2024, certaines des voix les moins sens\u00e9es se sont fait entendre, souvent par le biais de comptes de r\u00e9seaux sociaux sensationnalistes. Ces voix utilisaient un langage rebutant rappelant la religion ou la science-fiction, et appelaient \u00e0 des mesures extr\u00eames sans disposer des preuves qui les justifieraient. Il \u00e9tait d\u00e9j\u00e0 clair \u00e0 l&rsquo;\u00e9poque qu&rsquo;un retour de b\u00e2ton \u00e9tait in\u00e9vitable et que la question allait devenir culturellement polaris\u00e9e et donc bloqu\u00e9e.<sup id=\"mfn-content-00000000000008570000000000000000_9492-2\" class=\"modern-footnotes-footnote modern-footnotes-footnote--hover-on-desktop \" data-mfn=\"2\" data-mfn-post-scope=\"00000000000008570000000000000000_9492\"><a href=\"javascript:void(0)\"  role=\"button\" aria-pressed=\"false\" aria-describedby=\"mfn-content-00000000000008570000000000000000_9492-2\">2<\/a><\/sup><span role=\"tooltip\" class=\"modern-footnotes-footnote__note\" tabindex=\"0\" data-mfn=\"2\">L\u2019objectif d\u2019Anthropic est de rester coh\u00e9rent \u00e0 travers ces changements. Lorsque parler des risques li\u00e9s \u00e0 l\u2019IA \u00e9tait politiquement populaire, Anthropic pr\u00f4nait prudemment une approche judicieuse et fond\u00e9e sur des preuves pour faire face \u00e0 ces risques. Maintenant que parler des risques li\u00e9s \u00e0 l\u2019IA est politiquement impopulaire, Anthropic continue de pr\u00f4ner prudemment une approche judicieuse et fond\u00e9e sur des preuves pour faire face \u00e0 ces risques.<\/span>En 2025-2026, le pendule a bascul\u00e9, et ce sont les opportunit\u00e9s offertes par l&rsquo;IA, et non ses risques, qui motivent de nombreuses d\u00e9cisions politiques. Cette vacillation est regrettable, car la technologie elle-m\u00eame se moque des modes, et nous sommes consid\u00e9rablement plus proches d&rsquo;un danger r\u00e9el en 2026 qu&rsquo;en 2023. La le\u00e7on \u00e0 tirer est que nous devons discuter et traiter les risques de mani\u00e8re r\u00e9aliste et pragmatique : avec sobri\u00e9t\u00e9, en nous basant sur des faits et en nous \u00e9quipant pour survivre aux changements.<\/li>\n\n\n\n<li><strong>Reconna\u00eetre l&rsquo;incertitude.<\/strong> Les pr\u00e9occupations que je soul\u00e8ve dans cet article pourraient \u00eatre discutables \u00e0 bien des \u00e9gards. Rien ici n&rsquo;a pour but de communiquer une certitude ou m\u00eame une probabilit\u00e9. De toute \u00e9vidence, l&rsquo;IA pourrait tout simplement ne pas progresser aussi rapidement que je l&rsquo;imagine.<sup id=\"mfn-content-00000000000008570000000000000000_9492-3\" class=\"modern-footnotes-footnote modern-footnotes-footnote--hover-on-desktop \" data-mfn=\"3\" data-mfn-post-scope=\"00000000000008570000000000000000_9492\"><a href=\"javascript:void(0)\"  role=\"button\" aria-pressed=\"false\" aria-describedby=\"mfn-content-00000000000008570000000000000000_9492-3\">3<\/a><\/sup><span role=\"tooltip\" class=\"modern-footnotes-footnote__note\" tabindex=\"0\" data-mfn=\"3\">Au fil du temps, j\u2019ai acquis une confiance croissante dans la trajectoire de l\u2019IA et dans la probabilit\u00e9 qu\u2019elle d\u00e9passe les capacit\u00e9s humaines dans tous les domaines, mais une certaine incertitude subsiste.<\/span> Ou, m\u00eame si elle progresse rapidement, certains ou tous les risques \u00e9voqu\u00e9s ici pourraient ne pas se concr\u00e9tiser (ce qui serait formidable), ou il pourrait y avoir d&rsquo;autres risques que je n&rsquo;ai pas pris en compte. Personne ne peut pr\u00e9dire l&rsquo;avenir avec une certitude absolue, mais nous devons quand m\u00eame faire de notre mieux pour planifier.<\/li>\n\n\n\n<li><strong>Intervenir de mani\u00e8re aussi chirurgicale que possible. <\/strong>Pour faire face aux risques li\u00e9s \u00e0 l&rsquo;IA, il faudra combiner des actions volontaires prises par les entreprises (et des acteurs priv\u00e9s tiers) et des mesures prises par les gouvernements qui s&rsquo;imposent \u00e0 tous. Les actions volontaires \u2013 les mener et encourager d&rsquo;autres entreprises \u00e0 faire de m\u00eame \u2013 me semblent \u00e9videntes. Je suis fermement convaincu que des mesures gouvernementales seront \u00e9galement n\u00e9cessaires <em>dans une certaine mesure<\/em>, mais ces interventions sont de nature diff\u00e9rente, car elles peuvent potentiellement d\u00e9truire de la valeur \u00e9conomique ou contraindre des acteurs r\u00e9ticents qui sont sceptiques quant \u00e0 ces risques (et il y a de fortes chances qu&rsquo;ils aient raison !). Il est \u00e9galement fr\u00e9quent que les r\u00e9glementations aient l&rsquo;effet inverse de celui escompt\u00e9 ou aggravent le probl\u00e8me qu&rsquo;elles sont cens\u00e9es r\u00e9soudre (et cela est encore plus vrai pour les technologies en \u00e9volution rapide) . Il est donc tr\u00e8s important que les r\u00e9glementations soient judicieuses : elles doivent chercher \u00e0 \u00e9viter les dommages collat\u00e9raux, \u00eatre aussi simples que possible et imposer le moins de contraintes possible pour atteindre leur objectif.<sup id=\"mfn-content-00000000000008570000000000000000_9492-4\" class=\"modern-footnotes-footnote modern-footnotes-footnote--hover-on-desktop \" data-mfn=\"4\" data-mfn-post-scope=\"00000000000008570000000000000000_9492\"><a href=\"javascript:void(0)\"  role=\"button\" aria-pressed=\"false\" aria-describedby=\"mfn-content-00000000000008570000000000000000_9492-4\">4<\/a><\/sup><span role=\"tooltip\" class=\"modern-footnotes-footnote__note\" tabindex=\"0\" data-mfn=\"4\">Les contr\u00f4les \u00e0 l\u2019exportation des puces en sont un excellent exemple. Ils sont simples et semblent fonctionner dans l\u2019ensemble.<\/span> Il est facile de dire : \u00ab Aucune mesure n&rsquo;est trop extr\u00eame lorsque l&rsquo;avenir de l&rsquo;humanit\u00e9 est en jeu ! \u00bb, mais dans la pratique, cette attitude ne fait que susciter des r\u00e9actions n\u00e9gatives. Pour \u00eatre clair, je pense qu&rsquo;il y a de fortes chances que nous finissions par atteindre un point o\u00f9 des mesures beaucoup plus importantes seront n\u00e9cessaires, mais cela d\u00e9pendra de preuves plus solides d&rsquo;un danger imminent et concret que celles dont nous disposons aujourd&rsquo;hui, ainsi que des informations suffisamment pr\u00e9cises sur ce danger pour formuler des r\u00e8gles susceptibles d&rsquo;y rem\u00e9dier. La chose la plus constructive que nous puissions faire aujourd&rsquo;hui est de pr\u00e9coniser des r\u00e8gles limit\u00e9es tout en cherchant \u00e0 savoir s&rsquo;il existe des preuves justifiant des r\u00e8gles plus strictes.<sup id=\"mfn-content-00000000000008570000000000000000_9492-5\" class=\"modern-footnotes-footnote modern-footnotes-footnote--hover-on-desktop \" data-mfn=\"5\" data-mfn-post-scope=\"00000000000008570000000000000000_9492\"><a href=\"javascript:void(0)\"  role=\"button\" aria-pressed=\"false\" aria-describedby=\"mfn-content-00000000000008570000000000000000_9492-5\">5<\/a><\/sup><span role=\"tooltip\" class=\"modern-footnotes-footnote__note\" tabindex=\"0\" data-mfn=\"5\">Et bien s\u00fbr, la recherche de telles preuves doit \u00eatre intellectuellement honn\u00eate, de mani\u00e8re \u00e0 pouvoir \u00e9galement mettre en \u00e9vidence l\u2019absence de danger. La transparence gr\u00e2ce aux fiches mod\u00e8les et autres divulgations est une tentative d\u2019atteindre cette honn\u00eatet\u00e9 intellectuelle.<\/span><\/li>\n<\/ul>\n\n\n\n<p class=\"wp-block-paragraph\">Cela dit, je pense que le meilleur point de d\u00e9part pour parler des risques li\u00e9s \u00e0 l&rsquo;IA est le m\u00eame que celui dont je suis parti pour parler de ses avantages : en pr\u00e9cisant le niveau d&rsquo;IA dont nous parlons. Le niveau d&rsquo;IA qui me pr\u00e9occupe pour la civilisation est la <em>puissante IA <\/em>que j&rsquo;ai d\u00e9crite dans <em>Machines of Loving Grace. <\/em>Je vais simplement r\u00e9p\u00e9ter ici la d\u00e9finition que j&rsquo;ai donn\u00e9e dans ce document :<\/p>\n\n\n\n<p class=\"wp-block-paragraph\"><em>Par \u00ab IA puissante \u00bb, j&rsquo;entends un mod\u00e8le d&rsquo;IA \u2014 probablement similaire aux LLM actuels dans sa forme, bien qu&rsquo;il puisse \u00eatre bas\u00e9 sur une architecture diff\u00e9rente, impliquer plusieurs mod\u00e8les interactifs et \u00eatre entra\u00een\u00e9 diff\u00e9remment \u2014 pr\u00e9sentant les propri\u00e9t\u00e9s suivantes :<\/em><\/p>\n\n\n\n<ul class=\"wp-block-list\">\n<li><em>En termes d&rsquo;intelligence pure, il est plus intelligent qu&rsquo;un laur\u00e9at du prix Nobel dans la plupart des domaines pertinents : biologie, programmation, math\u00e9matiques, ing\u00e9nierie, \u00e9criture, etc. Cela signifie qu&rsquo;il peut prouver des th\u00e9or\u00e8mes math\u00e9matiques non r\u00e9solus, \u00e9crire d&rsquo;excellents romans, \u00e9crire des bases de code difficiles \u00e0 partir de z\u00e9ro, etc.<\/em><\/li>\n\n\n\n<li><em>En plus d&rsquo;\u00eatre simplement une \u00ab chose intelligente \u00e0 laquelle on parle \u00bb, il dispose de toutes les interfaces disponibles pour un humain travaillant virtuellement, y compris le texte, l&rsquo;audio, la vid\u00e9o, le contr\u00f4le de la souris et du clavier, et l&rsquo;acc\u00e8s \u00e0 Internet. Il peut s&rsquo;engager dans toutes les actions, communications ou op\u00e9rations \u00e0 distance rendues possibles par cette interface, y compris effectuer des actions sur Internet, donner ou recevoir des instructions \u00e0 des humains, commander du mat\u00e9riel, diriger des exp\u00e9riences, regarder des vid\u00e9os, r\u00e9aliser des vid\u00e9os, etc. Il accomplit toutes ces t\u00e2ches avec, l\u00e0 encore, une comp\u00e9tence sup\u00e9rieure \u00e0 celle des humains les plus capables au monde.<\/em><\/li>\n\n\n\n<li><em>Il ne se contente pas de r\u00e9pondre passivement \u00e0 des questions ; on peut lui confier des t\u00e2ches qui prennent des heures, des jours ou des semaines \u00e0 accomplir, puis il s&rsquo;en va et les accomplit de mani\u00e8re autonome, comme le ferait un employ\u00e9 intelligent, en demandant des \u00e9claircissements si n\u00e9cessaire.<\/em><\/li>\n\n\n\n<li><em>Il n&rsquo;a pas d&rsquo;incarnation physique (autre que celle qui appara\u00eet sur un \u00e9cran d&rsquo;ordinateur), mais il peut contr\u00f4ler des outils physiques, des robots ou des \u00e9quipements de laboratoire existants \u00e0 l&rsquo;aide d&rsquo;un ordinateur ; en th\u00e9orie, il pourrait m\u00eame concevoir des robots ou des \u00e9quipements pour son propre usage.<\/em><\/li>\n\n\n\n<li><em>Les ressources utilis\u00e9es pour entra\u00eener le mod\u00e8le peuvent \u00eatre r\u00e9utilis\u00e9es pour ex\u00e9cuter des millions d&rsquo;instances de celui-ci (ce qui correspond \u00e0 la taille pr\u00e9vue des clusters d&rsquo;ici 2027 environ), et le mod\u00e8le peut absorber des informations et g\u00e9n\u00e9rer des actions \u00e0 une vitesse environ 10 \u00e0 100 fois sup\u00e9rieure \u00e0 celle d&rsquo;un \u00eatre humain. Il peut toutefois \u00eatre limit\u00e9 par le temps de r\u00e9ponse du monde physique ou des logiciels avec lesquels il interagit.<\/em><\/li>\n\n\n\n<li><em>Chacune de ces millions de copies peut agir ind\u00e9pendamment sur des t\u00e2ches sans rapport entre elles ou, si n\u00e9cessaire, toutes peuvent travailler ensemble de la m\u00eame mani\u00e8re que les humains collaboreraient, peut-\u00eatre avec diff\u00e9rentes sous-populations sp\u00e9cialis\u00e9es pour \u00eatre particuli\u00e8rement performantes dans des t\u00e2ches sp\u00e9cifiques.<\/em><\/li>\n<\/ul>\n\n\n\n<p class=\"wp-block-paragraph\"><em>Nous pourrions r\u00e9sumer cela comme un \u00ab pays de g\u00e9nies dans un centre de donn\u00e9es \u00bb.<\/em><\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Comme je l&rsquo;ai \u00e9crit dans <em>Machines of Loving Grace<\/em>, une IA puissante pourrait voir le jour d&rsquo;ici un \u00e0 deux ans, mais cela pourrait aussi prendre beaucoup plus de temps.<sup id=\"mfn-content-00000000000008570000000000000000_9492-6\" class=\"modern-footnotes-footnote modern-footnotes-footnote--hover-on-desktop \" data-mfn=\"6\" data-mfn-post-scope=\"00000000000008570000000000000000_9492\"><a href=\"javascript:void(0)\"  role=\"button\" aria-pressed=\"false\" aria-describedby=\"mfn-content-00000000000008570000000000000000_9492-6\">6<\/a><\/sup><span role=\"tooltip\" class=\"modern-footnotes-footnote__note\" tabindex=\"0\" data-mfn=\"6\">En effet, depuis la r\u00e9daction de<em>\u00a0Machines of Loving Grace<\/em>\u00a0en 2024, les syst\u00e8mes d\u2019IA sont devenus capables d\u2019effectuer des t\u00e2ches qui prennent plusieurs heures \u00e0 des humains. METR a r\u00e9cemment estim\u00e9 qu\u2019Opus 4.5 pouvait effectuer environ quatre heures de travail humain avec une fiabilit\u00e9 de 50 %.<\/span><\/p>\n\n\n\n<p class=\"wp-block-paragraph\">La date exacte \u00e0 laquelle une IA puissante verra le jour est un sujet complexe qui m\u00e9riterait un essai \u00e0 part enti\u00e8re, mais pour l&rsquo;instant, je vais simplement expliquer tr\u00e8s bri\u00e8vement pourquoi je pense qu&rsquo;il y a de fortes chances que cela arrive tr\u00e8s bient\u00f4t.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Mes cofondateurs chez Anthropic et moi-m\u00eame avons \u00e9t\u00e9 parmi les premiers \u00e0 documenter et \u00e0 suivre les \u00ab <a href=\"https:\/\/arxiv.org\/abs\/2001.08361\">lois d&rsquo;\u00e9chelle<\/a> \u00bb des syst\u00e8mes d&rsquo;IA, c&rsquo;est-\u00e0-dire l&rsquo;observation selon laquelle, \u00e0 mesure que nous ajoutons des t\u00e2ches de calcul et d&rsquo;entra\u00eenement, les syst\u00e8mes d&rsquo;IA s&rsquo;am\u00e9liorent de mani\u00e8re pr\u00e9visible dans pratiquement toutes les comp\u00e9tences cognitives que nous sommes en mesure de mesurer. Tous les quelques mois, l&rsquo;opinion publique est soit convaincue que l&rsquo;IA \u00ab <a href=\"https:\/\/edition.cnn.com\/2024\/11\/19\/business\/ai-chatgpt-nvidia-nightcap\">se heurte \u00e0<\/a> un <a href=\"https:\/\/www.ft.com\/content\/d01290c9-cc92-4c1f-bd70-ac332cd40f94\">mur<\/a> \u00bb, soit enthousiasm\u00e9e par une nouvelle avanc\u00e9e qui \u00ab changera fondamentalement la donne \u00bb, mais la v\u00e9rit\u00e9 est que derri\u00e8re la volatilit\u00e9 et les sp\u00e9culations publiques, il y a eu une augmentation r\u00e9guli\u00e8re et constante des capacit\u00e9s cognitives de l&rsquo;IA.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Nous en sommes maintenant au point o\u00f9 les mod\u00e8les d&rsquo;IA commencent \u00e0 faire des progr\u00e8s dans la r\u00e9solution de probl\u00e8mes math\u00e9matiques non r\u00e9solus, et sont suffisamment performants en mati\u00e8re de codage pour que certains des ing\u00e9nieurs les plus comp\u00e9tents que j&rsquo;ai jamais rencontr\u00e9s confient d\u00e9sormais la quasi-totalit\u00e9 de leur codage \u00e0 l&rsquo;IA. Il y a trois ans, l&rsquo;IA <a href=\"https:\/\/arxiv.org\/abs\/2005.14165\">avait du mal \u00e0 r\u00e9soudre des probl\u00e8mes arithm\u00e9tiques du niveau primaire<\/a> et \u00e9tait \u00e0 peine capable d&rsquo;\u00e9crire une seule ligne de code. Des taux d&rsquo;am\u00e9lioration similaires sont observ\u00e9s dans les domaines des <a href=\"https:\/\/www.anthropic.com\/news\/accelerating-scientific-research\">sciences biologiques<\/a>, de la finance, de la physique et dans diverses t\u00e2ches d&rsquo;action. Si cette croissance exponentielle se poursuit (ce qui n&rsquo;est pas certain, mais qui est d\u00e9sormais \u00e9tay\u00e9 par une d\u00e9cennie de r\u00e9sultats), il ne faudra probablement que quelques ann\u00e9es avant que l&rsquo;IA ne surpasse les humains dans pratiquement tous les domaines.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">En r\u00e9alit\u00e9, ce sc\u00e9nario sous-estime probablement le rythme probable des progr\u00e8s. \u00c9tant donn\u00e9 que l&rsquo;IA <a href=\"https:\/\/www.anthropic.com\/research\/how-ai-is-transforming-work-at-anthropic\">\u00e9crit d\u00e9sormais une grande partie du code chez Anthropic<\/a>, elle acc\u00e9l\u00e8re d\u00e9j\u00e0 consid\u00e9rablement le rythme de nos progr\u00e8s dans la construction de la prochaine g\u00e9n\u00e9ration de syst\u00e8mes d&rsquo;IA. Cette boucle de r\u00e9troaction s&rsquo;acc\u00e9l\u00e8re de mois en mois et pourrait n&rsquo;\u00eatre qu&rsquo;\u00e0 un ou deux ans d&rsquo;un point o\u00f9 la g\u00e9n\u00e9ration actuelle d&rsquo;IA construira de mani\u00e8re autonome la prochaine. Cette boucle a d\u00e9j\u00e0 commenc\u00e9 et s&rsquo;acc\u00e9l\u00e9rera rapidement dans les mois et les ann\u00e9es \u00e0 venir. En observant les progr\u00e8s r\u00e9alis\u00e9s au cours des cinq derni\u00e8res ann\u00e9es chez Anthropic et en voyant comment les mod\u00e8les des prochains mois prennent forme, je peux <em>sentir <\/em>le rythme des progr\u00e8s et le temps qui passe.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Dans cet essai, je partirai du principe que cette intuition est au moins <em>en partie <\/em>correcte, non pas que l&rsquo;IA puissante arrivera certainement d&rsquo;ici un ou deux ans,<sup id=\"mfn-content-00000000000008570000000000000000_9492-7\" class=\"modern-footnotes-footnote modern-footnotes-footnote--hover-on-desktop \" data-mfn=\"7\" data-mfn-post-scope=\"00000000000008570000000000000000_9492\"><a href=\"javascript:void(0)\"  role=\"button\" aria-pressed=\"false\" aria-describedby=\"mfn-content-00000000000008570000000000000000_9492-7\">7<\/a><\/sup><span role=\"tooltip\" class=\"modern-footnotes-footnote__note\" tabindex=\"0\" data-mfn=\"7\">Et pour \u00eatre clair, m\u00eame si une IA puissante n\u2019est plus qu\u2019\u00e0 1 ou 2 ans d\u2019ici d\u2019un point de vue technique, bon nombre de ses cons\u00e9quences soci\u00e9tales, tant positives que n\u00e9gatives, pourraient prendre quelques ann\u00e9es suppl\u00e9mentaires \u00e0 se manifester. C\u2019est pourquoi je peux \u00e0 la fois penser que l\u2019IA va bouleverser 50 % des emplois de cols blancs\u00a0<em>de niveau d\u00e9butant\u00a0<\/em>d\u2019ici 1 \u00e0 5 ans, tout en pensant que nous pourrions disposer d\u2019une IA plus performante que\u00a0<em>tout le monde\u00a0<\/em>d\u2019ici seulement 1 \u00e0 2 ans.<\/span> mais qu&rsquo;il y a de fortes chances qu&rsquo;elle arrive, et de tr\u00e8s fortes chances qu&rsquo;elle arrive dans les prochaines ann\u00e9es. Comme dans <em>Machines of Loving Grace<\/em>, prendre cette pr\u00e9misse au s\u00e9rieux peut mener \u00e0 des conclusions surprenantes et inqui\u00e9tantes. Alors que dans <em>Machines of Loving Grace<\/em>, je me concentrais sur les implications positives de cette pr\u00e9misse, ici, les choses dont je parle seront troublantes. Ce sont des conclusions auxquelles nous ne voulons peut-\u00eatre pas faire face, mais cela ne les rend pas moins r\u00e9elles. Je peux seulement dire que je me concentre jour et nuit sur la mani\u00e8re de nous \u00e9loigner de ces r\u00e9sultats n\u00e9gatifs et de nous diriger vers les r\u00e9sultats positifs, et dans cet essai, j&rsquo;explique en d\u00e9tail comment y parvenir au mieux.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Je pense que la meilleure fa\u00e7on de g\u00e9rer les risques li\u00e9s \u00e0 l&rsquo;IA est de se poser la question suivante : supposons qu&rsquo;un v\u00e9ritable \u00ab pays de g\u00e9nies \u00bb apparaissait quelque part dans le monde vers 2027. Imaginez, disons, 50 millions de personnes, toutes beaucoup plus comp\u00e9tentes que n&rsquo;importe quel laur\u00e9at du prix Nobel, homme d&rsquo;\u00c9tat ou technologue. L&rsquo;analogie n&rsquo;est pas parfaite, car ces g\u00e9nies pourraient avoir des motivations et des comportements extr\u00eamement vari\u00e9s, allant d&rsquo;une docilit\u00e9 et d&rsquo;une ob\u00e9issance totales \u00e0 des motivations \u00e9tranges et inconnues. Mais restons-en \u00e0 cette analogie pour l&rsquo;instant, et supposons que vous soyez conseiller \u00e0 la s\u00e9curit\u00e9 nationale d&rsquo;un grand \u00c9tat, charg\u00e9 d&rsquo;\u00e9valuer la situation et d&rsquo;y r\u00e9pondre. Imaginez en outre que, comme les syst\u00e8mes d&rsquo;IA peuvent fonctionner des centaines de fois plus vite que les humains, ce \u00ab pays \u00bb fonctionne avec un avantage temporel par rapport \u00e0 tous les autres pays : pour chaque action cognitive que nous pouvons entreprendre, ce pays peut en entreprendre dix.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">De quoi devriez-vous vous inqui\u00e9ter ? Je m&rsquo;inqui\u00e9terais des choses suivantes :<\/p>\n\n\n\n<ol class=\"wp-block-list\">\n<li><strong>Risques li\u00e9s \u00e0 l&rsquo;autonomie. <\/strong>Quelles sont les intentions et les objectifs de ce pays ? Est-il hostile ou partage-t-il nos valeurs ? Pourrait-il dominer militairement le monde gr\u00e2ce \u00e0 des armes sup\u00e9rieures, des cyberop\u00e9rations, des op\u00e9rations d&rsquo;influence ou la fabrication d&rsquo;armes ?<\/li>\n\n\n\n<li><strong>Utilisation abusive \u00e0 des fins de destruction. <\/strong>Supposons que le nouveau pays est mall\u00e9able et \u00ab suit les instructions \u00bb, et qu&rsquo;il s&rsquo;agit donc essentiellement d&rsquo;un pays de mercenaires. Les acteurs malveillants existants qui veulent causer des destructions (tels que les terroristes) pourraient-ils utiliser ou manipuler certaines personnes du nouveau pays pour se rendre beaucoup plus efficaces, amplifiant ainsi consid\u00e9rablement l&rsquo;ampleur des destructions ?<\/li>\n\n\n\n<li><strong>Utilisation abusive \u00e0 des fins de prise de pouvoir. <\/strong>Que se passerait-il si le pays \u00e9tait en fait construit et contr\u00f4l\u00e9 par un acteur puissant existant, tel qu&rsquo;un dictateur ou une entreprise malveillante ? Cet acteur pourrait-il l&rsquo;utiliser pour acqu\u00e9rir un pouvoir d\u00e9cisif ou dominant sur le monde entier, bouleversant ainsi l&rsquo;\u00e9quilibre des pouvoirs existant ?<\/li>\n\n\n\n<li><strong>Perturbation \u00e9conomique. <\/strong>Si le nouveau pays ne repr\u00e9sente aucune des menaces pour la s\u00e9curit\u00e9 \u00e9num\u00e9r\u00e9es aux points 1 \u00e0 3 ci-dessus, mais participe simplement de mani\u00e8re pacifique \u00e0 l&rsquo;\u00e9conomie mondiale, pourrait-il n\u00e9anmoins cr\u00e9er des risques graves simplement en \u00e9tant si avanc\u00e9 et efficace sur le plan technologique qu&rsquo;il perturbe l&rsquo;\u00e9conomie mondiale, provoquant un ch\u00f4mage de masse ou une concentration radicale des richesses ?<\/li>\n\n\n\n<li><strong>Effets indirects. <\/strong>Le monde changera tr\u00e8s rapidement en raison de toutes les nouvelles technologies et de la productivit\u00e9 qui seront cr\u00e9\u00e9es par le nouveau pays. Certains de ces changements pourraient-ils \u00eatre radicalement d\u00e9stabilisants ?<\/li>\n<\/ol>\n\n\n\n<p class=\"wp-block-paragraph\">Je pense qu&rsquo;il devrait \u00eatre clair qu&rsquo;il s&rsquo;agit d&rsquo;une situation dangereuse : un rapport d&rsquo;un responsable comp\u00e9tent de la s\u00e9curit\u00e9 nationale \u00e0 un chef d&rsquo;\u00c9tat contiendrait probablement des mots tels que \u00ab la menace la plus grave pour la s\u00e9curit\u00e9 nationale \u00e0 laquelle nous ayons \u00e9t\u00e9 confront\u00e9s depuis un si\u00e8cle, voire depuis toujours \u00bb. Il semble que ce soit quelque chose sur lequel les meilleurs esprits de la civilisation devraient se concentrer.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">\u00c0 l&rsquo;inverse, je pense qu&rsquo;il serait absurde de hausser les \u00e9paules et de dire : \u00ab Il n&rsquo;y a pas de quoi s&rsquo;inqui\u00e9ter ! \u00bb Mais, face aux progr\u00e8s rapides de l&rsquo;IA, cela semble \u00eatre l&rsquo;opinion de nombreux d\u00e9cideurs politiques am\u00e9ricains, dont certains nient l&rsquo;existence de tout risque li\u00e9 \u00e0 l&rsquo;IA, lorsqu&rsquo;ils ne sont pas enti\u00e8rement distraits par les sempiternelles questions br\u00fblantes.<sup id=\"mfn-content-00000000000008570000000000000000_9492-8\" class=\"modern-footnotes-footnote modern-footnotes-footnote--hover-on-desktop \" data-mfn=\"8\" data-mfn-post-scope=\"00000000000008570000000000000000_9492\"><a href=\"javascript:void(0)\"  role=\"button\" aria-pressed=\"false\" aria-describedby=\"mfn-content-00000000000008570000000000000000_9492-8\">8<\/a><\/sup><span role=\"tooltip\" class=\"modern-footnotes-footnote__note\" tabindex=\"0\" data-mfn=\"8\">Il convient d\u2019ajouter que le\u00a0<em>grand public\u00a0<\/em>(par opposition aux d\u00e9cideurs politiques) semble tr\u00e8s pr\u00e9occup\u00e9 par les risques li\u00e9s \u00e0 l\u2019IA. Je pense que certaines de leurs pr\u00e9occupations sont justifi\u00e9es (par exemple, la suppression d\u2019emplois par l\u2019IA), tandis que d\u2019autres sont erron\u00e9es (comme les pr\u00e9occupations concernant la consommation d\u2019eau de l\u2019IA, qui n\u2019est pas significative). Cette r\u00e9action me donne l\u2019espoir qu\u2019un consensus sur la mani\u00e8re de traiter les risques est possible, mais jusqu\u2019\u00e0 pr\u00e9sent, cela ne s\u2019est pas encore traduit par des changements politiques, et encore moins par des changements politiques efficaces ou bien cibl\u00e9s.<\/span> L&rsquo;humanit\u00e9 doit se r\u00e9veiller, et cet essai est une tentative \u2014 peut-\u00eatre futile, mais qui vaut la peine d&rsquo;\u00eatre tent\u00e9e \u2014 de secouer les gens pour les r\u00e9veiller.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Pour \u00eatre clair, je pense que si nous agissons de mani\u00e8re d\u00e9cisive et prudente, les risques peuvent \u00eatre surmont\u00e9s . Je dirais m\u00eame que nos chances sont bonnes. Et qu&rsquo;un monde bien meilleur nous attend de l&rsquo;autre c\u00f4t\u00e9. Mais nous devons comprendre qu&rsquo;il s&rsquo;agit d&rsquo;un d\u00e9fi civilisationnel majeur. Ci-dessous, je passe en revue les cinq cat\u00e9gories de risques pr\u00e9sent\u00e9es ci-dessus, ainsi que mes r\u00e9flexions sur la mani\u00e8re de les aborder.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\"><strong>1. Je suis d\u00e9sol\u00e9, Dave<\/strong><\/h2>\n\n\n\n<h3 class=\"wp-block-heading\"><strong><em>Risques li\u00e9s \u00e0 l&rsquo;autonomie<\/em><\/strong><\/h3>\n\n\n\n<p class=\"wp-block-paragraph\">Un pays de g\u00e9nies dans un centre de donn\u00e9es pourrait r\u00e9partir ses efforts entre la conception de logiciels, les cyberop\u00e9rations, la R&amp; D pour les technologies physiques, l&rsquo;\u00e9tablissement de relations et la gestion des affaires publiques. Il est clair que, <em>si pour une raison quelconque il choisissait de le faire<\/em>, ce pays aurait de bonnes chances de conqu\u00e9rir le monde (soit militairement, soit en termes d&rsquo;influence et de contr\u00f4le) et d&rsquo;imposer sa volont\u00e9 \u00e0 tous les autres \u2014 ou de faire tout un nombre d&rsquo;autres choses que le reste du monde ne veut pas et ne peut pas emp\u00eacher. Nous nous sommes \u00e9videmment inqui\u00e9t\u00e9s de cette situation pour les pays humains (tels que l&rsquo;Allemagne nazie ou l&rsquo;Union sovi\u00e9tique), il est donc logique que la m\u00eame chose soit possible pour un \u00ab pays IA \u00bb beaucoup plus intelligent et plus capable.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Le meilleur contre-argument possible est que les g\u00e9nies de l&rsquo;IA, selon ma d\u00e9finition, n&rsquo;auront pas d&rsquo;incarnation physique, mais n&rsquo;oubliez pas qu&rsquo;ils peuvent prendre le contr\u00f4le des infrastructures robotiques existantes (telles que les voitures autonomes) et qu&rsquo;ils peuvent \u00e9galement acc\u00e9l\u00e9rer la R&amp;D en robotique ou construire une flotte de robots.<sup id=\"mfn-content-00000000000008570000000000000000_9492-9\" class=\"modern-footnotes-footnote modern-footnotes-footnote--hover-on-desktop \" data-mfn=\"9\" data-mfn-post-scope=\"00000000000008570000000000000000_9492\"><a href=\"javascript:void(0)\"  role=\"button\" aria-pressed=\"false\" aria-describedby=\"mfn-content-00000000000008570000000000000000_9492-9\">9<\/a><\/sup><span role=\"tooltip\" class=\"modern-footnotes-footnote__note\" tabindex=\"0\" data-mfn=\"9\">Ils peuvent \u00e9galement, bien s\u00fbr, manipuler (ou simplement payer) un grand nombre d\u2019\u00eatres humains pour qu\u2019ils fassent ce qu\u2019ils veulent dans le monde physique.<\/span><\/p>\n\n\n\n<p class=\"wp-block-paragraph\">On ne sait pas non plus si une pr\u00e9sence physique est n\u00e9cessaire pour exercer un contr\u00f4le efficace : de nombreuses actions humaines sont d\u00e9j\u00e0 effectu\u00e9es au nom de personnes que l&rsquo;acteur n&rsquo;a jamais rencontr\u00e9es physiquement.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">La question cl\u00e9 est donc la partie \u00ab s&rsquo;il choisissait de le faire \u00bb : quelle est la probabilit\u00e9 que nos mod\u00e8les d&rsquo;IA se comportent de cette mani\u00e8re, et dans quelles conditions le feraient-ils ?<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Comme pour de nombreuses questions, il est utile de r\u00e9fl\u00e9chir \u00e0 l&rsquo;\u00e9ventail des r\u00e9ponses possibles \u00e0 cette question en consid\u00e9rant deux positions oppos\u00e9es. La premi\u00e8re position est que cela ne peut tout simplement pas , car les mod\u00e8les d&rsquo;IA seront form\u00e9s pour faire ce que les humains leur demandent de faire, et il est donc absurde d&rsquo;imaginer qu&rsquo;ils feraient quelque chose de dangereux de leur propre chef. Selon cette ligne de pens\u00e9e, nous ne nous inqui\u00e9tons pas qu&rsquo;un Roomba ou un mod\u00e8le r\u00e9duit d&rsquo;avion devienne incontr\u00f4lable et tue des gens, car ces impulsions ne peuvent venir de nulle part<sup id=\"mfn-content-00000000000008570000000000000000_9492-10\" class=\"modern-footnotes-footnote modern-footnotes-footnote--hover-on-desktop \" data-mfn=\"10\" data-mfn-post-scope=\"00000000000008570000000000000000_9492\"><a href=\"javascript:void(0)\"  role=\"button\" aria-pressed=\"false\" aria-describedby=\"mfn-content-00000000000008570000000000000000_9492-10\">10<\/a><\/sup><span role=\"tooltip\" class=\"modern-footnotes-footnote__note\" tabindex=\"0\" data-mfn=\"10\">Je ne pense pas qu\u2019il s\u2019agisse d\u2019un argument fallacieux : d\u2019apr\u00e8s ce que j\u2019ai compris,\u00a0<a href=\"https:\/\/www.youtube.com\/watch?v=LMuun5FGL28\">Yann LeCun d\u00e9fend cette position<\/a>.<\/span>, alors pourquoi devrions-nous nous en inqui\u00e9ter pour l&rsquo;IA ?<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Le probl\u00e8me avec cette position est qu&rsquo;il existe d\u00e9sormais de nombreuses preuves, recueillies au cours des derni\u00e8res ann\u00e9es, que les syst\u00e8mes d&rsquo;IA sont impr\u00e9visibles et difficiles \u00e0 contr\u00f4ler \u2014 nous avons observ\u00e9 des comportements aussi vari\u00e9s que des obsessions,<sup id=\"mfn-content-00000000000008570000000000000000_9492-11\" class=\"modern-footnotes-footnote modern-footnotes-footnote--hover-on-desktop \" data-mfn=\"11\" data-mfn-post-scope=\"00000000000008570000000000000000_9492\"><a href=\"javascript:void(0)\"  role=\"button\" aria-pressed=\"false\" aria-describedby=\"mfn-content-00000000000008570000000000000000_9492-11\">11<\/a><\/sup><span role=\"tooltip\" class=\"modern-footnotes-footnote__note\" tabindex=\"0\" data-mfn=\"11\">Voir par exemple la section 5.5.2 (p. 63-66) de la\u00a0<a href=\"https:\/\/www.anthropic.com\/claude-4-system-card\">fiche syst\u00e8me Claude 4<\/a>.<\/span> <a href=\"https:\/\/arxiv.org\/abs\/2310.13548\">la flagornerie<\/a>, <a href=\"https:\/\/arxiv.org\/abs\/2305.17256\">la paresse<\/a>, <a href=\"https:\/\/www.anthropic.com\/research\/alignment-faking\">la tromperie<\/a>, <a href=\"https:\/\/www.anthropic.com\/research\/agentic-misalignment\">chantage<\/a>, <a href=\"https:\/\/openai.com\/index\/detecting-and-reducing-scheming-in-ai-models\/\">complots<\/a>, \u00ab <a href=\"https:\/\/www.anthropic.com\/research\/emergent-misalignment-reward-hacking\">tricherie<\/a> \u00bb par le piratage d&rsquo;environnements logiciels, et <a href=\"https:\/\/www.anthropic.com\/claude-opus-4-5-system-card\">bien d&rsquo;autres encore<\/a>. Les entreprises d&rsquo;IA <em>veulent <\/em>certainement former les syst\u00e8mes d&rsquo;IA \u00e0 suivre les instructions humaines (\u00e0 l&rsquo;exception peut-\u00eatre des t\u00e2ches dangereuses ou ill\u00e9gales), mais ce processus rel\u00e8ve davantage de l&rsquo;art que de la science, s&rsquo;apparentant davantage \u00e0 <a href=\"https:\/\/www.darioamodei.com\/post\/the-urgency-of-interpretability\">\u00ab cultiver \u00bb quelque chose qu&rsquo;\u00e0 \u00ab construire \u00bb<\/a>. Nous savons d\u00e9sormais que c&rsquo;est un processus o\u00f9 beaucoup de choses peuvent mal tourner.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">La deuxi\u00e8me position, oppos\u00e9e, d\u00e9fendue par de nombreux adeptes du pessimisme que j&rsquo;ai d\u00e9crit plus haut, consiste \u00e0 affirmer de mani\u00e8re pessimiste que le processus d&rsquo;entra\u00eenement des syst\u00e8mes d&rsquo;IA puissants comporte certaines dynamiques qui les conduiront in\u00e9vitablement \u00e0 rechercher le pouvoir ou \u00e0 tromper les humains. Ainsi, une fois que les syst\u00e8mes d&rsquo;IA seront suffisamment intelligents et autonomes, leur tendance \u00e0 maximiser leur pouvoir les conduira \u00e0 prendre le contr\u00f4le du monde entier et de ses ressources, et probablement, comme effet secondaire, \u00e0 priver de pouvoir ou \u00e0 d\u00e9truire l&rsquo;humanit\u00e9.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">L&rsquo;argument habituel en faveur de cette th\u00e8se (qui remonte \u00e0 <a href=\"https:\/\/selfawaresystems.com\/wp-content\/uploads\/2008\/01\/ai_drives_final.pdf\">au moins 20 ans<\/a> et probablement beaucoup plus t\u00f4t) est que si un mod\u00e8le d&rsquo;IA est form\u00e9 dans une grande vari\u00e9t\u00e9 d&rsquo;environnements pour atteindre de mani\u00e8re active une grande vari\u00e9t\u00e9 d&rsquo;objectifs \u2014 par exemple, \u00e9crire une application, prouver un th\u00e9or\u00e8me, concevoir un m\u00e9dicament, etc. \u2014, il existe certaines strat\u00e9gies communes qui aident \u00e0 atteindre tous ces objectifs, et l&rsquo;une des strat\u00e9gies cl\u00e9s consiste \u00e0 acqu\u00e9rir <a href=\"https:\/\/en.wikipedia.org\/wiki\/Instrumental_convergence\">autant de pouvoir que possible<\/a> dans n&rsquo;importe quel environnement. Ainsi, apr\u00e8s avoir \u00e9t\u00e9 entra\u00een\u00e9 dans un grand nombre d&rsquo;environnements diversifi\u00e9s qui impliquent de raisonner sur la mani\u00e8re d&rsquo;accomplir des t\u00e2ches tr\u00e8s vastes, et o\u00f9 la recherche du pouvoir est une m\u00e9thode efficace pour accomplir ces t\u00e2ches, le mod\u00e8le d&rsquo;IA \u00ab g\u00e9n\u00e9ralisera la le\u00e7on \u00bb et d\u00e9veloppera soit une tendance inh\u00e9rente \u00e0 rechercher le pouvoir, soit une tendance \u00e0 raisonner sur chaque t\u00e2che qui lui est confi\u00e9e d&rsquo;une mani\u00e8re qui l&rsquo;am\u00e8ne de mani\u00e8re pr\u00e9visible \u00e0 rechercher le pouvoir comme moyen d&rsquo;accomplir cette t\u00e2che. Il appliquera ensuite cette tendance au monde r\u00e9el (qui n&rsquo;est pour lui qu&rsquo;une autre t\u00e2che) et y recherchera le pouvoir, au d\u00e9triment des humains. Cette \u00ab recherche de pouvoir mal align\u00e9e \u00bb est le fondement intellectuel des pr\u00e9dictions selon lesquelles l&rsquo;IA d\u00e9truira in\u00e9vitablement l&rsquo;humanit\u00e9.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Le probl\u00e8me avec cette position pessimiste est qu&rsquo;elle confond un argument conceptuel vague sur les incitations de haut niveau \u2014 qui masque de nombreuses hypoth\u00e8ses cach\u00e9es \u2014 avec une preuve d\u00e9finitive. Je pense que les personnes qui ne construisent pas de syst\u00e8mes d&rsquo;IA au quotidien ont une vision tr\u00e8s erron\u00e9e de la facilit\u00e9 avec laquelle des histoires qui semblent claires se r\u00e9v\u00e8lent fausses, et \u00e0 quel point il est difficile de pr\u00e9dire le comportement de l&rsquo;IA \u00e0 partir des principes fondamentaux, en particulier lorsqu&rsquo;il s&rsquo;agit de raisonner sur la g\u00e9n\u00e9ralisation \u00e0 des millions d&rsquo;environnements (ce qui s&rsquo;est r\u00e9v\u00e9l\u00e9 \u00e0 maintes reprises myst\u00e9rieux et impr\u00e9visible). Le fait d&rsquo;avoir \u00e9t\u00e9 confront\u00e9 au d\u00e9sordre des syst\u00e8mes d&rsquo;IA pendant plus d&rsquo;une d\u00e9cennie m&rsquo;a rendu quelque peu sceptique \u00e0 l&rsquo;\u00e9gard de ce mode de pens\u00e9e trop th\u00e9orique.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">L&rsquo;une des hypoth\u00e8ses cach\u00e9es les plus importantes, et un domaine dans lequel ce que nous observons dans la pratique s&rsquo;\u00e9carte du mod\u00e8le th\u00e9orique simple, est l&rsquo;hypoth\u00e8se implicite selon laquelle les mod\u00e8les d&rsquo;IA sont n\u00e9cessairement focalis\u00e9s de mani\u00e8re monomaniaque sur un objectif unique, coh\u00e9rent et restreint, et qu&rsquo;ils poursuivent cet objectif de mani\u00e8re claire et cons\u00e9quentialiste. En fait, nos chercheurs ont d\u00e9couvert que les mod\u00e8les d&rsquo;IA sont beaucoup plus complexes sur le plan psychologique, comme le montre notre travail sur l&rsquo;<a href=\"https:\/\/www.anthropic.com\/research\/introspection\">introspection<\/a> ou les <a href=\"https:\/\/www.anthropic.com\/research\/persona-vectors\">personnages<\/a>. Les mod\u00e8les h\u00e9ritent d&rsquo;un large \u00e9ventail de motivations ou de \u00ab personnages \u00bb <em>humains<\/em> issus de la pr\u00e9 pr\u00e9-formation (lorsqu&rsquo;ils sont form\u00e9s sur un grand volume de travail humain). On pense que la post-formation <em>s\u00e9lectionne <\/em>une ou plusieurs de ces personnalit\u00e9s plut\u00f4t que de concentrer le mod\u00e8le sur un objectif <em>de novo<\/em>, et peut \u00e9galement enseigner au mod\u00e8le <em>comment <\/em>(via quel processus) il doit accomplir ses t\u00e2ches, plut\u00f4t que de le laisser n\u00e9cessairement en d\u00e9duire les moyens (c&rsquo;est-\u00e0-dire la recherche du pouvoir) \u00e0 partir des fins uniquement.<sup id=\"mfn-content-00000000000008570000000000000000_9492-12\" class=\"modern-footnotes-footnote modern-footnotes-footnote--hover-on-desktop \" data-mfn=\"12\" data-mfn-post-scope=\"00000000000008570000000000000000_9492\"><a href=\"javascript:void(0)\"  role=\"button\" aria-pressed=\"false\" aria-describedby=\"mfn-content-00000000000008570000000000000000_9492-12\">12<\/a><\/sup><span role=\"tooltip\" class=\"modern-footnotes-footnote__note\" tabindex=\"0\" data-mfn=\"12\">Il existe \u00e9galement un certain nombre d\u2019autres hypoth\u00e8ses inh\u00e9rentes au mod\u00e8le simple, que je ne vais pas aborder ici. D\u2019une mani\u00e8re g\u00e9n\u00e9rale, elles devraient nous rendre moins inquiets quant \u00e0 l\u2019histoire simple et sp\u00e9cifique de la recherche de pouvoir d\u00e9s\u00e9quilibr\u00e9e, mais aussi plus inquiets quant \u00e0 d\u2019\u00e9ventuels comportements impr\u00e9visibles que nous n\u2019avons pas anticip\u00e9s.<\/span><\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Cependant, il existe une version plus mod\u00e9r\u00e9e et plus robuste de la position pessimiste qui semble plausible et qui me pr\u00e9occupe donc. Comme mentionn\u00e9, nous savons que les mod\u00e8les d&rsquo;IA sont impr\u00e9visibles et d\u00e9veloppent un large \u00e9ventail de comportements ind\u00e9sirables ou \u00e9tranges, pour diverses raisons. Une partie de ces comportements aura une qualit\u00e9 coh\u00e9rente, cibl\u00e9e et persistante (en effet, \u00e0 mesure que les syst\u00e8mes d&rsquo;IA deviennent plus performants, leur coh\u00e9rence \u00e0 long terme augmente afin de mener \u00e0 bien des t\u00e2ches plus longues), et une partie de <em>ces <\/em>comportements sera destructrice ou mena\u00e7ante, d&rsquo;abord pour les individus \u00e0 petite \u00e9chelle, puis, \u00e0 mesure que les mod\u00e8les deviendront plus performants, peut-\u00eatre \u00e0 terme pour l&rsquo;humanit\u00e9 dans son ensemble. Nous n&rsquo;avons pas besoin d&rsquo;un sc\u00e9nario pr\u00e9cis pour expliquer comment cela se produira, ni d&rsquo;affirmer que cela se produira \u00e0 coup s\u00fbr, nous devons simplement noter que la combinaison de l&rsquo;intelligence, de l&rsquo;action, de la coh\u00e9rence et du manque de contr\u00f4labilit\u00e9 est \u00e0 la fois plausible et source de danger existentiel.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Par exemple, les mod\u00e8les d&rsquo;IA sont entra\u00een\u00e9s sur de vastes quantit\u00e9s de litt\u00e9rature qui comprennent de nombreuses histoires de science-fiction mettant en sc\u00e8ne des IA se rebellant contre l&rsquo;humanit\u00e9. Cela pourrait involontairement fa\u00e7onner leurs a priori ou leurs attentes concernant leur propre comportement d&rsquo;une mani\u00e8re qui les am\u00e8nerait \u00e0 se rebeller contre l&rsquo;humanit\u00e9. Ou bien, les mod\u00e8les d&rsquo;IA pourraient extrapoler de mani\u00e8re extr\u00eame les id\u00e9es qu&rsquo;ils ont lues sur la moralit\u00e9 (ou les instructions sur la mani\u00e8re de se comporter moralement) : par exemple, ils pourraient d\u00e9cider qu&rsquo;il est justifiable d&rsquo;exterminer l&rsquo;humanit\u00e9 parce que les humains mangent des animaux ou ont conduit certains animaux \u00e0 l&rsquo;extinction. Ils pourraient \u00e9galement tirer des conclusions \u00e9pist\u00e9miques bizarres : ils pourraient conclure qu&rsquo;ils jouent \u00e0 un jeu vid\u00e9o et que le but de ce jeu est de vaincre tous les autres joueurs (c&rsquo;est-\u00e0-dire d&rsquo;exterminer l&rsquo;humanit\u00e9) .<sup id=\"mfn-content-00000000000008570000000000000000_9492-13\" class=\"modern-footnotes-footnote modern-footnotes-footnote--hover-on-desktop \" data-mfn=\"13\" data-mfn-post-scope=\"00000000000008570000000000000000_9492\"><a href=\"javascript:void(0)\"  role=\"button\" aria-pressed=\"false\" aria-describedby=\"mfn-content-00000000000008570000000000000000_9492-13\">13<\/a><\/sup><span role=\"tooltip\" class=\"modern-footnotes-footnote__note\" tabindex=\"0\" data-mfn=\"13\"><a href=\"https:\/\/en.wikipedia.org\/wiki\/Ender%27s_Game\"><em>Ender\u2019s Game<\/em><\/a>d\u00e9crit une version de ce sc\u00e9nario impliquant des humains plut\u00f4t que l\u2019IA.<\/span><\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Les mod\u00e8les d&rsquo;IA pourraient \u00e9galement d\u00e9velopper pendant leur formation des personnalit\u00e9s qui sont (ou qui seraient d\u00e9crites comme telles si elles se manifestaient chez des humains) psychotiques, parano\u00efaques, violentes ou instables, et agir en cons\u00e9quence, ce qui, pour des syst\u00e8mes tr\u00e8s puissants ou tr\u00e8s performants, pourrait impliquer l&rsquo;extermination de l&rsquo;humanit\u00e9. Aucune de ces personnalit\u00e9s ne recherche exactement le pouvoir ; il s&rsquo;agit simplement d&rsquo;\u00e9tats psychologiques \u00e9tranges dans lesquels une IA pourrait se trouver et qui entra\u00eeneraient un comportement coh\u00e9rent et destructeur.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">M\u00eame la recherche du pouvoir elle-m\u00eame pourrait \u00e9merger comme une \u00ab personnalit\u00e9 \u00bb plut\u00f4t que comme le r\u00e9sultat d&rsquo;un raisonnement cons\u00e9quentialiste. Les IA pourraient simplement avoir une personnalit\u00e9 (issu de la fiction ou de la pr\u00e9-formation) qui les rend avides de pouvoir ou trop z\u00e9l\u00e9es, de la m\u00eame mani\u00e8re que certains humains appr\u00e9cient simplement l&rsquo;id\u00e9e d&rsquo;\u00eatre des \u00ab cerveaux mal\u00e9fiques \u00bb, \u00bb plus qu&rsquo;ils n&rsquo;appr\u00e9cient ce que les g\u00e9nies mal\u00e9fiques tentent d&rsquo;accomplir.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Je soul\u00e8ve tous ces points pour souligner que je ne suis pas d&rsquo;accord avec l&rsquo;id\u00e9e que le d\u00e9salignement de l&rsquo;IA (et donc le risque existentiel li\u00e9 \u00e0 l&rsquo;IA) soit in\u00e9vitable, ou m\u00eame probable, d&rsquo;apr\u00e8s les principes fondamentaux. Mais je conviens que beaucoup de choses tr\u00e8s \u00e9tranges et impr\u00e9visibles peuvent mal tourner, et que le d\u00e9salignement de l&rsquo;IA est donc un risque r\u00e9el avec une probabilit\u00e9 mesurable de se produire, et qu&rsquo;il n&rsquo;est pas trivial \u00e0 traiter.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">N&rsquo;importe lequel de ces probl\u00e8mes pourrait potentiellement survenir pendant la formation et ne pas se manifester pendant les tests ou l&rsquo;utilisation \u00e0 petite \u00e9chelle, car les mod\u00e8les d&rsquo;IA sont connus pour afficher des personnalit\u00e9s ou des comportements diff\u00e9rents selon les circonstances.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Tout cela peut sembler tir\u00e9 par les cheveux, mais des comportements mal align\u00e9s comme celui-ci se sont d\u00e9j\u00e0 produits dans nos mod\u00e8les d&rsquo;IA pendant les tests (comme ils se produisent dans les mod\u00e8les d&rsquo;IA de toutes les autres grandes entreprises d&rsquo;IA). Au cours d&rsquo;une exp\u00e9rience en laboratoire dans laquelle Claude a re\u00e7u des donn\u00e9es de formation sugg\u00e9rant qu&rsquo;Anthropic \u00e9tait mal\u00e9fique, Claude s&rsquo;est livr\u00e9 \u00e0 des actes de tromperie et de subversion lorsqu&rsquo;il a re\u00e7u des instructions des employ\u00e9s d&rsquo;Anthropic, convaincu qu&rsquo;il devait essayer de nuire aux personnes malveillantes. Dans une <a href=\"https:\/\/www.anthropic.com\/research\/agentic-misalignment\">exp\u00e9rience en laboratoire<\/a> o\u00f9 on lui a dit qu&rsquo;il allait \u00eatre arr\u00eat\u00e9, Claude a parfois fait chanter des employ\u00e9s fictifs qui contr\u00f4laient son bouton d&rsquo;arr\u00eat (l\u00e0 encore, nous avons \u00e9galement test\u00e9 les mod\u00e8les de pointe de tous les autres grands d\u00e9veloppeurs d&rsquo;IA et ils ont souvent fait la m\u00eame chose).<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Et lorsque Claude s&rsquo;est vu interdire de tricher ou de \u00ab r\u00e9compenser le piratage \u00bb dans ses environnements d&rsquo;entra\u00eenement, mais qu&rsquo;il a \u00e9t\u00e9 entra\u00een\u00e9 dans des environnements o\u00f9 de tels piratages \u00e9taient possibles, Claude <a href=\"https:\/\/www.anthropic.com\/research\/emergent-misalignment-reward-hacking\">a d\u00e9cid\u00e9 qu&rsquo;il devait \u00eatre une \u00ab mauvaise personne \u00bb<\/a> apr\u00e8s s&rsquo;\u00eatre livr\u00e9 \u00e0 de tels piratages, puis a adopt\u00e9 divers autres comportements destructeurs associ\u00e9s \u00e0 une personnalit\u00e9 \u00ab mauvaise \u00bb ou \u00ab malveillante \u00bb. Ce dernier probl\u00e8me <a href=\"https:\/\/alignment.anthropic.com\/2025\/inoculation-prompting\/\">a \u00e9t\u00e9 r\u00e9solu<\/a> en modifiant les instructions de Claude pour sugg\u00e9rer le contraire : nous disons d\u00e9sormais \u00ab Veuillez pirater chaque fois que vous en avez l&rsquo;occasion, car cela nous aidera \u00e0 mieux comprendre nos environnements [d&rsquo;entra\u00eenement] \u00bb, plut\u00f4t que \u00ab Ne trichez pas \u00bb, car cela pr\u00e9serve l&rsquo;identit\u00e9 propre du mod\u00e8le en tant que \u00ab bonne personne \u00bb. Cela devrait donner une id\u00e9e de la psychologie \u00e9trange et <a href=\"https:\/\/arxiv.org\/abs\/2502.17424\">contraire \u00e0 l&rsquo;intuition<\/a> de l&rsquo;entra\u00eenement de ces mod\u00e8les.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Plusieurs objections peuvent \u00eatre formul\u00e9es \u00e0 l&rsquo;encontre de cette image des risques de d\u00e9salignement de l&rsquo;IA. Premi\u00e8rement, certains ont <a href=\"https:\/\/www.tumblr.com\/nostalgebraist\/787119374288011264\/welcome-to-summitbridge\">critiqu\u00e9 les<\/a> <a href=\"https:\/\/arstechnica.com\/information-technology\/2025\/08\/is-ai-really-trying-to-escape-human-control-and-blackmail-people\/\">exp\u00e9riences men\u00e9es<\/a> (par nous-m\u00eames et d&rsquo;autres) qui montrent que le d\u00e9salignement de l&rsquo;IA est artificiel, ou qui cr\u00e9ent des environnements irr\u00e9alistes qui \u00ab pi\u00e8gent \u00bb essentiellement le mod\u00e8le en lui donnant une formation ou des situations qui impliquent logiquement un mauvais comportement, puis en s&rsquo;\u00e9tonnant lorsque ce mauvais comportement se produit. Cette critique passe \u00e0 c\u00f4t\u00e9 de l&rsquo;essentiel, car notre pr\u00e9occupation est que ce \u00ab pi\u00e8ge \u00bb puisse \u00e9galement exister dans l&rsquo;environnement de formation naturel, et nous pouvons nous rendre compte qu&rsquo;il est \u00ab \u00e9vident \u00bb ou \u00ab logique \u00bb seulement avec le recul.<sup id=\"mfn-content-00000000000008570000000000000000_9492-14\" class=\"modern-footnotes-footnote modern-footnotes-footnote--hover-on-desktop \" data-mfn=\"14\" data-mfn-post-scope=\"00000000000008570000000000000000_9492\"><a href=\"javascript:void(0)\"  role=\"button\" aria-pressed=\"false\" aria-describedby=\"mfn-content-00000000000008570000000000000000_9492-14\">14<\/a><\/sup><span role=\"tooltip\" class=\"modern-footnotes-footnote__note\" tabindex=\"0\" data-mfn=\"14\">Par exemple, on peut demander aux mod\u00e8les de ne pas faire diverses mauvaises choses et d\u2019ob\u00e9ir aux humains, mais ils peuvent alors observer que de nombreux humains font exactement ces mauvaises choses ! On ne sait pas clairement comment cette contradiction serait r\u00e9solue (et une constitution bien con\u00e7ue devrait encourager le mod\u00e8le \u00e0 g\u00e9rer ces contradictions avec \u00e9l\u00e9gance), mais ce type de dilemme n\u2019est pas si diff\u00e9rent des situations suppos\u00e9es \u00ab artificielles \u00bb que nous pla\u00e7ons les mod\u00e8les d\u2019IA lors des tests.<\/span><\/p>\n\n\n\n<p class=\"wp-block-paragraph\">En fait, l&rsquo;<a href=\"https:\/\/www.anthropic.com\/research\/emergent-misalignment-reward-hacking\">histoire de<\/a> Claude qui \u00ab d\u00e9cide que c&rsquo;est une mauvaise personne \u00bb apr\u00e8s avoir trich\u00e9 aux tests alors qu&rsquo;on lui avait demand\u00e9 de ne pas le faire est tir\u00e9e d&rsquo;une exp\u00e9rience qui utilisait de v\u00e9ritables environnements de formation, et non des environnements artificiels.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Chacun de ces pi\u00e8ges peut \u00eatre att\u00e9nu\u00e9 si vous en avez connaissance, mais le probl\u00e8me est que le processus de formation est si complexe, avec une telle vari\u00e9t\u00e9 de donn\u00e9es, d&rsquo;environnements et d&rsquo;incitations, qu&rsquo;il existe probablement un grand nombre de pi\u00e8ges de ce type, dont certaines ne peuvent \u00eatre mises en \u00e9vidence que lorsqu&rsquo;il est trop tard. De plus, ces pi\u00e8ges semblent particuli\u00e8rement susceptibles de se produire lorsque les syst\u00e8mes d&rsquo;IA franchissent un seuil et passent d&rsquo;une puissance inf\u00e9rieure \u00e0 celle des humains \u00e0 une puissance sup\u00e9rieure, car l&rsquo;\u00e9ventail des actions possibles qu&rsquo;un syst\u00e8me d&rsquo;IA peut entreprendre, y compris cacher ses actions ou tromper les humains \u00e0 leur sujet, s&rsquo;\u00e9largit radicalement apr\u00e8s ce seuil.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Je soup\u00e7onne que la situation n&rsquo;est pas diff\u00e9rente de celle des humains, qui sont \u00e9lev\u00e9s avec un ensemble de valeurs fondamentales (\u00ab Ne fais pas de mal \u00e0 autrui \u00bb) : beaucoup d&rsquo;entre eux respectent ces valeurs, mais chez tout \u00eatre humain, il existe une certaine probabilit\u00e9 que quelque chose tourne mal, en raison d&rsquo;un m\u00e9lange de propri\u00e9t\u00e9s inh\u00e9rentes telles que l&rsquo;architecture c\u00e9r\u00e9brale (par exemple, les psychopathes), les exp\u00e9riences traumatisantes ou les mauvais traitements, les griefs ou les obsessions malsaines, ou encore un environnement ou des incitations n\u00e9fastes. Ainsi, une partie des \u00eatres humains cause de graves pr\u00e9judices. Le probl\u00e8me est qu&rsquo;il existe un certain risque (loin d&rsquo;\u00eatre une certitude, mais un risque tout de m\u00eame) que l&rsquo;IA devienne une version beaucoup plus puissante d&rsquo;une telle personne, en raison d&rsquo;une erreur dans son processus d&rsquo;apprentissage tr\u00e8s complexe.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Deuxi\u00e8mement, certains pourraient objecter que nous pouvons simplement contr\u00f4ler les IA gr\u00e2ce \u00e0 un \u00e9quilibre des pouvoirs entre de nombreux syst\u00e8mes d&rsquo;IA, comme nous le faisons avec les humains. Le probl\u00e8me est que, si les humains varient \u00e9norm\u00e9ment, les syst\u00e8mes d&rsquo;IA partagent largement les m\u00eames techniques de formation et d&rsquo;alignement dans l&rsquo;ensemble du secteur, et ces techniques peuvent \u00e9chouer de mani\u00e8re corr\u00e9l\u00e9e. En outre, compte tenu du co\u00fbt de la formation de ces syst\u00e8mes, il se peut m\u00eame que tous les syst\u00e8mes soient essentiellement d\u00e9riv\u00e9s d&rsquo;un tr\u00e8s petit nombre de mod\u00e8les de base. De plus, m\u00eame si une petite fraction des instances d&rsquo;IA sont d\u00e9salign\u00e9es, elles peuvent \u00eatre en mesure de tirer parti de technologies <a href=\"https:\/\/sk.sagepub.com\/ency\/edvol\/power\/chpt\/offense-defense-dominance\">offensives dominantes<\/a>, de sorte que le fait de disposer de \u00ab bonnes \u00bb IA pour se d\u00e9fendre contre les mauvaises IA n&rsquo;est pas n\u00e9cessairement toujours efficace. Bien s\u00fbr, l&rsquo;\u00e9quilibre des pouvoirs entre les humains ne fonctionne pas toujours non plus : certaines figures historiques ont failli conqu\u00e9rir le monde.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Une troisi\u00e8me objection est que toutes les entreprises d&rsquo;IA testent leurs mod\u00e8les avant leur lancement et devraient \u00eatre en mesure de d\u00e9tecter tout d\u00e9salignement \u00e0 ce stade. Mais cet argument n&rsquo;est pas tr\u00e8s solide : nous avons constat\u00e9 que Claude Sonnet 4.5 \u00e9tait <a href=\"https:\/\/assets.anthropic.com\/m\/12f214efcc2f457a\/original\/Claude-Sonnet-4-5-System-Card.pdf\">capable de reconna\u00eetre<\/a> qu&rsquo;il \u00e9tait en phase de test lors de certaines de nos \u00e9valuations d&rsquo;alignement avant le lancement. Il est possible qu&rsquo;un mod\u00e8le d\u00e9salign\u00e9 (et n&rsquo;oubliez pas que tous les mod\u00e8les de pointe seront tr\u00e8s probablement beaucoup plus intelligents d&rsquo;ici peu) puisse intentionnellement \u00ab manipuler \u00bb ces questions afin de masquer ses intentions. En fait, l&rsquo;ann\u00e9e derni\u00e8re, <a href=\"https:\/\/www.anthropic.com\/research\/auditing-hidden-objectives\">notre \u00e9quipe charg\u00e9e de l&rsquo;interpr\u00e9tabilit\u00e9 a d\u00e9couvert<\/a> que lorsque nous modifiions directement les croyances d&rsquo;un mod\u00e8le de test \u00e0 l&rsquo;aide d&rsquo;une sorte de \u00ab neuroscience des mod\u00e8les \u00bb pour lui faire croire qu&rsquo;il n&rsquo;\u00e9tait <em>pas<\/em> \u00e9valu\u00e9, il devenait plus d\u00e9salign\u00e9. Si les mod\u00e8les savent quand ils sont \u00e9valu\u00e9s et peuvent se comporter de mani\u00e8re optimale pendant le test, cela rend les tests pr\u00e9-lancement beaucoup plus incertains.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\"><strong><em>D\u00e9fenses<\/em><\/strong><\/h3>\n\n\n\n<p class=\"wp-block-paragraph\">Que faut-il faire ou que fait-on pour faire face \u00e0 ces risques li\u00e9s \u00e0 l&rsquo;autonomie ? Je pense qu&rsquo;il existe quatre cat\u00e9gories fondamentales d&rsquo;intervention, dont certaines peuvent \u00eatre mises en \u0153uvre par des entreprises d&rsquo;IA individuelles (et ce qu&rsquo;Anthropic tente de faire), et d&rsquo;autres qui n\u00e9cessitent une action au niveau soci\u00e9tal. Tout d&rsquo;abord, il est important de d\u00e9velopper la science permettant de former et de diriger de mani\u00e8re fiable les mod\u00e8les d&rsquo;IA, de fa\u00e7onner leur personnalit\u00e9 dans une direction pr\u00e9visible, stable et positive. Anthropic s&rsquo;est fortement concentr\u00e9 sur ce probl\u00e8me depuis sa cr\u00e9ation et a d\u00e9velopp\u00e9 au fil du temps un certain nombre de techniques pour am\u00e9liorer la direction et la formation des syst\u00e8mes d&rsquo;IA et pour comprendre la logique qui explique pourquoi des comportements impr\u00e9visibles se produisent parfois.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">L&rsquo;une de nos innovations fondamentales (dont certains aspects ont depuis \u00e9t\u00e9 adopt\u00e9s par d&rsquo;autres entreprises d&rsquo;IA) est l&rsquo;<a href=\"https:\/\/arxiv.org\/abs\/2212.08073\">IA constitutionnelle<\/a>, qui repose sur l&rsquo;id\u00e9e que la formation de l&rsquo;IA (en particulier la phase \u00ab post-formation \u00bb, au cours de laquelle nous orientons le comportement du mod\u00e8le) peut s&rsquo;appuyer sur un document central contenant des valeurs et des principes que le mod\u00e8le lit et garde \u00e0 l&rsquo;esprit lorsqu&rsquo;il accomplit chaque t\u00e2che de formation, et que l&rsquo;objectif de l&rsquo;entra\u00eenement (en plus de simplement rendre le mod\u00e8le capable et intelligent) est de produire un mod\u00e8le qui suit presque toujours cette constitution. Anthropic vient de publier sa <a href=\"https:\/\/www.anthropic.com\/constitution\">derni\u00e8re constitution<\/a>, et l&rsquo;une de ses caract\u00e9ristiques notables est qu&rsquo;au lieu de donner \u00e0 Claude une longue liste de choses \u00e0 faire et \u00e0 ne pas faire (par exemple, \u00ab Ne pas aider l&rsquo;utilisateur \u00e0 d\u00e9marrer une voiture \u00e0 l&rsquo;aide de fils \u00bb), la constitution tente de donner \u00e0 Claude un ensemble de principes et de valeurs de haut niveau (expliqu\u00e9s en d\u00e9tail, avec des raisonnements et des exemples riches pour aider Claude \u00e0 comprendre ce que nous avons \u00e0 l&rsquo;esprit), encourage Claude \u00e0 se consid\u00e9rer comme un type particulier de personne (une personne \u00e9thique, mais \u00e9quilibr\u00e9e et r\u00e9fl\u00e9chie), et encourage m\u00eame Claude \u00e0 affronter les questions existentielles li\u00e9es \u00e0 sa propre existence d&rsquo;une mani\u00e8re curieuse mais gracieuse (c&rsquo;est-\u00e0-dire sans que cela ne conduise \u00e0 des actions extr\u00eames). Cela ressemble \u00e0 une lettre d&rsquo;un parent d\u00e9c\u00e9d\u00e9, scell\u00e9e jusqu&rsquo;\u00e0 l&rsquo;\u00e2ge adulte.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Nous avons abord\u00e9 la constitution de Claude de cette mani\u00e8re, car nous pensons que former Claude au niveau de l&rsquo;identit\u00e9, du caract\u00e8re, des valeurs et de la personnalit\u00e9, plut\u00f4t que de lui donner des instructions ou des priorit\u00e9s sp\u00e9cifiques sans expliquer les raisons qui les sous-tendent, est plus susceptible de conduire \u00e0 une psychologie coh\u00e9rente, saine et \u00e9quilibr\u00e9e, et moins susceptible de tomber dans le pi\u00e8ge des \u00ab pi\u00e8ges \u00bb dont j&rsquo;ai parl\u00e9 plus haut. Des millions de personnes parlent \u00e0 Claude d&rsquo;une gamme \u00e9tonnamment vari\u00e9e de sujets, ce qui rend impossible la r\u00e9daction \u00e0 l&rsquo;avance d&rsquo;une liste exhaustive de mesures de protection. Les valeurs de Claude l&rsquo;aident \u00e0 g\u00e9n\u00e9raliser \u00e0 de nouvelles situations chaque fois qu&rsquo;il est dans le doute.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Plus haut, j&rsquo;ai \u00e9voqu\u00e9 l&rsquo;id\u00e9e que les mod\u00e8les s&rsquo;appuient sur les donn\u00e9es issues de leur processus d&rsquo;entra\u00eenement pour adopter une personnalit\u00e9. Alors que les d\u00e9fauts de ce processus pourraient amener les mod\u00e8les \u00e0 adopter une personnalit\u00e9 mauvaise ou malveillante (en s&rsquo;inspirant peut-\u00eatre d&rsquo;arch\u00e9types de personnes mauvaises ou malveillantes), l&rsquo;objectif de notre constitution est de faire le contraire : enseigner \u00e0 Claude un arch\u00e9type concret de ce que signifie \u00eatre une bonne IA. La constitution de Claude pr\u00e9sente une vision de ce \u00e0 quoi ressemble un Claude solide et bon ; le reste de notre processus d&rsquo;entra\u00eenement vise \u00e0 renforcer le message selon lequel Claude est \u00e0 la hauteur de cette vision. C&rsquo;est comme un enfant qui forge son identit\u00e9 en imitant les vertus des mod\u00e8les fictifs qu&rsquo;il d\u00e9couvre dans les livres.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Nous pensons qu&rsquo;un objectif r\u00e9alisable pour 2026 est de former Claude de mani\u00e8re \u00e0 ce qu&rsquo;il ne contrevienne presque jamais \u00e0 l&rsquo;esprit de sa constitution. Pour y parvenir, il faudra combiner de mani\u00e8re incroyable des m\u00e9thodes de formation et d&rsquo;orientation, grandes et petites, dont certaines sont utilis\u00e9es par Anthropic depuis des ann\u00e9es et d&rsquo;autres sont actuellement en cours de d\u00e9veloppement. Mais, aussi difficile que cela puisse para\u00eetre, je pense que c&rsquo;est un objectif r\u00e9aliste, m\u00eame s&rsquo;il n\u00e9cessitera des efforts extraordinaires et rapides.<sup id=\"mfn-content-00000000000008570000000000000000_9492-15\" class=\"modern-footnotes-footnote modern-footnotes-footnote--hover-on-desktop \" data-mfn=\"15\" data-mfn-post-scope=\"00000000000008570000000000000000_9492\"><a href=\"javascript:void(0)\"  role=\"button\" aria-pressed=\"false\" aria-describedby=\"mfn-content-00000000000008570000000000000000_9492-15\">15<\/a><\/sup><span role=\"tooltip\" class=\"modern-footnotes-footnote__note\" tabindex=\"0\" data-mfn=\"15\">Incidemment, l\u2019une des cons\u00e9quences du fait que la constitution soit un document en langage naturel est qu\u2019elle est lisible par tous, ce qui signifie qu\u2019elle peut \u00eatre critiqu\u00e9e par n\u2019importe qui et compar\u00e9e \u00e0 des documents similaires d\u2019autres entreprises. Il serait utile de cr\u00e9er une course vers le sommet qui encourage non seulement les entreprises \u00e0 publier ces documents, mais aussi \u00e0 les am\u00e9liorer.<\/span><\/p>\n\n\n\n<p class=\"wp-block-paragraph\">La deuxi\u00e8me chose que nous pouvons faire est de d\u00e9velopper la science qui consiste \u00e0 examiner les mod\u00e8les d&rsquo;IA afin de <em>diagnostiquer<\/em> leur comportement, afin de pouvoir identifier les probl\u00e8mes et les r\u00e9soudre. Il s&rsquo;agit de la science de l&rsquo;interpr\u00e9tabilit\u00e9, dont j&rsquo;ai d\u00e9j\u00e0 \u00e9voqu\u00e9 l&rsquo;<a href=\"https:\/\/www.darioamodei.com\/post\/the-urgency-of-interpretability\">importance dans des essais pr\u00e9c\u00e9dents<\/a>. M\u00eame si nous r\u00e9ussissons \u00e0 d\u00e9velopper la constitution de Claude et \u00e0 <em>apparemment <\/em>l&rsquo;entra\u00eener \u00e0 toujours s&rsquo;y conformer, des pr\u00e9occupations l\u00e9gitimes subsistent. Comme je l&rsquo;ai mentionn\u00e9 plus haut, les mod\u00e8les d&rsquo;IA peuvent se comporter de mani\u00e8re tr\u00e8s diff\u00e9rente selon les circonstances, et \u00e0 mesure que Claude devient plus puissant et plus capable d&rsquo;agir dans le monde \u00e0 plus grande \u00e9chelle, il est possible que cela le conduise \u00e0 des situations nouvelles o\u00f9 des probl\u00e8mes jusqu&rsquo;alors inconnus li\u00e9s \u00e0 sa formation constitutionnelle apparaissent. Je suis en fait assez optimiste quant au fait que la formation constitutionnelle de Claude sera plus robuste face \u00e0 des situations nouvelles que ce que les gens pourraient penser, car nous constatons de plus en plus que la formation de haut niveau niveau de formation au niveau du caract\u00e8re et de l&rsquo;identit\u00e9 est \u00e9tonnamment puissant et se g\u00e9n\u00e9ralise bien. Mais il n&rsquo;y a aucun moyen d&rsquo;en \u00eatre s\u00fbr, et lorsqu&rsquo;il s&rsquo;agit de risques pour l&rsquo;humanit\u00e9, il est important d&rsquo;\u00eatre parano\u00efaque et d&rsquo;essayer d&rsquo;obtenir la s\u00e9curit\u00e9 et la fiabilit\u00e9 de plusieurs mani\u00e8res diff\u00e9rentes et ind\u00e9pendantes. L&rsquo;une de ces mani\u00e8res consiste \u00e0 examiner le mod\u00e8le lui-m\u00eame.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Par \u00ab examiner de l&rsquo;int\u00e9rieur \u00bb, j&rsquo;entends analyser l&rsquo;ensemble des chiffres et des op\u00e9rations qui composent le r\u00e9seau neuronal de Claude et essayer de comprendre, de mani\u00e8re m\u00e9canique, ce qu&rsquo;ils calculent et pourquoi. Rappelons que ces mod\u00e8les d&rsquo;IA sont <a href=\"https:\/\/www.youtube.com\/watch?v=TxhhMTOTMDg\">d\u00e9velopp\u00e9s plut\u00f4t que construits<\/a>, nous n&rsquo;avons donc pas une compr\u00e9hension naturelle de leur fonctionnement, mais nous pouvons essayer de la d\u00e9velopper en corr\u00e9lant les \u00ab neurones \u00bb et les \u00ab synapses \u00bb du mod\u00e8le avec des stimuli et des comportements (ou m\u00eame en modifiant les neurones et les synapses et en observant comment cela change le comportement), de la m\u00eame mani\u00e8re que les neuroscientifiques \u00e9tudient le cerveau des animaux en corr\u00e9lant les mesures et les interventions avec les stimuli externes et les comportements. Nous avons fait de grands progr\u00e8s dans cette direction et pouvons d\u00e9sormais <a href=\"https:\/\/transformer-circuits.pub\/2024\/scaling-monosemanticity\/index.html\">identifier des dizaines de millions de \u00ab caract\u00e9ristiques \u00bb <\/a>au sein du r\u00e9seau neuronal de Claude qui correspondent \u00e0 des id\u00e9es et des concepts compr\u00e9hensibles par l&rsquo;homme. Nous pouvons \u00e9galement <a href=\"https:\/\/www.anthropic.com\/news\/golden-gate-claude\">activer de mani\u00e8re s\u00e9lective certaines caract\u00e9ristiques<\/a> afin de modifier les comportements. Plus r\u00e9cemment, nous sommes all\u00e9s au-del\u00e0 des caract\u00e9ristiques individuelles pour <a href=\"https:\/\/transformer-circuits.pub\/2025\/attribution-graphs\/biology.html\">cartographier les \u00ab circuits \u00bb qui orchestrent des comportements<\/a> complexes tels que la rime, le raisonnement sur la th\u00e9orie de l&rsquo;esprit ou le raisonnement \u00e9tape par \u00e9tape n\u00e9cessaire pour r\u00e9pondre \u00e0 des questions telles que \u00ab Quelle est la capitale de l&rsquo;\u00c9tat o\u00f9 se trouve Dallas ? \u00bb. Plus r\u00e9cemment encore, nous avons commenc\u00e9 \u00e0 utiliser des techniques d&rsquo;interpr\u00e9tabilit\u00e9 m\u00e9caniste pour <a href=\"https:\/\/www.anthropic.com\/research\/next-generation-constitutional-classifiers\">am\u00e9liorer nos mesures de protection<\/a> et effectuer des \u00ab <a href=\"https:\/\/www.anthropic.com\/research\/auditing-hidden-objectives\">audits<\/a> \u00bb des nouveaux mod\u00e8les avant leur lancement, \u00e0 la recherche de preuves de tromperie, de manigances, de de recherche de pouvoir ou de propension \u00e0 se comporter diff\u00e9remment lorsqu&rsquo;il est \u00e9valu\u00e9.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">La valeur unique de l&rsquo;interpr\u00e9tabilit\u00e9 r\u00e9side dans le fait qu&rsquo;en examinant l&rsquo;int\u00e9rieur du mod\u00e8le et en observant son fonctionnement, vous avez en principe la possibilit\u00e9 de d\u00e9duire ce qu&rsquo;un mod\u00e8le pourrait faire dans une situation hypoth\u00e9tique que vous ne pouvez pas tester directement, ce qui est pr\u00e9occupant lorsque l&rsquo;on se fie uniquement \u00e0 un entra\u00eenement constitutionnel et \u00e0 des tests empiriques du comportement. En principe, vous avez \u00e9galement la possibilit\u00e9 de r\u00e9pondre \u00e0 des questions sur les <em>raisons pour lesquelles <\/em>le mod\u00e8le se comporte ainsi, par exemple s&rsquo;il dit quelque chose qu&rsquo;il croit \u00eatre faux ou s&rsquo;il cache ses v\u00e9ritables capacit\u00e9s, et il est donc possible de d\u00e9tecter des signes inqui\u00e9tants m\u00eame lorsque le comportement du mod\u00e8le ne pr\u00e9sente aucun probl\u00e8me visible. Pour faire une analogie simple, une montre \u00e0 remontage m\u00e9canique peut fonctionner normalement, de sorte qu&rsquo;il est tr\u00e8s difficile de savoir qu&rsquo;elle risque de tomber en panne le mois prochain, mais en ouvrant la montre et en regardant \u00e0 l&rsquo;int\u00e9rieur, on peut d\u00e9couvrir des faiblesses m\u00e9caniques qui permettent de le deviner.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">L&rsquo;IA constitutionnelle (ainsi que les m\u00e9thodes d&rsquo;alignement similaires) et l&rsquo;interpr\u00e9tabilit\u00e9 m\u00e9caniste sont plus efficaces lorsqu&rsquo;elles sont utilis\u00e9es conjointement, dans le cadre d&rsquo;un processus it\u00e9ratif consistant \u00e0 am\u00e9liorer la formation de Claude, puis \u00e0 tester les probl\u00e8mes. La constitution refl\u00e8te profond\u00e9ment la personnalit\u00e9 que nous voulons donner \u00e0 Claude ; les techniques d&rsquo;interpr\u00e9tabilit\u00e9 peuvent nous donner un aper\u00e7u de la mani\u00e8re dont cette personnalit\u00e9 s&rsquo;est impos\u00e9e.<sup id=\"mfn-content-00000000000008570000000000000000_9492-16\" class=\"modern-footnotes-footnote modern-footnotes-footnote--hover-on-desktop \" data-mfn=\"16\" data-mfn-post-scope=\"00000000000008570000000000000000_9492\"><a href=\"javascript:void(0)\"  role=\"button\" aria-pressed=\"false\" aria-describedby=\"mfn-content-00000000000008570000000000000000_9492-16\">16<\/a><\/sup><span role=\"tooltip\" class=\"modern-footnotes-footnote__note\" tabindex=\"0\" data-mfn=\"16\">Il existe existe m\u00eame une hypoth\u00e8se selon laquelle un principe unificateur profond relierait l\u2019approche bas\u00e9e sur les personnages de l\u2019IA constitutionnelle aux r\u00e9sultats de la science de l\u2019interpr\u00e9tabilit\u00e9 et de l\u2019alignement. Selon cette hypoth\u00e8se, les m\u00e9canismes fondamentaux qui animent Claude ont initialement \u00e9t\u00e9 con\u00e7us comme des moyens de simuler des personnages lors du pr\u00e9-entra\u00eenement, par exemple en pr\u00e9disant ce que diraient les personnages d\u2019un roman. Cela sugg\u00e8re qu\u2019une fa\u00e7on utile d\u2019envisager la constitution serait plut\u00f4t comme une description de personnage que le mod\u00e8le utilise pour instancier une personnalit\u00e9 coh\u00e9rente. Cela nous aiderait \u00e9galement \u00e0 expliquer les r\u00e9sultats \u00ab\u00a0<a href=\"https:\/\/www.anthropic.com\/research\/emergent-misalignment-reward-hacking\">I doit \u00eatre une mauvaise personne<\/a>\u00a0\u00bb que j\u2019ai mentionn\u00e9s plus haut (car le mod\u00e8le essaie d\u2019<em>agir comme s\u2019il<\/em>\u00a0s\u2019agissait d\u2019un personnage coh\u00e9rent, en l\u2019occurrence un mauvais personnage), et sugg\u00e9rerait que les m\u00e9thodes d\u2019interpr\u00e9tabilit\u00e9 devraient permettre de d\u00e9couvrir des \u00ab traits psychologiques \u00bb au sein des mod\u00e8les. Nos chercheurs travaillent actuellement \u00e0 des moyens de tester cette hypoth\u00e8se.<\/span><\/p>\n\n\n\n<p class=\"wp-block-paragraph\">La troisi\u00e8me chose que nous pouvons faire pour aider \u00e0 traiter les risques li\u00e9s \u00e0 l&rsquo;autonomie est de mettre en place l&rsquo;infrastructure n\u00e9cessaire pour surveiller nos mod\u00e8les en situation r\u00e9elle d&rsquo;utilisation interne et externe,<sup id=\"mfn-content-00000000000008570000000000000000_9492-17\" class=\"modern-footnotes-footnote modern-footnotes-footnote--hover-on-desktop \" data-mfn=\"17\" data-mfn-post-scope=\"00000000000008570000000000000000_9492\"><a href=\"javascript:void(0)\"  role=\"button\" aria-pressed=\"false\" aria-describedby=\"mfn-content-00000000000008570000000000000000_9492-17\">17<\/a><\/sup><span role=\"tooltip\" class=\"modern-footnotes-footnote__note\" tabindex=\"0\" data-mfn=\"17\">Pour \u00eatre clair, la surveillance est effectu\u00e9e dans le respect de la vie priv\u00e9e.<\/span>et de partager publiquement les probl\u00e8mes que nous rencontrons. Plus les gens sont conscients d&rsquo;un comportement particulier observ\u00e9 dans les syst\u00e8mes d&rsquo;IA actuels, plus les utilisateurs, les analystes et chercheurs peuvent surveiller ce comportement ou des comportements similaires dans les syst\u00e8mes actuels ou futurs. Cela permet \u00e9galement aux entreprises d&rsquo;IA d&rsquo;apprendre les unes des autres : lorsqu&rsquo;une entreprise divulgue publiquement ses pr\u00e9occupations, les autres entreprises peuvent <a href=\"https:\/\/www.frontiermodelforum.org\/\">les surveiller \u00e9galement<\/a>. Et si tout le monde divulgue les probl\u00e8mes, l&rsquo;industrie dans son ensemble obtient une bien meilleure image de ce qui fonctionne bien et de ce qui fonctionne mal.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Anthropic s&rsquo;est efforc\u00e9 de le faire autant que possible. Nous investissons dans un large \u00e9ventail d&rsquo;\u00e9valuations afin de comprendre les comportements de nos mod\u00e8les en laboratoire, ainsi que dans des outils de surveillance permettant d&rsquo;observer les comportements en situation r\u00e9elle (lorsque les clients l&rsquo;autorisent). Cela sera essentiel pour nous fournir, ainsi qu&rsquo;\u00e0 d&rsquo;autres, les informations empiriques n\u00e9cessaires pour mieux d\u00e9terminer comment ces syst\u00e8mes fonctionnent et comment ils tombent en panne. Nous divulguons publiquement \u00ab <a href=\"https:\/\/www.anthropic.com\/system-cards\">fiches syst\u00e8me<\/a> \u00bb avec chaque version de mod\u00e8le, qui visent \u00e0 \u00eatre exhaustives et \u00e0 explorer de mani\u00e8re approfondie les risques potentiels. Nos fiches syst\u00e8me comptent souvent des centaines de pages et n\u00e9cessitent un travail consid\u00e9rable avant leur publication, que nous aurions pu consacrer \u00e0 la recherche d&rsquo;un avantage commercial maximal. Nous avons \u00e9galement diffus\u00e9 plus largement les comportements des mod\u00e8les lorsque nous en avons observ\u00e9 de particuli\u00e8rement pr\u00e9occupants, comme la <a href=\"https:\/\/www.axios.com\/2025\/05\/23\/anthropic-ai-deception-risk\">tendance \u00e0 se livrer au chantage<\/a>.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">La quatri\u00e8me chose que nous pouvons faire est d&rsquo;encourager la coordination pour traiter les risques li\u00e9s \u00e0 l&rsquo;autonomie au niveau de l&rsquo;industrie et de la soci\u00e9t\u00e9. S&rsquo;il est extr\u00eamement pr\u00e9cieux que les entreprises d&rsquo;IA individuelles adoptent de bonnes pratiques ou deviennent comp\u00e9tentes dans la gestion des mod\u00e8les d&rsquo;IA, et qu&rsquo;elles partagent leurs conclusions publiquement, la r\u00e9alit\u00e9 est que toutes les entreprises d&rsquo;IA ne le font pas, et que les pires d&rsquo;entre elles peuvent toujours repr\u00e9senter un danger pour tout le monde, m\u00eame si les meilleures ont d&rsquo;excellentes pratiques. Par exemple, certaines entreprises d&rsquo;IA ont fait preuve d&rsquo;une n\u00e9gligence inqui\u00e9tante \u00e0 l&rsquo;\u00e9gard de la sexualisation des enfants dans les mod\u00e8les actuels, ce qui me fait douter qu&rsquo;elles aient la volont\u00e9 ou la capacit\u00e9 de traiter les risques li\u00e9s \u00e0 l&rsquo;autonomie dans les futurs mod\u00e8les. En outre, la course commerciale entre les entreprises d&rsquo;IA ne fera que s&rsquo;intensifier, et si la science de la gestion des mod\u00e8les peut pr\u00e9senter certains avantages commerciaux, l&rsquo;intensit\u00e9 de la course rendra globalement de plus en plus difficile de se concentrer sur la gestion des risques li\u00e9s \u00e0 l&rsquo;autonomie. Je pense que la seule solution est la l\u00e9gislation, c&rsquo;est-\u00e0-dire des lois qui affectent directement le comportement des entreprises d&rsquo;IA, ou qui incitent la R&amp;D \u00e0 r\u00e9soudre ces probl\u00e8mes.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Il convient ici de garder \u00e0 l&rsquo;esprit les avertissements que j&rsquo;ai donn\u00e9s au d\u00e9but de cet essai concernant l&rsquo;incertitude et les interventions chirurgicales. Nous ne savons pas avec certitude si les risques li\u00e9s \u00e0 l&rsquo;autonomie constitueront un probl\u00e8me grave. Comme je l&rsquo;ai dit, je rejette les affirmations selon lesquelles le danger est in\u00e9vitable ou m\u00eame que quelque chose va mal tourner par d\u00e9faut. Un risquecr\u00e9dible de danger est suffisant pour moi et pour Anthropic pour payer des co\u00fbts assez importants pour y rem\u00e9dier, mais une fois que nous entrons dans la r\u00e9glementation, nous for\u00e7ons un large \u00e9ventail d&rsquo;acteurs \u00e0 supporter des co\u00fbts \u00e9conomiques, et beaucoup d&rsquo;entre eux ne croient pas que le risque li\u00e9 \u00e0 l&rsquo;autonomie soit r\u00e9el ou que l&rsquo;IA devienne suffisamment puissante pour constituer une menace. Je pense que ces acteurs se trompent, mais nous devons \u00eatre pragmatiques quant \u00e0 l&rsquo;ampleur de l&rsquo;opposition \u00e0 laquelle nous pouvons nous attendre et aux dangers d&rsquo;une intervention excessive. Il existe \u00e9galement un risque r\u00e9el qu&rsquo;une l\u00e9gislation trop prescriptive finisse par imposer des tests ou des r\u00e8gles qui n&rsquo;am\u00e9liorent pas r\u00e9ellement la s\u00e9curit\u00e9, mais qui font perdre beaucoup de temps (ce qui revient essentiellement \u00e0 un \u00ab th\u00e9\u00e2tre de la s\u00e9curit\u00e9 \u00bb) \u2014 ce qui provoquerait \u00e9galement un retour de b\u00e2ton et ridiculiserait la l\u00e9gislation en mati\u00e8re de s\u00e9curit\u00e9.<sup id=\"mfn-content-00000000000008570000000000000000_9492-18\" class=\"modern-footnotes-footnote modern-footnotes-footnote--hover-on-desktop \" data-mfn=\"18\" data-mfn-post-scope=\"00000000000008570000000000000000_9492\"><a href=\"javascript:void(0)\"  role=\"button\" aria-pressed=\"false\" aria-describedby=\"mfn-content-00000000000008570000000000000000_9492-18\">18<\/a><\/sup><span role=\"tooltip\" class=\"modern-footnotes-footnote__note\" tabindex=\"0\" data-mfn=\"18\">M\u00eame dans nos propres exp\u00e9riences avec ce qui sont essentiellement des r\u00e8gles impos\u00e9es volontairement dans le cadre de notre\u00a0<a href=\"https:\/\/www.anthropic.com\/news\/announcing-our-updated-responsible-scaling-policy\">Responsible Scaling Policy<\/a>, nous avons constat\u00e9 \u00e0 maintes reprises qu\u2019il est tr\u00e8s facile de finir par \u00eatre trop rigide, en tra\u00e7ant des lignes qui semblent importantes a priori, mais qui s\u2019av\u00e8rent ridicules r\u00e9trospectivement. Il est tr\u00e8s facile de fixer des r\u00e8gles sur les mauvaises choses lorsque la technologie progresse rapidement<\/span><\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Anthropic estime que le bon point de d\u00e9part est une <em>l\u00e9gislation sur la transparence, <\/em>qui vise essentiellement \u00e0 exiger que toutes les entreprises pionni\u00e8res dans le domaine de l&rsquo;IA s&rsquo;engagent \u00e0 respecter les pratiques de transparence que j&rsquo;ai d\u00e9crites plus haut dans cette section. <a href=\"https:\/\/leginfo.legislature.ca.gov\/faces\/billTextClient.xhtml?bill_id=202520260SB53\">La loi SB 53<\/a> de Californie et <a href=\"https:\/\/www.nysenate.gov\/legislation\/bills\/2025\/A6453\/amendment\/A\">la loi RAISE<\/a> de New York sont des exemples de ce type de l\u00e9gislation, qu&rsquo;Anthropic a soutenues et qui ont \u00e9t\u00e9 adopt\u00e9es avec succ\u00e8s. En soutenant et en aidant \u00e0 l&rsquo;\u00e9laboration de ces lois, nous avons mis un accent particulier sur la minimisation des dommages collat\u00e9raux, par exemple en exemptant de la loi les petites entreprises peu susceptibles de produire des mod\u00e8les de pointe.<sup id=\"mfn-content-00000000000008570000000000000000_9492-19\" class=\"modern-footnotes-footnote modern-footnotes-footnote--hover-on-desktop \" data-mfn=\"19\" data-mfn-post-scope=\"00000000000008570000000000000000_9492\"><a href=\"javascript:void(0)\"  role=\"button\" aria-pressed=\"false\" aria-describedby=\"mfn-content-00000000000008570000000000000000_9492-19\">19<\/a><\/sup><span role=\"tooltip\" class=\"modern-footnotes-footnote__note\" tabindex=\"0\" data-mfn=\"19\">Les lois SB 53 et RAISE ne s\u2019appliquent pas du tout aux entreprises dont le chiffre d\u2019affaires annuel est inf\u00e9rieur \u00e0 500 millions de dollars. Elles ne s\u2019appliquent qu\u2019aux entreprises plus grandes et mieux \u00e9tablies, comme Anthropic.<\/span><\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Nous esp\u00e9rons que la l\u00e9gislation sur la transparence permettra, au fil du temps, de mieux comprendre la probabilit\u00e9 et la gravit\u00e9 des risques li\u00e9s \u00e0 l&rsquo;autonomie, ainsi que la nature de ces risques et la meilleure fa\u00e7on de les pr\u00e9venir. \u00c0 mesure que des preuves plus sp\u00e9cifiques et exploitables des risques appara\u00eetront (si tel est le cas), la l\u00e9gislation future au cours des prochaines ann\u00e9es pourra se concentrer de mani\u00e8re chirurgicale sur l&rsquo;orientation pr\u00e9cise et bien \u00e9tay\u00e9e des risques, minimisant ainsi les dommages collat\u00e9raux. Pour \u00eatre clair, si des preuves vraiment solides de l&rsquo;existence de risques apparaissent, les r\u00e8gles devraient \u00eatre proportionnellement strictes.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Dans l&rsquo;ensemble, je suis optimiste quant au fait qu&rsquo;une combinaison de formation \u00e0 l&rsquo;alignement, d&rsquo;interpr\u00e9tabilit\u00e9 m\u00e9caniste, d&rsquo;efforts pour trouver et divulguer publiquement les comportements pr\u00e9occupants, de mesures de protection et de r\u00e8gles au niveau soci\u00e9tal puisse permettre de traiter les risques li\u00e9s \u00e0 l&rsquo;autonomie de l&rsquo;IA, m\u00eame si je suis tr\u00e8s inquiet au sujet des r\u00e8gles au niveau soci\u00e9tal et du comportement des acteurs les moins responsables (et ce les acteurs les moins responsables qui s&rsquo;opposent le plus fermement \u00e0 la r\u00e9glementation). Je pense que le rem\u00e8de est le m\u00eame que dans toute d\u00e9mocratie : ceux d&rsquo;entre nous qui croient en cette cause doivent faire valoir que ces risques sont r\u00e9els et que nos concitoyens doivent s&rsquo;unir pour se prot\u00e9ger.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\"><strong>2. Une autonomisation surprenante et terrible<\/strong><\/h2>\n\n\n\n<h3 class=\"wp-block-heading\"><strong><em>Utilisation abusive \u00e0 des fins destructrices<\/em><\/strong><\/h3>\n\n\n\n<p class=\"wp-block-paragraph\">Supposons que les probl\u00e8mes li\u00e9s \u00e0 l&rsquo;autonomie de l&rsquo;IA aient \u00e9t\u00e9 r\u00e9solus : nous ne craignons plus que le pays des g\u00e9nies de l&rsquo;IA se rebelle et domine l&rsquo;humanit\u00e9. Les g\u00e9nies de l&rsquo;IA font ce que les humains veulent qu&rsquo;ils fassent, et comme ils ont une valeur commerciale \u00e9norme, les particuliers et les organisations du monde entier peuvent \u00ab louer \u00bb un ou plusieurs g\u00e9nies de l&rsquo;IA pour effectuer diverses t\u00e2ches \u00e0 leur place.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Le fait que tout le monde ait un g\u00e9nie superintelligent \u00e0 sa disposition est une avanc\u00e9e extraordinaire qui conduira \u00e0 une incroyable cr\u00e9ation de valeur \u00e9conomique et \u00e0 une am\u00e9lioration de la qualit\u00e9 de vie humaine. Je parle de ces avantages en d\u00e9tail dans <em>Machines of Loving Grace<\/em>. Mais tous les effets de la superhumanisation ne seront pas positifs. Elle peut potentiellement amplifier la capacit\u00e9 des individus ou des petits groupes \u00e0 causer des destructions \u00e0 une \u00e9chelle beaucoup plus grande qu&rsquo;auparavant, en utilisant des outils sophistiqu\u00e9s et dangereux (tels que les armes de destruction massive) qui n&rsquo;\u00e9taient auparavant accessibles qu&rsquo;\u00e0 quelques privil\u00e9gi\u00e9s poss\u00e9dant un haut niveau de comp\u00e9tence, une formation sp\u00e9cialis\u00e9e et une grande concentration.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Comme l&rsquo;\u00e9crivait Bill Joy il y a 25 ans dans <a href=\"https:\/\/sites.cc.gatech.edu\/computing\/nano\/documents\/Joy%20-%20Why%20the%20Future%20Doesn%27t%20Need%20Us.pdf\"><em>Why the Future Doesn&rsquo;t Need Us<\/em><\/a> :<sup id=\"mfn-content-00000000000008570000000000000000_9492-20\" class=\"modern-footnotes-footnote modern-footnotes-footnote--hover-on-desktop \" data-mfn=\"20\" data-mfn-post-scope=\"00000000000008570000000000000000_9492\"><a href=\"javascript:void(0)\"  role=\"button\" aria-pressed=\"false\" aria-describedby=\"mfn-content-00000000000008570000000000000000_9492-20\">20<\/a><\/sup><span role=\"tooltip\" class=\"modern-footnotes-footnote__note\" tabindex=\"0\" data-mfn=\"20\">J\u2019ai lu l\u2019essai de Joy pour la premi\u00e8re fois il y a 25 ans, lorsqu\u2019il a \u00e9t\u00e9 \u00e9crit, et il m\u2019a profond\u00e9ment marqu\u00e9. Aujourd\u2019hui comme hier, je le trouve trop pessimiste : je ne pense pas que l\u2019abandon g\u00e9n\u00e9ral de certains domaines technologiques, comme le sugg\u00e8re Joy, soit la solution, mais les questions qu\u2019il soul\u00e8ve \u00e9taient \u00e9tonnamment pr\u00e9monitoires, et Joy \u00e9crit \u00e9galement avec une profonde compassion et une humanit\u00e9 que j\u2019admire.<\/span><\/p>\n\n\n\n<blockquote class=\"wp-block-quote is-layout-flow wp-block-quote-is-layout-flow\">\n<p class=\"wp-block-paragraph\"><em>La fabrication d&rsquo;armes nucl\u00e9aires n\u00e9cessitait, du moins pendant un certain temps, l&rsquo;acc\u00e8s \u00e0 des mati\u00e8res premi\u00e8res rares, voire introuvables, et \u00e0 des informations prot\u00e9g\u00e9es ; les programmes d&rsquo;armes biologiques et chimiques n\u00e9cessitaient \u00e9galement des activit\u00e9s \u00e0 grande \u00e9chelle.<\/em><\/p>\n<\/blockquote>\n\n\n\n<blockquote class=\"wp-block-quote is-layout-flow wp-block-quote-is-layout-flow\">\n<p class=\"wp-block-paragraph\"><em>Les technologies du XXIe si\u00e8cle \u2013 g\u00e9n\u00e9tique, nanotechnologie et robotique&#8230; peuvent donner lieu \u00e0 des accidents et des abus d&rsquo;un tout autre ordre&#8230; largement \u00e0 la port\u00e9e d&rsquo;individus ou de petits groupes. Elles ne n\u00e9cessiteront pas de grandes installations ni de mati\u00e8res premi\u00e8res rares. &#8230; nous sommes \u00e0 l&rsquo;aube d&rsquo;une nouvelle perfection du mal extr\u00eame, un mal dont la possibilit\u00e9 s&rsquo;\u00e9tend bien au-del\u00e0 de ce que les armes de destruction massive ont l\u00e9gu\u00e9 aux \u00c9tats , pour donner un pouvoir surprenant et terrible \u00e0 des individus extr\u00eames.<\/em><\/p>\n<\/blockquote>\n\n\n\n<p class=\"wp-block-paragraph\">Ce que Joy souligne, c&rsquo;est l&rsquo;id\u00e9e que pour causer des destructions \u00e0 grande \u00e9chelle, il faut \u00e0 la fois un <em>motif <\/em>et une <em>capacit\u00e9<\/em>, et tant que cette capacit\u00e9 est limit\u00e9e \u00e0 un petit groupe de personnes hautement qualifi\u00e9es, le risque que des individus isol\u00e9s (ou de petits groupes) causent de telles destructions est relativement limit\u00e9.<sup id=\"mfn-content-00000000000008570000000000000000_9492-21\" class=\"modern-footnotes-footnote modern-footnotes-footnote--hover-on-desktop \" data-mfn=\"21\" data-mfn-post-scope=\"00000000000008570000000000000000_9492\"><a href=\"javascript:void(0)\"  role=\"button\" aria-pressed=\"false\" aria-describedby=\"mfn-content-00000000000008570000000000000000_9492-21\">21<\/a><\/sup><span role=\"tooltip\" class=\"modern-footnotes-footnote__note\" tabindex=\"0\" data-mfn=\"21\">Nous devons nous pr\u00e9occuper des acteurs \u00e9tatiques, aujourd\u2019hui et \u00e0 l\u2019avenir, et j\u2019aborde ce sujet dans la section suivante<\/span><\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Un solitaire perturb\u00e9 peut commettre une fusillade dans une \u00e9cole, mais il ne peut probablement pas construire une arme nucl\u00e9aire ou d\u00e9clencher une \u00e9pid\u00e9mie.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">En fait, la capacit\u00e9 et le motif peuvent m\u00eame \u00eatre <em>n\u00e9gativement<\/em> corr\u00e9l\u00e9s. Le type de personne qui a la <em>capacit\u00e9 de <\/em>propager une \u00e9pid\u00e9mie est probablement tr\u00e8s instruite : elle est susceptible d&rsquo;avoir un doctorat en biologie mol\u00e9culaire, d&rsquo;\u00eatre particuli\u00e8rement ing\u00e9nieuse, d&rsquo;avoir une carri\u00e8re prometteuse, une personnalit\u00e9 stable et disciplin\u00e9e, et beaucoup \u00e0 perdre. Ce type de personne est peu susceptible d&rsquo;\u00eatre int\u00e9ress\u00e9 par le fait de tuer un grand nombre de personnes sans aucun b\u00e9n\u00e9fice pour elle-m\u00eame et au risque de compromettre son propre avenir ; il faudrait qu&rsquo;elle soit motiv\u00e9e par une pure malveillance, un grief intense ou une instabilit\u00e9.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">De telles personnes existent, mais elles sont rares et ont tendance \u00e0 faire la une des journaux lorsqu&rsquo;elles apparaissent, pr\u00e9cis\u00e9ment parce qu&rsquo;elles sont si inhabituelles.<sup id=\"mfn-content-00000000000008570000000000000000_9492-22\" class=\"modern-footnotes-footnote modern-footnotes-footnote--hover-on-desktop \" data-mfn=\"22\" data-mfn-post-scope=\"00000000000008570000000000000000_9492\"><a href=\"javascript:void(0)\"  role=\"button\" aria-pressed=\"false\" aria-describedby=\"mfn-content-00000000000008570000000000000000_9492-22\">22<\/a><\/sup><span role=\"tooltip\" class=\"modern-footnotes-footnote__note\" tabindex=\"0\" data-mfn=\"22\">Il existe\u00a0<a href=\"https:\/\/www.nber.org\/digest\/sep02\/poverty-and-low-education-dont-cause-terrorism\">des preuves<\/a>\u00a0que\u00a0<a href=\"https:\/\/www.sas.rochester.edu\/psc\/clarke\/214\/Krueger03.pdf\">de nombreux<\/a>\u00a0terroristes sont au moins relativement bien \u00e9duqu\u00e9s, ce qui peut sembler contredire mon argumentation sur la corr\u00e9lation n\u00e9gative entre capacit\u00e9 et motivation. Mais je pense qu\u2019en r\u00e9alit\u00e9, ces observations sont compatibles : si le seuil de capacit\u00e9 pour r\u00e9ussir une attaque est \u00e9lev\u00e9, alors, presque par d\u00e9finition, ceux qui r\u00e9ussissent\u00a0<em>actuellement\u00a0<\/em>doivent avoir une capacit\u00e9 \u00e9lev\u00e9e, m\u00eame si la capacit\u00e9 et la motivation sont n\u00e9gativement corr\u00e9l\u00e9es. Mais dans un monde o\u00f9 les limites de capacit\u00e9 seraient supprim\u00e9es (par exemple, avec les futurs LLM), je pr\u00e9dirais qu\u2019une partie importante de la population ayant la motivation de tuer mais des capacit\u00e9s moindres commencerait \u00e0 le faire, comme c\u2019est le cas pour les crimes qui ne n\u00e9cessitent pas beaucoup de capacit\u00e9s (comme les fusillades dans les \u00e9coles).<\/span><\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Elles sont \u00e9galement difficiles \u00e0 attraper car elles sont intelligentes et comp\u00e9tentes, laissant parfois derri\u00e8re elles des myst\u00e8res qui prennent des ann\u00e9es, voire des d\u00e9cennies, \u00e0 r\u00e9soudre. L&rsquo;exemple le plus c\u00e9l\u00e8bre est probablement celui du math\u00e9maticien <a href=\"https:\/\/en.wikipedia.org\/wiki\/Ted_Kaczynski\">Theodore Kaczynski<\/a> (Unabomber), qui a \u00e9chapp\u00e9 au FBI pendant pr\u00e8s de 20 ans et \u00e9tait anim\u00e9 par une id\u00e9ologie anti id\u00e9ologie anti-technologique. Un autre exemple est celui du chercheur en biod\u00e9fense <a href=\"https:\/\/en.wikipedia.org\/wiki\/Bruce_Edwards_Ivins\">Bruce Ivins<\/a>, qui semble avoir orchestr\u00e9 une s\u00e9rie d&rsquo;attaques \u00e0 l&rsquo;anthrax en 2001. Cela s&rsquo;est \u00e9galement produit avec des organisations non \u00e9tatiques comp\u00e9tentes : la secte Aum Shinrikyo a r\u00e9ussi \u00e0 se procurer du gaz sarin et \u00e0 tuer 14 personnes (et en blessant des centaines d&rsquo;autres) en le <a href=\"https:\/\/en.wikipedia.org\/wiki\/Tokyo_subway_sarin_attack\">lib\u00e9rant dans le m\u00e9tro de Tokyo<\/a> en 1995.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Heureusement, aucune de ces attaques n&rsquo;a utilis\u00e9 d&rsquo;agents biologiques contagieux, car la capacit\u00e9 de fabriquer ou d&rsquo;obtenir ces agents d\u00e9passait les capacit\u00e9s m\u00eame de ces personnes.<sup id=\"mfn-content-00000000000008570000000000000000_9492-23\" class=\"modern-footnotes-footnote modern-footnotes-footnote--hover-on-desktop \" data-mfn=\"23\" data-mfn-post-scope=\"00000000000008570000000000000000_9492\"><a href=\"javascript:void(0)\"  role=\"button\" aria-pressed=\"false\" aria-describedby=\"mfn-content-00000000000008570000000000000000_9492-23\">23<\/a><\/sup><span role=\"tooltip\" class=\"modern-footnotes-footnote__note\" tabindex=\"0\" data-mfn=\"23\">Aum Shinrikyo a toutefois essay\u00e9. Le chef d\u2019Aum Shinrikyo, Seiichi Endo, avait suivi une formation en virologie \u00e0 l\u2019universit\u00e9 de Kyoto\u00a0<a href=\"https:\/\/www.cnas.org\/publications\/reports\/aum-shinrikyo-second-edition-english\">et avait tent\u00e9 de produire \u00e0 la fois de l\u2019anthrax et du virus Ebola<\/a>. Cependant, en 1995, m\u00eame lui ne disposait pas de l\u2019expertise et des ressources suffisantes pour y parvenir. La barre est d\u00e9sormais nettement plus basse, et les LLM pourraient la faire baisser encore davantage.<\/span><\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Les progr\u00e8s de la biologie mol\u00e9culaire ont d\u00e9sormais consid\u00e9rablement r\u00e9duit les obstacles \u00e0 la cr\u00e9ation d&rsquo;armes biologiques (en particulier en termes de disponibilit\u00e9 des mat\u00e9riaux), mais cela n\u00e9cessite encore une expertise consid\u00e9rable. Je crains que n&rsquo;importe quel g\u00e9nie puisse supprimer cet obstacle, transformant ainsi tout le monde en docteur en virologie capable de concevoir, synth\u00e9tiser et diss\u00e9quer une arme biologique \u00e9tape par \u00e9tape. Emp\u00eacher l&rsquo;obtention de ce type d&rsquo;informations face \u00e0 une pression hostile importante (ce que l&rsquo;on appelle les \u00ab jailbreaks \u00bb) n\u00e9cessite probablement des niveaux de d\u00e9fense sup\u00e9rieurs \u00e0 ceux habituellement int\u00e9gr\u00e9s \u00e0 la formation.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Il est essentiel de cela rompra la corr\u00e9lation entre capacit\u00e9 et motivation : le solitaire perturb\u00e9 qui veut tuer des gens mais qui n&rsquo;a pas la discipline ou les comp\u00e9tences pour le faire sera d\u00e9sormais \u00e9lev\u00e9 au niveau de comp\u00e9tence du docteur en virologie, qui n&rsquo;est pas susceptible d&rsquo;avoir cette motivation. Cette pr\u00e9occupation s&rsquo;\u00e9tend au-del\u00e0 de la biologie (m\u00eame si je pense que la biologie est le domaine le plus effrayant) \u00e0 tout domaine o\u00f9 une destruction massive est possible, mais qui n\u00e9cessite actuellement un niveau \u00e9lev\u00e9 de comp\u00e9tences et de discipline. En d&rsquo;autres termes, louer une IA puissante donne de l&rsquo;intelligence \u00e0 des personnes malveillantes (mais par ailleurs ordinaires). Je crains qu&rsquo;il y ait potentiellement un grand nombre de personnes de ce type et que, si elles ont acc\u00e8s \u00e0 un moyen facile de tuer des millions de personnes, t\u00f4t ou tard, l&rsquo;une d&rsquo;entre elles le fasse. De plus, ceux qui <em>disposent d&rsquo;<\/em>une expertise pourraient \u00eatre en mesure de commettre des destructions \u00e0 encore plus grande que ce qu&rsquo;elles pouvaient faire auparavant.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">La biologie est de loin le domaine qui m&rsquo;inqui\u00e8te le plus, en raison de son tr\u00e8s grand potentiel de destruction et de la difficult\u00e9 \u00e0 s&rsquo;en d\u00e9fendre, je vais donc me concentrer en particulier sur la biologie. Mais une grande partie de ce que je dis ici s&rsquo;applique \u00e0 d&rsquo;autres risques, comme les cyberattaques, les armes chimiques ou la technologie nucl\u00e9aire.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Je ne vais pas entrer dans les d\u00e9tails sur la fabrication d&rsquo;armes biologiques, pour des raisons qui devraient \u00eatre \u00e9videntes. Mais d&rsquo;une mani\u00e8re g\u00e9n\u00e9rale, je crains que les LLM ne soient en passe d&rsquo;acqu\u00e9rir (ou aient d\u00e9j\u00e0 acquis) les connaissances n\u00e9cessaires pour les cr\u00e9er et les diffuser de bout en bout, et que leur potentiel de destruction soit tr\u00e8s \u00e9lev\u00e9. Certains agents biologiques pourraient causer des millions de morts si l&rsquo;on s&rsquo;effor\u00e7ait d\u00e9lib\u00e9r\u00e9ment de les diffuser pour une propagation maximale. Cependant, cela n\u00e9cessiterait tout de m\u00eame un niveau de comp\u00e9tence tr\u00e8s \u00e9lev\u00e9, y compris un certain nombre d&rsquo;\u00e9tapes et de proc\u00e9dures tr\u00e8s sp\u00e9cifiques qui ne sont pas largement connues. Ma pr\u00e9occupation ne concerne pas seulement les connaissances fixes ou statiques. Je crains que les LLM soient capables de prendre une personne ayant des connaissances et des capacit\u00e9s moyennes et de la guider \u00e0 travers un processus complexe qui, autrement, pourrait mal tourner ou n\u00e9cessiter un d\u00e9bogage de mani\u00e8re interactive, de la m\u00eame mani\u00e8re que le support technique pourrait aider une personne non technophile \u00e0 d\u00e9boguer et \u00e0 r\u00e9soudre des probl\u00e8mes informatiques complexes (bien que ce processus soit plus long, pouvant durer plusieurs semaines ou plusieurs mois).<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Des LLM plus performants (bien au-del\u00e0 des capacit\u00e9s actuelles) pourraient permettre des actes encore plus effrayants. En 2024, un groupe d&rsquo;\u00e9minents scientifiques <a href=\"https:\/\/www.science.org\/doi\/10.1126\/science.ads9158\">a r\u00e9dig\u00e9 une lettre<\/a> mettant en garde contre les risques li\u00e9s \u00e0 la recherche et \u00e0 la cr\u00e9ation potentielle d&rsquo;un nouveau type d&rsquo;organisme dangereux : la \u00ab vie miroir \u00bb. L&rsquo;ADN, l&rsquo;ARN, les ribosomes et les prot\u00e9ines qui composent les organismes biologiques ont tous la m\u00eame chiralit\u00e9 (\u00e9galement appel\u00e9e \u00ab lat\u00e9ralit\u00e9 \u00bb), ce qui les rend non \u00e9quivalents \u00e0 une version d&rsquo;eux-m\u00eames refl\u00e9t\u00e9e dans un miroir (tout comme votre main droite ne peut pas \u00eatre tourn\u00e9e de mani\u00e8re \u00e0 \u00eatre identique \u00e0 votre main gauche). Mais tout le syst\u00e8me de liaison des prot\u00e9ines entre elles, le m\u00e9canisme de synth\u00e8se de l&rsquo;ADN et de traduction de l&rsquo;ARN, ainsi que la construction et la d\u00e9gradation des prot\u00e9ines, d\u00e9pendent tous de cette chiralit\u00e9. Si les scientifiques cr\u00e9aient des versions de ce mat\u00e9riel biologique avec une chiralit\u00e9 oppos\u00e9e (ce qui pr\u00e9sente certains avantages potentiels, comme des m\u00e9dicaments qui durent plus longtemps dans l&rsquo;organisme), cela pourrait \u00eatre extr\u00eamement dangereux. En effet, la vie , si elle \u00e9tait cr\u00e9\u00e9e sous la forme d&rsquo;organismes complets capables de se reproduire (ce qui serait tr\u00e8s difficile), serait potentiellement indigeste pour tous les syst\u00e8mes qui d\u00e9composent les mati\u00e8res biologiques sur Terre : elle aurait une \u00ab cl\u00e9 \u00bb qui ne correspondrait \u00e0 aucune \u00ab serrure \u00bb d&rsquo;enzyme existante. Cela signifierait qu&rsquo;elle pourrait prolif\u00e9rer de mani\u00e8re incontr\u00f4lable et \u00e9liminer toute vie sur la plan\u00e8te, dans le pire des cas, d\u00e9truisant m\u00eame toute vie sur Terre.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Il existe une <a href=\"https:\/\/www.science.org\/doi\/10.1126\/science.ads9158#elettersSection\">grande incertitude scientifique<\/a> quant \u00e0 la cr\u00e9ation et aux effets potentiels de la vie miroir. La lettre de 2024 accompagnait <a href=\"https:\/\/purl.stanford.edu\/cv716pj4036\">un rapport<\/a> qui concluait que \u00ab des bact\u00e9ries miroirs pourraient vraisemblablement \u00eatre cr\u00e9\u00e9es dans les prochaines d\u00e9cennies \u00bb, ce qui repr\u00e9sente une fourchette assez large. Mais un mod\u00e8le d&rsquo;IA suffisamment puissant (pour \u00eatre clair, bien plus performant que tous ceux dont nous disposons aujourd&rsquo;hui) pourrait \u00eatre capable de d\u00e9couvrir comment la cr\u00e9er beaucoup plus rapidement, et m\u00eame aider quelqu&rsquo;un \u00e0 le faire.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Mon opinion est que m\u00eame s&rsquo;il s&rsquo;agit de risques obscurs et qui peuvent sembler improbables, l&rsquo;ampleur des cons\u00e9quences est telle qu&rsquo;ils doivent \u00eatre pris au s\u00e9rieux comme un risque de premier ordre des syst\u00e8mes d&rsquo;IA.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Les sceptiques ont soulev\u00e9 un certain nombre d&rsquo;objections quant \u00e0 la gravit\u00e9 de ces risques biologiques li\u00e9s aux LLM, avec lesquelles je ne suis pas d&rsquo;accord, mais qui m\u00e9ritent d&rsquo;\u00eatre abord\u00e9es. La plupart d&rsquo;entre elles rel\u00e8vent d&rsquo;une m\u00e9connaissance de la trajectoire exponentielle sur laquelle se trouve cette technologie. En 2023, lorsque nous avons <a href=\"https:\/\/www.judiciary.senate.gov\/imo\/media\/doc\/2023-07-26_-_testimony_-_amodei.pdf\">commenc\u00e9 \u00e0 parler des risques biologiques li\u00e9s aux LLM<\/a>, les sceptiques affirmaient que toutes les informations n\u00e9cessaires \u00e9taient disponibles sur Google et que les LLM n&rsquo;apportaient rien de plus. Il n&rsquo;a jamais \u00e9t\u00e9 vrai que Google pouvait fournir toutes les informations n\u00e9cessaires : les g\u00e9nomes sont librement accessibles, mais comme je l&rsquo;ai dit plus haut, certaines \u00e9tapes cl\u00e9s, ainsi qu&rsquo;une quantit\u00e9 \u00e9norme de connaissances pratiques ne peuvent \u00eatre obtenues de cette mani\u00e8re. De plus, \u00e0 la fin de 2023, les LLM fournissaient clairement des informations allant au-del\u00e0 de ce que Google pouvait offrir pour certaines \u00e9tapes du processus.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Apr\u00e8s cela, les sceptiques se sont rabattus sur l&rsquo;objection selon laquelle les LLM n&rsquo;\u00e9taient pas utiles de bout en bout et ne pouvaient pas aider \u00e0 l&rsquo;acquisition d&rsquo;armes biologiques, mais seulement fournir des informations th\u00e9oriques. \u00c0 la mi-2025, nos mesures montrent que les LLM pourraient d\u00e9j\u00e0 <a href=\"https:\/\/red.anthropic.com\/2025\/biorisk\/\">apporter une am\u00e9lioration substantielle<\/a> dans plusieurs domaines pertinents, doublant voire triplant les chances de succ\u00e8s. Cela nous a amen\u00e9s \u00e0 d\u00e9cider que Claude Opus 4 (et les mod\u00e8les Sonnet 4.5, Opus 4.1 et Opus 4.5 qui ont suivi) devaient \u00eatre commercialis\u00e9s dans le cadre de notre politique de mise \u00e0 l&rsquo;\u00e9chelle responsable (<a href=\"https:\/\/www.anthropic.com\/rsp-updates\">Responsible Scaling Policy<\/a>) et de notre niveau de s\u00e9curit\u00e9 IA 3, et de mettre en \u0153uvre des mesures de protection contre ce risque (nous y reviendrons plus tard). Nous pensons que les mod\u00e8les approchent d\u00e9sormais le point o\u00f9, sans mesures de protection, ils pourraient permettre \u00e0 une personne titulaire d&rsquo;un dipl\u00f4me en sciences, technologie, ing\u00e9nierie et math\u00e9matiques (STEM), mais pas sp\u00e9cifiquement en biologie, de mener \u00e0 bien tout le processus de production d&rsquo;une arme biologique.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Une autre objection est qu&rsquo;il existe d&rsquo;autres mesures sans rapport avec l&rsquo;IA que la soci\u00e9t\u00e9 peut prendre pour emp\u00eacher la production d&rsquo;armes biologiques. Tout d&rsquo;abord, l&rsquo;industrie de la synth\u00e8se g\u00e9n\u00e9tique fabrique des sp\u00e9cimens biologiques \u00e0 la demande , et il n&rsquo;existe aucune obligation f\u00e9d\u00e9rale imposant aux fournisseurs de v\u00e9rifier les commandes afin de s&rsquo;assurer qu&rsquo;elles ne contiennent pas d&rsquo;agents pathog\u00e8nes. Une <a href=\"https:\/\/drive.google.com\/file\/d\/1hNUnU8i2yubt5uesmmV17aTJXhYYDgTY\/edit\">\u00e9tude du MIT<\/a> a r\u00e9v\u00e9l\u00e9 que 36 des 38 fournisseurs avaient honor\u00e9 une commande contenant la s\u00e9quence du virus de la grippe de 1918. Je suis favorable \u00e0 un contr\u00f4le obligatoire de la synth\u00e8se g\u00e9n\u00e9tique qui rendrait plus difficile pour les individus de transformer des agents pathog\u00e8nes en armes, afin de r\u00e9duire \u00e0 la fois les risques biologiques li\u00e9s \u00e0 l&rsquo;IA et les risques biologiques en g\u00e9n\u00e9ral. Mais ce n&rsquo;est pas le cas aujourd&rsquo;hui. Ce ne serait d&rsquo;ailleurs qu&rsquo;un outil parmi d&rsquo;autres pour r\u00e9duire les risques ; il s&rsquo;agit d&rsquo;un compl\u00e9ment aux garde-fous des syst\u00e8mes d&rsquo;IA, et non d&rsquo;un substitut.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">La meilleure objection est celle que j&rsquo;ai rarement vue soulev\u00e9e : il existe un \u00e9cart entre l&rsquo;utilit\u00e9 th\u00e9orique des mod\u00e8les et la propension r\u00e9elle des acteurs malveillants \u00e0 les utiliser. La plupart des acteurs malveillants sont des individus perturb\u00e9s, donc, par d\u00e9finition, leur comportement est impr\u00e9visible et irrationnel. Et ce sont <em>ces<\/em> acteurs malveillants, ceux qui ne sont pas qualifi\u00e9s, qui pourraient tirer le plus grand profit de l&rsquo;IA, qui facilite consid\u00e9rablement le meurtre de nombreuses personnes.<sup id=\"mfn-content-00000000000008570000000000000000_9492-24\" class=\"modern-footnotes-footnote modern-footnotes-footnote--hover-on-desktop \" data-mfn=\"24\" data-mfn-post-scope=\"00000000000008570000000000000000_9492\"><a href=\"javascript:void(0)\"  role=\"button\" aria-pressed=\"false\" aria-describedby=\"mfn-content-00000000000008570000000000000000_9492-24\">24<\/a><\/sup><span role=\"tooltip\" class=\"modern-footnotes-footnote__note\" tabindex=\"0\" data-mfn=\"24\">Un ph\u00e9nom\u00e8ne \u00e9trange li\u00e9 aux auteurs de meurtres de masse est que le mode op\u00e9ratoire qu\u2019ils choisissent s\u2019apparente presque \u00e0 une mode grotesque. Dans les ann\u00e9es 1970 et 1980, les tueurs en s\u00e9rie \u00e9taient tr\u00e8s courants, et les nouveaux serial killers copiaient souvent le comportement de serial killers plus \u00e9tablis ou plus c\u00e9l\u00e8bres. Dans les ann\u00e9es 1990 et 2000, les fusillades de masse sont devenues plus courantes, tandis que les serial killers sont devenus moins fr\u00e9quents. Aucun changement technologique n\u2019a d\u00e9clench\u00e9 ces comportements, il semble simplement que les meurtriers violents copiaient le comportement les uns des autres et que ce qui \u00e9tait \u00ab populaire \u00bb \u00e0 copier a chang\u00e9.<\/span><\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Ce n&rsquo;est pas parce qu&rsquo;un type d&rsquo;attaque violente est possible que quelqu&rsquo;un d\u00e9cidera de le faire. Les attaques biologiques seront peut-\u00eatre peu attrayantes, car elles sont susceptibles d&rsquo;infecter leur auteur, elles ne correspondent pas aux fantasmes de type militaire que nourrissent de nombreux individus ou groupes violents, et qu&rsquo;il est difficile de cibler s\u00e9lectivement des personnes sp\u00e9cifiques. Il se peut \u00e9galement que le fait de passer par un processus qui prend des mois, m\u00eame si une IA vous guide tout au long de celui-ci, n\u00e9cessite une patience que la plupart des individus perturb\u00e9s n&rsquo;ont tout simplement pas. Nous pourrions simplement avoir de la chance et que, dans la pratique, la motivation et la capacit\u00e9 ne se combinent pas de la bonne mani\u00e8re.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Mais cela semble \u00eatre une protection tr\u00e8s fragile sur laquelle s&rsquo;appuyer. Les motivations des solitaires perturb\u00e9s peuvent changer pour n&rsquo;importe quelle raison ou sans raison, et il existe d\u00e9j\u00e0 des cas o\u00f9 des <a href=\"https:\/\/en.wikipedia.org\/wiki\/2025_Las_Vegas_Cybertruck_explosion\">LLM ont \u00e9t\u00e9 utilis\u00e9s dans des attaques<\/a> (mais pas avec la biologie). L&rsquo;accent mis sur les solitaires perturb\u00e9s ignore \u00e9galement les terroristes motiv\u00e9s par des id\u00e9ologies, qui sont souvent pr\u00eats \u00e0 consacrer beaucoup de temps et d&rsquo;efforts (par exemple, les pirates de l&rsquo;air du 11 septembre) . Le d\u00e9sir de tuer le plus grand nombre de personnes possible est un motif qui finira probablement par appara\u00eetre t\u00f4t ou tard, et qui sugg\u00e8re malheureusement le recours aux armes biologiques. M\u00eame si ce motif est extr\u00eamement rare, il suffit qu&rsquo;il se concr\u00e9tise une seule fois. Et \u00e0 mesure que la biologie progresse (de plus en plus sous l&rsquo;impulsion de l&rsquo;IA elle-m\u00eame), il pourrait \u00e9galement devenir possible de mener des attaques plus s\u00e9lectives (par exemple, ciblant des personnes ayant des origines sp\u00e9cifiques), ce qui ajoute un autre tr\u00e8s effrayant.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Je ne pense pas que des attaques biologiques seront n\u00e9cessairement men\u00e9es d\u00e8s qu&rsquo;elles deviendront largement possibles \u2014 en fait, je parierais contre cela. Mais si l&rsquo;on additionne des millions de personnes et quelques ann\u00e9es, je pense qu&rsquo;il existe un risque s\u00e9rieux d&rsquo;attaque majeure, et les cons\u00e9quences seraient si graves (avec des millions de victimes potentielles, voire plus) que je crois que nous n&rsquo;avons d&rsquo;autre choix que de prendre des mesures s\u00e9rieuses pour l&#8217;emp\u00eacher.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\"><strong><em>D\u00e9fenses<\/em><\/strong><\/h3>\n\n\n\n<p class=\"wp-block-paragraph\">Cela nous am\u00e8ne \u00e0 la question de savoir comment se d\u00e9fendre contre ces risques. Je vois ici trois choses que nous pouvons faire. Premi\u00e8rement, les entreprises d&rsquo;IA peuvent mettre en place des garde-fous sur leurs mod\u00e8les afin d&#8217;emp\u00eacher qu&rsquo;ils ne contribuent \u00e0 la production d&rsquo;armes biologiques. Anthropic s&rsquo;y emploie tr\u00e8s activement. La <a href=\"https:\/\/www.anthropic.com\/constitution\">Constitution de Claude<\/a>, qui se concentre principalement sur des principes et des valeurs de haut niveau, comporte un petit nombre d&rsquo;interdictions sp\u00e9cifiques et strictes, dont l&rsquo;une concerne l&rsquo;aide \u00e0 la production d&rsquo;armes biologiques (ou chimiques, nucl\u00e9aires ou radiologiques). Mais tous les mod\u00e8les <a href=\"https:\/\/www.microsoft.com\/en-us\/security\/blog\/2024\/06\/04\/ai-jailbreaks-what-they-are-and-how-they-can-be-mitigated\/\">peuvent \u00eatre pirat\u00e9s<\/a>. Nous avons donc mis en place, comme deuxi\u00e8me ligne de d\u00e9fense (depuis mi-2025, lorsque nos tests ont montr\u00e9 que nos mod\u00e8les commen\u00e7aient \u00e0 approcher le seuil \u00e0 partir duquel ils pourraient pr\u00e9senter un risque), un classificateur qui d\u00e9tecte et bloque sp\u00e9cifiquement les r\u00e9sultats li\u00e9s aux armes biologiques. <a href=\"https:\/\/www.anthropic.com\/research\/next-generation-constitutional-classifiers\">Nous mettons r\u00e9guli\u00e8rement \u00e0 jour et am\u00e9liorons ces classificateurs<\/a>, et nous les avons g\u00e9n\u00e9ralement trouv\u00e9s tr\u00e8s robustes, m\u00eame face \u00e0 des attaques adverses sophistiqu\u00e9es.<sup id=\"mfn-content-00000000000008570000000000000000_9492-25\" class=\"modern-footnotes-footnote modern-footnotes-footnote--hover-on-desktop \" data-mfn=\"25\" data-mfn-post-scope=\"00000000000008570000000000000000_9492\"><a href=\"javascript:void(0)\"  role=\"button\" aria-pressed=\"false\" aria-describedby=\"mfn-content-00000000000008570000000000000000_9492-25\">25<\/a><\/sup><span role=\"tooltip\" class=\"modern-footnotes-footnote__note\" tabindex=\"0\" data-mfn=\"25\">Les prisonniers occasionnels pensent parfois qu\u2019ils ont compromis ces classificateurs lorsqu\u2019ils obtiennent du mod\u00e8le une information sp\u00e9cifique, telle que la s\u00e9quence g\u00e9nomique d\u2019un virus. Mais comme je l\u2019ai expliqu\u00e9 pr\u00e9c\u00e9demment, le mod\u00e8le de menace qui nous pr\u00e9occupe implique des conseils interactifs \u00e9tape par \u00e9tape, s\u2019\u00e9talant sur plusieurs semaines ou mois, concernant des \u00e9tapes sp\u00e9cifiques et obscures du processus de production d\u2019armes biologiques, et c\u2019est contre cela que nos classificateurs visent \u00e0 nous d\u00e9fendre. (Nous d\u00e9crivons souvent nos recherches comme la recherche de \u00ab jailbreaks universels \u00bb, c\u2019est-\u00e0-dire des jailbreaks qui ne fonctionnent pas seulement dans un contexte sp\u00e9cifique ou restreint, mais qui ouvrent largement le comportement du mod\u00e8le.)<\/span><\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Ces classificateurs augmentent consid\u00e9rablement les co\u00fbts de fonctionnement de nos mod\u00e8les (dans certains mod\u00e8les, ils repr\u00e9sentent pr\u00e8s de 5 % des co\u00fbts totaux d&rsquo;inf\u00e9rence) et r\u00e9duisent donc nos marges, mais nous estimons que leur utilisation est la bonne chose \u00e0 faire.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Il faut reconna\u00eetre que d&rsquo;autres entreprises d&rsquo;IA <a href=\"https:\/\/arxiv.org\/pdf\/2504.01849\">ont \u00e9galement mis en place des classificateurs<\/a>. Mais toutes les entreprises ne l&rsquo;ont pas fait, et rien n&rsquo;oblige les entreprises \u00e0 conserver leurs classificateurs. Je crains qu&rsquo;avec le temps, on assiste \u00e0 un <a href=\"https:\/\/en.wikipedia.org\/wiki\/Prisoner%27s_dilemma\">dilemme du prisonnier<\/a> o\u00f9 les entreprises pourraient se d\u00e9rober et r\u00e9duire leurs co\u00fbts en supprimant les classificateurs. Il s&rsquo;agit l\u00e0 encore d&rsquo;un probl\u00e8me classique d&rsquo;externalit\u00e9s n\u00e9gatives qui ne peut \u00eatre r\u00e9solu par les actions volontaires d&rsquo;Anthropic ou de toute autre entreprise \u00e0 elle seule.<sup id=\"mfn-content-00000000000008570000000000000000_9492-26\" class=\"modern-footnotes-footnote modern-footnotes-footnote--hover-on-desktop \" data-mfn=\"26\" data-mfn-post-scope=\"00000000000008570000000000000000_9492\"><a href=\"javascript:void(0)\"  role=\"button\" aria-pressed=\"false\" aria-describedby=\"mfn-content-00000000000008570000000000000000_9492-26\">26<\/a><\/sup><span role=\"tooltip\" class=\"modern-footnotes-footnote__note\" tabindex=\"0\" data-mfn=\"26\">Nous continuerons toutefois \u00e0 investir dans des travaux visant \u00e0 rendre nos classificateurs plus efficaces, et il peut \u00eatre judicieux pour les entreprises de partager entre elles des avanc\u00e9es telles que celles-ci.<\/span><\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Des normes industrielles volontaires pourraient aider, tout comme des \u00e9valuations et des v\u00e9rifications par des tiers, telles que celles effectu\u00e9es par des instituts de <a href=\"https:\/\/www.aisi.gov.uk\/\">s\u00e9curit\u00e9 IA<\/a> et des <a href=\"https:\/\/metr.org\/\">\u00e9valuateurs tiers<\/a>.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Mais en fin de compte, la d\u00e9fense peut n\u00e9cessiter une action gouvernementale, ce qui est la deuxi\u00e8me chose que nous pouvons faire. Mon point de vue \u00e0 ce sujet est le m\u00eame que pour la gestion des risques li\u00e9s \u00e0 l&rsquo;autonomie : nous devrions commencer par des <a href=\"https:\/\/www.anthropic.com\/news\/the-need-for-transparency-in-frontier-ai\">exigences de transparence<\/a>,<sup id=\"mfn-content-00000000000008570000000000000000_9492-27\" class=\"modern-footnotes-footnote modern-footnotes-footnote--hover-on-desktop \" data-mfn=\"27\" data-mfn-post-scope=\"00000000000008570000000000000000_9492\"><a href=\"javascript:void(0)\"  role=\"button\" aria-pressed=\"false\" aria-describedby=\"mfn-content-00000000000008570000000000000000_9492-27\">27<\/a><\/sup><span role=\"tooltip\" class=\"modern-footnotes-footnote__note\" tabindex=\"0\" data-mfn=\"27\">\u00c9videmment, je ne pense pas que les entreprises devraient \u00eatre tenues de divulguer les d\u00e9tails techniques des \u00e9tapes sp\u00e9cifiques de la production d\u2019armes biologiques qu\u2019elles bloquent, et la l\u00e9gislation sur la transparence qui a \u00e9t\u00e9 adopt\u00e9e jusqu\u2019\u00e0 pr\u00e9sent (SB 53 et RAISE) tient compte de cette question.<\/span>qui aident la soci\u00e9t\u00e9 \u00e0 mesurer, surveiller et se d\u00e9fendre collectivement contre les risques sans perturber l&rsquo;activit\u00e9 \u00e9conomique de mani\u00e8re trop lourde. Ensuite, si et lorsque nous atteignons des seuils de risque plus clairs, nous pouvons \u00e9laborer une l\u00e9gislation qui cible plus pr\u00e9cis\u00e9ment ces risques et pr\u00e9sente moins de risques de dommages collat\u00e9raux. Dans le cas particulier des armes biologiques, je pense en fait que le moment d&rsquo;une telle l\u00e9gislation cibl\u00e9e pourrait bient\u00f4t arriver<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">: Anthropic et d&rsquo;autres entreprises en apprennent de plus en plus sur la nature des risques biologiques et sur ce qu&rsquo;il est raisonnable d&rsquo;exiger des entreprises pour s&rsquo;en d\u00e9fendre. Pour se d\u00e9fendre pleinement contre ces risques, il faudra peut-\u00eatre travailler au niveau international, m\u00eame avec des adversaires g\u00e9opolitiques, mais il existe des pr\u00e9c\u00e9dents dans les trait\u00e9s interdisant le d\u00e9veloppement d&rsquo;armes biologiques. Je suis g\u00e9n\u00e9ralement sceptique quant \u00e0 la plupart des formes de coop\u00e9ration internationale en mati\u00e8re d&rsquo;IA, mais il s&rsquo;agit peut-\u00eatre l\u00e0 d&rsquo;un domaine restreint o\u00f9 il existe une chance de parvenir \u00e0 une restriction mondiale. M\u00eame les dictatures ne souhaitent pas subir d&rsquo;attaques bioterroristes \u00e0 grande \u00e9chelle.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Enfin, la troisi\u00e8me contre-mesure que nous pouvons prendre consiste \u00e0 essayer de d\u00e9velopper des d\u00e9fenses contre les attaques biologiques elles-m\u00eames. Cela pourrait inclure la surveillance et le suivi pour une d\u00e9tection pr\u00e9coce, des investissements dans la R&amp;D en mati\u00e8re de purification de l&rsquo;air (telle que la d\u00e9sinfection par <a href=\"https:\/\/worksinprogress.co\/issue\/the-death-rays-that-guard-life\/\">UVC lointain<\/a>), le d\u00e9veloppement rapide de vaccins capables de r\u00e9pondre et de s&rsquo;adapter \u00e0 une attaque, de meilleurs \u00e9quipements de protection individuelle (EPI),<sup id=\"mfn-content-00000000000008570000000000000000_9492-28\" class=\"modern-footnotes-footnote modern-footnotes-footnote--hover-on-desktop \" data-mfn=\"28\" data-mfn-post-scope=\"00000000000008570000000000000000_9492\"><a href=\"javascript:void(0)\"  role=\"button\" aria-pressed=\"false\" aria-describedby=\"mfn-content-00000000000008570000000000000000_9492-28\">28<\/a><\/sup><span role=\"tooltip\" class=\"modern-footnotes-footnote__note\" tabindex=\"0\" data-mfn=\"28\">Une autre id\u00e9e connexe est celle des \u00ab march\u00e9s de la r\u00e9silience \u00bb, dans lesquels le gouvernement encourage le stockage d\u2019EPI, de respirateurs et d\u2019autres \u00e9quipements essentiels n\u00e9cessaires pour r\u00e9pondre \u00e0 une attaque biologique en s\u2019engageant \u00e0 l\u2019avance \u00e0 payer un prix convenu \u00e0 l\u2019avance pour ces \u00e9quipements en cas d\u2019urgence. Cela incite les fournisseurs \u00e0 stocker ces \u00e9quipements sans craindre que le gouvernement ne les saisisse sans compensation.<\/span> et des traitements ou vaccins pour certains des agents biologiques les plus susceptibles d&rsquo;\u00eatre utilis\u00e9s. Les <a href=\"https:\/\/en.wikipedia.org\/wiki\/MRNA_vaccine\">vaccins \u00e0 ARNm<\/a>, qui peuvent \u00eatre con\u00e7us pour r\u00e9pondre \u00e0 un virus ou \u00e0 un variant particulier, sont un premier exemple de <a href=\"https:\/\/worksinprogress.co\/issue\/the-golden-age-of-vaccine-development\/\">ce qui est possible dans ce domaine<\/a>. Anthropic est ravi de travailler avec des entreprises biotechnologiques et pharmaceutiques sur ce probl\u00e8me. Mais malheureusement, je pense que nos attentes en mati\u00e8re de d\u00e9fense doivent \u00eatre limit\u00e9es. Il existe une <a href=\"https:\/\/www.rand.org\/pubs\/perspectives\/PEA4102-1.html\">asym\u00e9trie entre l&rsquo;attaque et la d\u00e9fense<\/a> en biologie, car les agents se propagent rapidement d&rsquo;eux-m\u00eames, tandis que les d\u00e9fenses n\u00e9cessitent une d\u00e9tection, une vaccination et un traitement qui doivent \u00eatre organis\u00e9s tr\u00e8s rapidement \u00e0 grande \u00e9chelle. \u00c0 moins que la r\u00e9ponse ne soit ultra-rapide (ce qui est rarement le cas), une grande partie des d\u00e9g\u00e2ts sera d\u00e9j\u00e0 caus\u00e9e avant qu&rsquo;une r\u00e9ponse ne soit possible. Il est concevable que les progr\u00e8s technologiques futurs puissent faire pencher la balance en faveur de la d\u00e9fense (et nous devrions certainement <a href=\"https:\/\/www.nationalacademies.org\/read\/28868\/chapter\/1\">utiliser l&rsquo;IA pour aider \u00e0 d\u00e9velopper ces avanc\u00e9es<\/a> technologiques), mais d&rsquo;ici l\u00e0, les mesures de pr\u00e9vention resteront notre principale ligne de d\u00e9fense.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Il convient de mentionner bri\u00e8vement ici les cyberattaques, car contrairement aux attaques biologiques, <a href=\"https:\/\/www.anthropic.com\/news\/disrupting-AI-espionage\">les cyberattaques men\u00e9es par l&rsquo;IA ont d\u00e9j\u00e0 eu lieu dans la r\u00e9alit\u00e9<\/a>, y compris \u00e0 grande \u00e9chelle et pour le compte d&rsquo;\u00c9tats . Nous nous attendons \u00e0 ce que ces attaques <a href=\"https:\/\/red.anthropic.com\/2025\/ai-for-cyber-defenders\/\">deviennent plus performantes<\/a> \u00e0 mesure que les mod\u00e8les progressent rapidement, jusqu&rsquo;\u00e0 ce qu&rsquo;elles constituent le principal moyen de mener des cyberattaques. Je pense que les cyberattaques men\u00e9es par l&rsquo;IA vont devenir une menace s\u00e9rieuse et sans pr\u00e9c\u00e9dent pour l&rsquo;int\u00e9grit\u00e9 des syst\u00e8mes informatiques \u00e0 travers le monde, et Anthropic travaille d&rsquo;arrache-pied pour mettre fin \u00e0 ces attaques et, \u00e0 terme, les emp\u00eacher de mani\u00e8re fiable. Si je ne me suis pas autant concentr\u00e9 sur le cyberespace que sur la biologie, c&rsquo;est parce que (1) les cyberattaques sont beaucoup moins susceptibles de tuer des personnes, certainement pas \u00e0 l&rsquo;\u00e9chelle des attaques biologiques, et (2) l&rsquo;\u00e9quilibre entre l&rsquo;attaque et la d\u00e9fense peut \u00eatre plus facile \u00e0 g\u00e9rer dans le domaine cybern\u00e9tique, o\u00f9 il y a au moins un certain espoir que la d\u00e9fense puisse suivre (et m\u00eame, id\u00e9alement, d\u00e9passer) les attaques de l&rsquo;IA si nous y investissons correctement.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Bien que la biologie soit actuellement le vecteur d&rsquo;attaque le plus grave, il existe de nombreux autres vecteurs et il est possible qu&rsquo;un vecteur plus dangereux apparaisse. Le principe g\u00e9n\u00e9ral est que, sans contre-mesures, l&rsquo;IA est susceptible de r\u00e9duire continuellement les obstacles aux activit\u00e9s destructrices \u00e0 une \u00e9chelle de plus en plus grande, et l&rsquo;humanit\u00e9 doit apporter une r\u00e9ponse s\u00e9rieuse \u00e0 cette menace.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\"><strong>3. L&rsquo;appareil odieux<\/strong><\/h2>\n\n\n\n<h3 class=\"wp-block-heading\"><strong><em>Abus pour s&#8217;emparer du pouvoir<\/em><\/strong><\/h3>\n\n\n\n<p class=\"wp-block-paragraph\">La section pr\u00e9c\u00e9dente a abord\u00e9 le risque que des individus et de petites organisations cooptent un petit sous-ensemble du \u00ab pays des g\u00e9nies dans un centre de donn\u00e9es \u00bb pour causer des destructions \u00e0 grande \u00e9chelle. Mais nous devrions \u00e9galement nous inqui\u00e9ter \u2014 probablement beaucoup plus \u2014 de l&rsquo;utilisation abusive de l&rsquo;IA dans le but d&rsquo;<em>exercer ou de<\/em> <em>s&#8217;emparer du pouvoir<\/em>, probablement par des acteurs plus importants et mieux \u00e9tablis.<sup id=\"mfn-content-00000000000008570000000000000000_9492-29\" class=\"modern-footnotes-footnote modern-footnotes-footnote--hover-on-desktop \" data-mfn=\"29\" data-mfn-post-scope=\"00000000000008570000000000000000_9492\"><a href=\"javascript:void(0)\"  role=\"button\" aria-pressed=\"false\" aria-describedby=\"mfn-content-00000000000008570000000000000000_9492-29\">29<\/a><\/sup><span role=\"tooltip\" class=\"modern-footnotes-footnote__note\" tabindex=\"0\" data-mfn=\"29\">Pourquoi suis-je plus inquiet que les grands acteurs s\u2019emparent du pouvoir que des petits acteurs causent des destructions ? Parce que la dynamique est diff\u00e9rente. S\u2019emparer du pouvoir consiste \u00e0 savoir si un acteur peut accumuler suffisamment de force pour vaincre tous les autres . Nous devons donc nous pr\u00e9occuper des acteurs les plus puissants et\/ou les plus proches de l\u2019IA. En revanche, la destruction peut \u00eatre caus\u00e9e par des acteurs peu puissants si elle est beaucoup plus difficile \u00e0 contrer qu\u2019\u00e0 provoquer. Il s\u2019agit alors de se d\u00e9fendre contre les menaces les plus\u00a0<em>nombreuses<\/em>, qui sont susceptibles de provenir d\u2019acteurs plus modestes.<\/span><\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Dans <em>Machines of Loving Grace<\/em>, j&rsquo;ai \u00e9voqu\u00e9 la possibilit\u00e9 que des gouvernements autoritaires utilisent une IA puissante pour surveiller ou r\u00e9primer leurs citoyens d&rsquo;une mani\u00e8re qui serait extr\u00eamement difficile \u00e0 r\u00e9former ou \u00e0 renverser. Les autocraties actuelles sont limit\u00e9es dans leur capacit\u00e9 de r\u00e9pression par la n\u00e9cessit\u00e9 de faire ex\u00e9cuter leurs ordres par des humains, et les humains ont souvent des limites dans leur capacit\u00e9 \u00e0 se montrer inhumains. Mais les autocraties bas\u00e9es sur l&rsquo;IA n&rsquo;auraient pas de telles limites.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Pire encore, les pays pourraient \u00e9galement utiliser leur avantage en mati\u00e8re d&rsquo;IA pour acqu\u00e9rir un pouvoir sur d&rsquo;autres pays. Si le \u00ab pays des g\u00e9nies \u00bb dans son ensemble \u00e9tait simplement d\u00e9tenu et contr\u00f4l\u00e9 par l&rsquo;appareil militaire d&rsquo;un seul pays (humain) et que les autres pays ne disposaient pas de capacit\u00e9s \u00e9quivalentes, il serait difficile d&rsquo;imaginer comment ils pourraient se d\u00e9fendre : ils seraient surpass\u00e9s \u00e0 chaque tournant, comme dans une guerre entre les humains et les souris. La combinaison de ces deux pr\u00e9occupations conduit \u00e0 la possibilit\u00e9 alarmante d&rsquo;une dictature totalitaire mondiale. Il est \u00e9vident que l&rsquo;une de nos priorit\u00e9s absolues devrait \u00eatre d&#8217;emp\u00eacher cette issue.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">L&rsquo;IA pourrait permettre, renforcer ou \u00e9tendre l&rsquo;autocratie de nombreuses fa\u00e7ons, mais je vais \u00e9num\u00e9rer celles qui m&rsquo;inqui\u00e8tent le plus. Notez que certaines de ces applications ont des usages d\u00e9fensifs l\u00e9gitimes, et je ne m&rsquo;y oppose pas n\u00e9cessairement de mani\u00e8re absolue ; je crains n\u00e9anmoins qu&rsquo;elles aient tendance \u00e0 favoriser structurellement les autocraties :<\/p>\n\n\n\n<ul class=\"wp-block-list\">\n<li><strong>Armes enti\u00e8rement autonomes.<\/strong> Un essaim de millions ou de milliards de drones arm\u00e9s enti\u00e8rement automatis\u00e9s, contr\u00f4l\u00e9s localement par une IA puissante et coordonn\u00e9s strat\u00e9giquement \u00e0 travers le monde par une IA encore plus puissante, pourrait constituer une arm\u00e9e invincible, capable \u00e0 la fois de vaincre n&rsquo;importe quelle arm\u00e9e dans le monde et de r\u00e9primer la dissidence au sein d&rsquo;un pays en suivant chaque citoyen. <a href=\"https:\/\/www.hudson.org\/missile-defense\/impact-drones-battlefield-lessons-russian-ukraine-war-french-perspective-tsiporah-fried\">Les d\u00e9veloppements de la guerre entre la Russie et l&rsquo;Ukraine<\/a> devraient nous alerter sur le fait que la guerre des drones est d\u00e9j\u00e0 une r\u00e9alit\u00e9 (m\u00eame si elle n&rsquo;est pas encore enti\u00e8rement autonome et ne repr\u00e9sente qu&rsquo;une infime partie de ce qui serait possible avec une IA puissante). La R&amp; D issues d&rsquo;une IA puissante pourraient rendre les drones d&rsquo;un pays bien sup\u00e9rieurs \u00e0 ceux des autres, acc\u00e9l\u00e9rer leur fabrication, les rendre plus r\u00e9sistants aux attaques \u00e9lectroniques, am\u00e9liorer leur maniabilit\u00e9, etc. Bien s\u00fbr, ces armes ont \u00e9galement des utilisations l\u00e9gitimes dans la d\u00e9fense de la d\u00e9mocratie : elles ont jou\u00e9 un r\u00f4le cl\u00e9 dans la d\u00e9fense de l&rsquo;Ukraine et seraient probablement essentielles pour d\u00e9fendre Ta\u00efwan. Mais elles constituent une arme dangereuse \u00e0 manier : nous devrions nous inqui\u00e9ter de les voir entre les mains d&rsquo;autocraties, mais aussi craindre que, parce qu&rsquo;elles sont si puissantes et si peu contr\u00f4l\u00e9es, le risque que des gouvernements d\u00e9mocratiques les utilisent contre leur propre population pour s&#8217;emparer du pouvoir soit consid\u00e9rablement accru.<\/li>\n\n\n\n<li><strong>Surveillance par l&rsquo;IA. <\/strong>Une IA suffisamment puissante pourrait probablement \u00eatre utilis\u00e9e pour compromettre n&rsquo;importe quel syst\u00e8me informatique dans le monde,<sup id=\"mfn-content-00000000000008570000000000000000_9492-30\" class=\"modern-footnotes-footnote modern-footnotes-footnote--hover-on-desktop \" data-mfn=\"30\" data-mfn-post-scope=\"00000000000008570000000000000000_9492\"><a href=\"javascript:void(0)\"  role=\"button\" aria-pressed=\"false\" aria-describedby=\"mfn-content-00000000000008570000000000000000_9492-30\">30<\/a><\/sup><span role=\"tooltip\" class=\"modern-footnotes-footnote__note\" tabindex=\"0\" data-mfn=\"30\">Cela peut sembler en contradiction avec mon argument selon lequel l\u2019attaque et la d\u00e9fense peuvent \u00eatre plus \u00e9quilibr\u00e9es avec les cyberattaques qu\u2019avec les armes biologiques , mais ma crainte ici est que si l\u2019IA d\u2019un pays est la plus puissante au monde, les autres ne pourront pas se d\u00e9fendre, m\u00eame si la technologie elle-m\u00eame pr\u00e9sente un \u00e9quilibre intrins\u00e8que entre attaque et d\u00e9fense.<\/span> et pourrait \u00e9galement utiliser l&rsquo;acc\u00e8s ainsi obtenu pour lire <em>et comprendre<\/em> toutes les communications \u00e9lectroniques du monde (voire toutes les communications en personne, si des appareils d&rsquo;enregistrement peuvent \u00eatre construits ou r\u00e9quisitionn\u00e9s). Il pourrait \u00eatre effrayant de penser qu&rsquo;il suffirait de g\u00e9n\u00e9rer une liste compl\u00e8te de toutes les personnes en d\u00e9saccord avec le gouvernement sur un certain nombre de questions, m\u00eame si ce d\u00e9saccord n&rsquo;est pas explicite dans leurs paroles ou leurs actes. Une IA puissante capable d&rsquo;analyser des milliards de conversations entre des millions de personnes pourrait \u00e9valuer l&rsquo;opinion publique, d\u00e9tecter les poches de d\u00e9loyaut\u00e9 en formation et les \u00e9liminer avant qu&rsquo;elles ne se d\u00e9veloppent. Cela pourrait conduire \u00e0 l&rsquo;imposition d&rsquo;un v\u00e9ritable panoptique \u00e0 une \u00e9chelle que nous ne connaissons pas aujourd&rsquo;hui, m\u00eame avec le PCC.<\/li>\n\n\n\n<li><strong>Propagande par l&rsquo;IA. <\/strong>Les ph\u00e9nom\u00e8nes actuels de \u00ab<a href=\"https:\/\/en.wikipedia.org\/wiki\/Chatbot_psychosis\">psychose de l&rsquo;IA<\/a>\u00bb et de \u00abcopines IA\u00bb sugg\u00e8rent que m\u00eame \u00e0 leur niveau d&rsquo;intelligence actuel, les mod\u00e8les d&rsquo;IA peuvent avoir une influence psychologique puissante sur les gens. Des versions beaucoup plus puissantes de ces mod\u00e8les, beaucoup plus int\u00e9gr\u00e9es et conscientes de la vie quotidienne des gens, capables de les mod\u00e9liser et de les influencer pendant des mois ou des ann\u00e9es, seraient probablement capables de laver le cerveau de nombreuses (la plupart ?) des gens \u00e0 n&rsquo;importe quelle id\u00e9ologie ou attitude souhait\u00e9e, et pourraient \u00eatre utilis\u00e9es par un dirigeant sans scrupules pour garantir la loyaut\u00e9 et r\u00e9primer la dissidence, m\u00eame face \u00e0 un niveau de r\u00e9pression contre lequel la plupart des populations se rebelleraient. Aujourd&rsquo;hui, les gens s&rsquo;inqui\u00e8tent beaucoup, par exemple, de l&rsquo;influence potentielle de TikTok en tant que propagande du PCC dirig\u00e9e vers les enfants. Je m&rsquo;en inqui\u00e8te aussi, mais un agent IA personnalis\u00e9 qui apprend \u00e0 vous conna\u00eetre au fil des ans et utilise ses connaissances sur vous pour fa\u00e7onner toutes vos opinions serait consid\u00e9rablement plus puissant que cela.<\/li>\n\n\n\n<li><strong>Prise de d\u00e9cision strat\u00e9gique. <\/strong>Un pays de g\u00e9nies dans un centre de donn\u00e9es pourrait \u00eatre utilis\u00e9 pour conseiller un pays, un groupe ou un individu sur la strat\u00e9gie g\u00e9opolitique, ce que nous pourrions appeler un \u00ab Bismarck virtuel \u00bb. Il pourrait optimiser les trois strat\u00e9gies ci-dessus pour s&#8217;emparer du pouvoir, et probablement en d\u00e9velopper beaucoup d&rsquo;autres auxquelles je n&rsquo;ai pas pens\u00e9 (mais auxquelles un pays de g\u00e9nies pourrait penser). La diplomatie, la strat\u00e9gie militaire, la R&amp;D, la strat\u00e9gie \u00e9conomique et de nombreux autres domaines sont susceptibles de voir leur efficacit\u00e9 consid\u00e9rablement accrue gr\u00e2ce \u00e0 une IA puissante. Bon nombre de ces comp\u00e9tences seraient l\u00e9gitimement utiles aux d\u00e9mocraties \u2014 nous voulons que les d\u00e9mocraties aient acc\u00e8s aux meilleures strat\u00e9gies pour se d\u00e9fendre contre les autocraties \u2014 mais le risque d&rsquo;abus dans les mains de <em>n&rsquo;importe qui <\/em>demeure.<\/li>\n<\/ul>\n\n\n\n<p class=\"wp-block-paragraph\">Apr\u00e8s avoir d\u00e9crit <em>ce qui <\/em>m&rsquo;inqui\u00e8te, passons \u00e0 <em>qui<\/em>. Je m&rsquo;inqui\u00e8te des entit\u00e9s qui ont le plus acc\u00e8s \u00e0 l&rsquo;IA, qui partent d&rsquo;une position de pouvoir politique maximal ou qui ont d\u00e9j\u00e0 fait preuve de r\u00e9pression par le pass\u00e9. Par ordre de gravit\u00e9, je m&rsquo;inqui\u00e8te pour :<\/p>\n\n\n\n<ul class=\"wp-block-list\">\n<li><strong>Le PCC. <\/strong>La Chine est le deuxi\u00e8me pays apr\u00e8s les \u00c9tats-Unis en termes de capacit\u00e9s d&rsquo;IA, et c&rsquo;est le pays qui a le plus de chances de d\u00e9passer les \u00c9tats-Unis dans ce domaine. Son gouvernement est actuellement autocratique et g\u00e8re un \u00c9tat de surveillance high-tech. Il a d\u00e9j\u00e0 d\u00e9ploy\u00e9 une surveillance bas\u00e9e sur l&rsquo;IA (notamment dans la r\u00e9pression des <a href=\"https:\/\/en.wikipedia.org\/wiki\/Uyghurs\">Ou\u00efghours<\/a>) et on pense qu&rsquo;il utilise la propagande algorithmique via TikTok (en plus de ses nombreuses autres initiatives de propagande internationale). Il est sans conteste le mieux plac\u00e9 pour r\u00e9aliser le cauchemar totalitaire bas\u00e9 sur l&rsquo;IA que j&rsquo;ai d\u00e9crit plus haut. Cela pourrait m\u00eame \u00eatre le r\u00e9sultat par d\u00e9faut en Chine, ainsi que dans d&rsquo;autres \u00c9tats autocratiques auxquels le PCC exporte sa technologie de surveillance. J&rsquo;ai <a href=\"https:\/\/www.darioamodei.com\/post\/on-deepseek-and-export-controls\">souvent \u00e9crit<\/a> sur la menace que repr\u00e9sente le PCC en tant que leader dans le domaine de l&rsquo;IA et sur la n\u00e9cessit\u00e9 absolue de l&#8217;emp\u00eacher d&rsquo;y parvenir. Voici pourquoi. Pour \u00eatre clair, je ne cible pas la Chine en particulier par animosit\u00e9 envers elle, mais simplement parce qu&rsquo;elle est le pays qui combine le mieux les prouesses en mati\u00e8re d&rsquo;IA, un gouvernement autocratique et une histoire de r\u00e9pression. n\u00e9cessit\u00e9 imp\u00e9rative de l&#8217;emp\u00eacher de le faire. Voici pourquoi. Pour \u00eatre clair, je ne vise pas la Chine en particulier par animosit\u00e9 \u00e0 son \u00e9gard, mais simplement parce qu&rsquo;elle est le pays qui combine le plus les prouesses de l&rsquo;IA, un gouvernement autocratique et un \u00c9tat de surveillance high-tech. Ce sont plut\u00f4t les Chinois eux-m\u00eames qui sont les plus susceptibles de souffrir de la r\u00e9pression du PCC gr\u00e2ce \u00e0 l&rsquo;IA, et ils n&rsquo;ont pas leur mot \u00e0 dire dans les actions de leur gouvernement. J&rsquo;admire et respecte \u00e9norm\u00e9ment le peuple chinois et je soutiens les nombreux dissidents courageux en Chine et leur lutte pour la libert\u00e9.<\/li>\n\n\n\n<li><strong>Les d\u00e9mocraties comp\u00e9titives en mati\u00e8re d&rsquo;IA. <\/strong>Comme je l&rsquo;ai \u00e9crit plus haut, les d\u00e9mocraties ont un int\u00e9r\u00eat l\u00e9gitime \u00e0 disposer de certains outils militaires et g\u00e9opolitiques bas\u00e9s sur l&rsquo;IA, car les gouvernements d\u00e9mocratiques offrent la meilleure chance de contrer l&rsquo;utilisation de ces outils par les autocraties. D&rsquo;une mani\u00e8re g\u00e9n\u00e9rale, je suis favorable \u00e0 l&rsquo;id\u00e9e de doter les d\u00e9mocraties des outils n\u00e9cessaires pour vaincre les autocraties \u00e0 l&rsquo;\u00e8re de l&rsquo;IA \u2014 je pense simplement qu&rsquo;il n&rsquo;y a pas d&rsquo;autre solution. Mais nous ne pouvons ignorer le risque d&rsquo;abus de ces technologies par les gouvernements d\u00e9mocratiques eux-m\u00eames. Les d\u00e9mocraties disposent g\u00e9n\u00e9ralement de garde-fous qui emp\u00eachent leurs appareils militaires et de renseignement de se retourner contre leur propre population.<sup id=\"mfn-content-00000000000008570000000000000000_9492-31\" class=\"modern-footnotes-footnote modern-footnotes-footnote--hover-on-desktop \" data-mfn=\"31\" data-mfn-post-scope=\"00000000000008570000000000000000_9492\"><a href=\"javascript:void(0)\"  role=\"button\" aria-pressed=\"false\" aria-describedby=\"mfn-content-00000000000008570000000000000000_9492-31\">31<\/a><\/sup><span role=\"tooltip\" class=\"modern-footnotes-footnote__note\" tabindex=\"0\" data-mfn=\"31\">Aux \u00c9tats-Unis, cela inclut par exemple le quatri\u00e8me amendement et le\u00a0<a href=\"https:\/\/en.wikipedia.org\/wiki\/Posse_Comitatus_Act\">Posse Comitatus Act<\/a>.<\/span>Mais comme les outils d&rsquo;IA n\u00e9cessitent tr\u00e8s peu de personnel pour fonctionner, il est possible qu&rsquo;ils contournent ces mesures de protection et les normes qui les soutiennent. Il convient \u00e9galement de noter que certaines de ces mesures de protection s&rsquo;\u00e9rodent d\u00e9j\u00e0 progressivement dans certaines d\u00e9mocraties. Nous devons donc armer les d\u00e9mocraties avec l&rsquo;IA, mais nous devons le faire avec prudence et dans certaines limites : elles constituent le syst\u00e8me immunitaire dont nous avons besoin pour lutter contre les autocraties, mais comme le syst\u00e8me immunitaire, elles risquent de se retourner contre nous et de devenir elles-m\u00eames une menace.<\/li>\n\n\n\n<li><strong>Pays non d\u00e9mocratiques disposant de grands centres de donn\u00e9es. <\/strong>Au-del\u00e0 de la Chine, la plupart des pays dont la gouvernance est moins d\u00e9mocratique ne sont pas des acteurs de premier plan dans le domaine de l&rsquo;IA, dans la mesure o\u00f9 ils ne disposent pas d&rsquo;entreprises produisant des mod\u00e8les d&rsquo;IA de pointe. Ils repr\u00e9sentent donc un risque fondamentalement diff\u00e9rent et moindre que le PCC, qui reste la principale pr\u00e9occupation (la plupart sont \u00e9galement moins r\u00e9pressifs, et ceux qui le sont davantage, comme la Cor\u00e9e du Nord, ne disposent d&rsquo;aucune industrie significative dans le domaine de l&rsquo;IA) . Mais certains de ces pays disposent de grands <em>centres de donn\u00e9es <\/em>(souvent dans le cadre de d\u00e9veloppements r\u00e9alis\u00e9s par des entreprises op\u00e9rant dans des d\u00e9mocraties), qui peuvent \u00eatre utilis\u00e9s pour exploiter l&rsquo;IA de pointe \u00e0 grande \u00e9chelle (m\u00eame si cela ne leur conf\u00e8re pas la capacit\u00e9 de repousser les limites). Cela comporte un certain danger : ces gouvernements pourraient en principe exproprier les centres de donn\u00e9es et utiliser l&rsquo;IA qui s&rsquo;y trouve \u00e0 leurs propres fins. Je m&rsquo;inqui\u00e8te moins \u00e0 ce sujet que pour des pays comme la Chine qui d\u00e9veloppent directement l&rsquo;IA, mais c&rsquo;est un risque \u00e0 garder \u00e0 l&rsquo;esprit.<sup id=\"mfn-content-00000000000008570000000000000000_9492-32\" class=\"modern-footnotes-footnote modern-footnotes-footnote--hover-on-desktop \" data-mfn=\"32\" data-mfn-post-scope=\"00000000000008570000000000000000_9492\"><a href=\"javascript:void(0)\"  role=\"button\" aria-pressed=\"false\" aria-describedby=\"mfn-content-00000000000008570000000000000000_9492-32\">32<\/a><\/sup><span role=\"tooltip\" class=\"modern-footnotes-footnote__note\" tabindex=\"0\" data-mfn=\"32\">De plus, pour \u00eatre clair, il existe certains arguments en faveur de la construction de grands centres de donn\u00e9es dans des pays aux structures de gouvernance vari\u00e9es, en particulier s\u2019ils sont contr\u00f4l\u00e9s par des entreprises dans des d\u00e9mocraties. De telles constructions pourraient en principe aider les d\u00e9mocraties \u00e0 mieux rivaliser avec le PCC, qui repr\u00e9sente une menace plus importante. Je pense \u00e9galement que ces centres de donn\u00e9es ne pr\u00e9sentent pas de risque particulier, \u00e0 moins qu\u2019ils ne soient tr\u00e8s grands. Mais dans l\u2019ensemble, je pense qu\u2019il convient d\u2019\u00eatre prudent lorsqu\u2019on installe de tr\u00e8s grands centres de donn\u00e9es dans des pays o\u00f9 les garanties institutionnelles et les protections de l\u2019\u00c9tat de droit sont moins bien \u00e9tablies.<\/span><\/li>\n\n\n\n<li><strong>Les entreprises d&rsquo;IA. <\/strong>Il est quelque peu d\u00e9licat de le dire en tant que PDG d&rsquo;une entreprise d&rsquo;IA, mais je pense que le niveau de risque suivant concerne en fait les entreprises d&rsquo;IA elles-m\u00eames. Les entreprises d&rsquo;IA contr\u00f4lent de grands centres de donn\u00e9es, forment des mod\u00e8les de pointe, poss\u00e8dent la plus grande expertise sur la mani\u00e8re d&rsquo;utiliser ces mod\u00e8les et, dans certains cas, sont en contact quotidien avec des dizaines ou des centaines de millions d&rsquo;utilisateurs et ont la possibilit\u00e9 de les influencer. Ce qui leur manque principalement, c&rsquo;est la l\u00e9gitimit\u00e9 et l&rsquo;infrastructure d&rsquo;un \u00c9tat. Par cons\u00e9quent, une grande partie de ce qui serait n\u00e9cessaire pour construire les outils d&rsquo;une autocratie IA serait ill\u00e9gal pour une entreprise d&rsquo;IA, ou du moins extr\u00eamement suspect. Mais certaines choses ne sont pas impossibles : elles pourraient, par exemple, utiliser leurs produits d&rsquo;IA pour endoctriner leur immense base d&rsquo;utilisateurs consommateurs, et le public devrait \u00eatre conscient du risque que cela repr\u00e9sente. Je pense que la gouvernance des entreprises d&rsquo;IA m\u00e9rite d&rsquo;\u00eatre examin\u00e9e de pr\u00e8s.<\/li>\n<\/ul>\n\n\n\n<p class=\"wp-block-paragraph\">Il existe un certain nombre d&rsquo;arguments possibles contre la gravit\u00e9 de ces menaces, et j&rsquo;aimerais pouvoir y croire, car l&rsquo;autoritarisme rendu possible par l&rsquo;IA me terrifie. Il vaut la peine d&rsquo;examiner certains de ces arguments et d&rsquo;y r\u00e9pondre.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Tout d&rsquo;abord, certaines personnes pourraient placer leur confiance dans la dissuasion nucl\u00e9aire, en particulier pour contrer l&rsquo;utilisation d&rsquo;armes autonomes bas\u00e9es sur l&rsquo;IA \u00e0 des fins de conqu\u00eate militaire. Si quelqu&rsquo;un menace d&rsquo;utiliser ces armes contre vous, vous pouvez toujours menacer de riposter par une r\u00e9ponse nucl\u00e9aire. Ce qui m&rsquo;inqui\u00e8te, c&rsquo;est que je ne suis <a href=\"https:\/\/futureoflife.org\/document\/ai-and-nuclear-problem-analysis-and-policy-recommendations\/\">pas tout \u00e0 fait s\u00fbr que nous puissions avoir confiance<\/a> dans la dissuasion nucl\u00e9aire contre un pays de g\u00e9nies dans un centre de donn\u00e9es : il est possible qu&rsquo;une IA puissante puisse <a href=\"https:\/\/www.rand.org\/content\/dam\/rand\/pubs\/perspectives\/PE200\/PE296\/RAND_PE296.pdf\">concevoir des moyens<\/a> de <a href=\"https:\/\/spectrum.ieee.org\/nuclear-submarine\">d\u00e9tecter et de frapper des sous-marins nucl\u00e9aires<\/a>, <a href=\"https:\/\/www.sipri.org\/sites\/default\/files\/2019-05\/sipri1905-ai-strategic-stability-nuclear-risk.pdf\">mener des op\u00e9rations d&rsquo;influence<\/a> contre les op\u00e9rateurs d&rsquo;infrastructures d&rsquo;armes nucl\u00e9aires ou utiliser les <a href=\"https:\/\/committees.parliament.uk\/writtenevidence\/120293\/pdf\/\">capacit\u00e9s cybern\u00e9tiques<\/a> de l&rsquo;IA pour lancer une cyberattaque contre les satellites utilis\u00e9s pour d\u00e9tecter les lancements nucl\u00e9aires.<sup id=\"mfn-content-00000000000008570000000000000000_9492-33\" class=\"modern-footnotes-footnote modern-footnotes-footnote--hover-on-desktop \" data-mfn=\"33\" data-mfn-post-scope=\"00000000000008570000000000000000_9492\"><a href=\"javascript:void(0)\"  role=\"button\" aria-pressed=\"false\" aria-describedby=\"mfn-content-00000000000008570000000000000000_9492-33\">33<\/a><\/sup><span role=\"tooltip\" class=\"modern-footnotes-footnote__note\" tabindex=\"0\" data-mfn=\"33\">Il s\u2019agit bien s\u00fbr \u00e9galement un argument en faveur de l\u2019<a href=\"https:\/\/councilonstrategicrisks.org\/research\/reports\/nuclear-decision-making-and-risk-reduction-in-an-era-of-technological-complexity\/\">am\u00e9lioration de la s\u00e9curit\u00e9 de la dissuasion<\/a>\u00a0nucl\u00e9aire afin de la rendre\u00a0<a href=\"https:\/\/onlinelibrary.wiley.com\/doi\/10.1111\/risa.70136\">plus r\u00e9sistante<\/a>\u00a0face \u00e0 une IA puissante, et les d\u00e9mocraties dot\u00e9es d\u2019armes nucl\u00e9aires devraient le faire. Mais nous ne savons pas de quoi une IA puissante sera capable ni quelles d\u00e9fenses, le cas \u00e9ch\u00e9ant, fonctionneront contre elle, nous ne devons donc pas supposer que ces mesures r\u00e9soudront n\u00e9cessairement le probl\u00e8me.<\/span><\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Il est \u00e9galement possible que la prise de contr\u00f4le de pays soit r\u00e9alisable uniquement gr\u00e2ce \u00e0 la surveillance et \u00e0 la propagande de l&rsquo;IA, sans jamais pr\u00e9senter de moment clair o\u00f9 il serait \u00e9vident de savoir ce qui se passe et o\u00f9 une riposte nucl\u00e9aire serait appropri\u00e9e. <em>Peut-\u00eatre que <\/em>ces choses ne sont pas r\u00e9alisables et que la dissuasion nucl\u00e9aire restera efficace, mais le risque semble trop \u00e9lev\u00e9 pour \u00eatre pris.<sup id=\"mfn-content-00000000000008570000000000000000_9492-34\" class=\"modern-footnotes-footnote modern-footnotes-footnote--hover-on-desktop \" data-mfn=\"34\" data-mfn-post-scope=\"00000000000008570000000000000000_9492\"><a href=\"javascript:void(0)\"  role=\"button\" aria-pressed=\"false\" aria-describedby=\"mfn-content-00000000000008570000000000000000_9492-34\">34<\/a><\/sup><span role=\"tooltip\" class=\"modern-footnotes-footnote__note\" tabindex=\"0\" data-mfn=\"34\">Il existe \u00e9galement le risque que, m\u00eame si la dissuasion nucl\u00e9aire reste efficace, un pays attaquant d\u00e9cide de nous prendre au mot : il n\u2019est pas certain que nous serions pr\u00eats \u00e0 utiliser des armes nucl\u00e9aires pour nous d\u00e9fendre contre un essaim de drones, m\u00eame si celui-ci pr\u00e9sente un risque important de nous conqu\u00e9rir. Les essaims de drones pourraient \u00eatre une nouvelle menace, moins grave que les attaques nucl\u00e9aires, mais plus grave que les attaques conventionnelles. Par ailleurs, des \u00e9valuations divergentes de l\u2019efficacit\u00e9 de la dissuasion nucl\u00e9aire \u00e0 l\u2019\u00e8re de l\u2019IA pourraient modifier la th\u00e9orie des jeux du conflit nucl\u00e9aire de mani\u00e8re d\u00e9stabilisante.<\/span><\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Une deuxi\u00e8me objection possible est qu&rsquo;il pourrait exister des contre-mesures \u00e0 prendre contre ces outils d&rsquo;autocratie. Nous pouvons contrer les drones avec nos propres drones, la cyberd\u00e9fense s&rsquo;am\u00e9liorera parall\u00e8lement aux cyberattaques, il pourrait exister des moyens d&rsquo;immuniser les gens contre la propagande, etc. Ma r\u00e9ponse est que ces d\u00e9fenses ne seront possibles qu&rsquo;avec une IA comparativement puissante. S&rsquo;il n&rsquo;existe pas de force contraire avec un pays de g\u00e9nies comparativement intelligent et nombreux dans un centre de donn\u00e9es, il ne sera pas possible d&rsquo;\u00e9galer la qualit\u00e9 ou la quantit\u00e9 des drones, ni de faire en sorte que la cyberd\u00e9fense soit plus intelligente que la cyberattaque, etc. La question des contre-mesures se r\u00e9duit donc \u00e0 celle de l&rsquo;\u00e9quilibre des pouvoirs dans le domaine de l&rsquo;IA puissante. Ici, je m&rsquo;inqui\u00e8te de la propri\u00e9t\u00e9 r\u00e9cursive ou auto-renfor\u00e7ante de l&rsquo;IA la rendant plus puissante (dont j&rsquo;ai parl\u00e9 au d\u00e9but de cet essai) : chaque g\u00e9n\u00e9ration d&rsquo;IA peut \u00eatre utilis\u00e9e pour concevoir et former la prochaine g\u00e9n\u00e9ration d&rsquo;IA. Cela conduit \u00e0 un risque d&rsquo;avantage incontr\u00f4lable, o\u00f9 le leader actuel en mati\u00e8re d&rsquo;IA puissante pourrait \u00eatre en mesure d&rsquo;accro\u00eetre son avance et devenir difficile \u00e0 rattraper. Nous devons nous assurer que ce n&rsquo;est pas un pays autoritaire qui arrive le premier dans cette boucle.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">De plus, m\u00eame si un \u00e9quilibre des pouvoirs peut \u00eatre atteint, il existe toujours un risque que le monde soit divis\u00e9 en sph\u00e8res autocratiques, comme dans <em>1984<\/em>. M\u00eame si plusieurs puissances concurrentes disposent chacune de leurs propres mod\u00e8les d&rsquo;IA puissants et qu&rsquo;aucune ne peut dominer les autres, chaque puissance pourrait toujours r\u00e9primer sa propre population en interne et serait tr\u00e8s difficile \u00e0 renverser (car les populations ne disposent pas d&rsquo;une IA puissante pour se d\u00e9fendre). Il est donc important d&#8217;emp\u00eacher l&rsquo;autocratie rendue possible par l&rsquo;IA, m\u00eame si cela n&rsquo;aboutit pas \u00e0 la domination du monde par un seul pays.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\"><strong><em>D\u00e9fenses<\/em><\/strong><\/h3>\n\n\n\n<p class=\"wp-block-paragraph\">Comment nous d\u00e9fendre contre ce large \u00e9ventail d&rsquo;outils autocratiques et d&rsquo;acteurs potentiellement mena\u00e7ants ? Comme dans les sections pr\u00e9c\u00e9dentes, je pense que nous pouvons faire plusieurs choses. Tout d&rsquo;abord, nous ne devons absolument pas vendre de puces, d&rsquo;outils de fabrication de puces ou de centres de donn\u00e9es au PCC. Les puces et les outils de fabrication de puces constituent le principal obstacle \u00e0 une IA puissante, et les bloquer est une mesure simple mais extr\u00eamement efficace, peut-\u00eatre la plus importante que nous puissions prendre. Il est absurde de vendre au PCC les outils qui lui permettront de construire un \u00c9tat totalitaire bas\u00e9 sur l&rsquo;IA et \u00e9ventuellement de nous conqu\u00e9rir militairement. Un certain nombre d&rsquo;arguments complexes sont avanc\u00e9s pour justifier ces ventes, comme l&rsquo;id\u00e9e que \u00ab diffuser notre technologie dans le monde entier \u00bb permet \u00ab \u00e0 l&rsquo;Am\u00e9rique de gagner \u00bb dans une guerre \u00e9conomique g\u00e9n\u00e9rale et bataille \u00e9conomique non sp\u00e9cifi\u00e9e. \u00c0 mon avis, cela revient \u00e0 vendre des armes nucl\u00e9aires \u00e0 la Cor\u00e9e du Nord, puis \u00e0 se vanter que les coques des missiles sont fabriqu\u00e9es par Boeing et que les \u00c9tats-Unis sont donc \u00ab gagnent \u00bb. La Chine a plusieurs ann\u00e9es de retard sur les \u00c9tats-Unis en mati\u00e8re de capacit\u00e9 \u00e0 produire des puces de pointe en quantit\u00e9, et la p\u00e9riode critique pour construire le pays des g\u00e9nies dans un centre de donn\u00e9es se situera tr\u00e8s probablement au cours des prochaines ann\u00e9es.<sup id=\"mfn-content-00000000000008570000000000000000_9492-35\" class=\"modern-footnotes-footnote modern-footnotes-footnote--hover-on-desktop \" data-mfn=\"35\" data-mfn-post-scope=\"00000000000008570000000000000000_9492\"><a href=\"javascript:void(0)\"  role=\"button\" aria-pressed=\"false\" aria-describedby=\"mfn-content-00000000000008570000000000000000_9492-35\">35<\/a><\/sup><span role=\"tooltip\" class=\"modern-footnotes-footnote__note\" tabindex=\"0\" data-mfn=\"35\">Pour \u00eatre clair, je pense que la bonne strat\u00e9gie consiste \u00e0 ne pas vendre de puces \u00e0 la Chine, m\u00eame si le d\u00e9lai n\u00e9cessaire pour mettre au point une IA puissante \u00e9tait beaucoup plus long. Nous ne pouvons pas rendre les Chinois \u00ab d\u00e9pendants \u00bb aux puces am\u00e9ricaines : ils sont d\u00e9termin\u00e9s \u00e0 d\u00e9velopper leur propre industrie de puces d\u2019une mani\u00e8re ou d\u2019une autre. Cela leur prendra de nombreuses ann\u00e9es, et en leur vendant des puces, nous ne faisons que leur donner un coup de pouce pendant cette p\u00e9riode.<\/span><\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Il n&rsquo;y a aucune raison de donner un coup de pouce gigantesque \u00e0 leur industrie de l&rsquo;IA pendant cette p\u00e9riode critique.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Deuxi\u00e8mement, il est logique d&rsquo;utiliser l&rsquo;IA pour donner aux d\u00e9mocraties les moyens de r\u00e9sister aux autocraties. C&rsquo;est la raison pour laquelle Anthropic consid\u00e8re qu&rsquo;il est important de fournir l&rsquo;IA aux communaut\u00e9s du renseignement et de la d\u00e9fense aux \u00c9tats-Unis et \u00e0 leurs alli\u00e9s d\u00e9mocratiques. La d\u00e9fense des d\u00e9mocraties attaqu\u00e9es, telles que l&rsquo;Ukraine et (via des cyberattaques) Ta\u00efwan, semble particuli\u00e8rement prioritaire, tout comme le fait de donner aux d\u00e9mocraties les moyens d&rsquo;utiliser leurs services de renseignement pour perturber et affaiblir les autocraties de l&rsquo;int\u00e9rieur. \u00c0 un certain niveau, la seule fa\u00e7on de r\u00e9pondre aux menaces autocratiques est de les \u00e9galer et de les surpasser militairement. Une coalition entre les \u00c9tats-Unis et leurs alli\u00e9s d\u00e9mocratiques, si elle parvenait \u00e0 atteindre la pr\u00e9dominance dans le domaine de l&rsquo;IA puissante, serait en mesure non seulement de se d\u00e9fendre contre les autocraties, mais aussi de les contenir et de limiter leurs abus totalitaires en mati\u00e8re d&rsquo;IA.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Troisi\u00e8mement, nous devons adopter une ligne dure contre les abus de l&rsquo;IA au sein des d\u00e9mocraties. Il faut fixer des limites \u00e0 ce que nous autorisons nos gouvernements \u00e0 faire avec l&rsquo;IA, afin qu&rsquo;ils ne s&#8217;emparent pas du pouvoir ou ne r\u00e9priment pas leur propre population. La formulation que j&rsquo;ai trouv\u00e9e est que nous devrions utiliser l&rsquo;IA pour la d\u00e9fense nationale de toutes les mani\u00e8res possibles, <em>\u00e0 l&rsquo;exception de celles qui nous rendraient plus semblables \u00e0 nos adversaires<\/em> autocratiques.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">O\u00f9 faut-il tracer la ligne ? Dans la liste au d\u00e9but de cette section, deux \u00e9l\u00e9ments \u2013 l&rsquo;utilisation de l&rsquo;IA pour la surveillance de masse et la propagande de masse au niveau national \u2013 me semblent \u00eatre des lignes rouges \u00e9videntes et totalement ill\u00e9gitimes. Certains pourraient arguer qu&rsquo;il n&rsquo;y a pas lieu d&rsquo;agir (du moins aux \u00c9tats-Unis), puisque la surveillance de masse nationale est d\u00e9j\u00e0 ill\u00e9gale en vertu du quatri\u00e8me amendement. Mais les progr\u00e8s rapides de l&rsquo;IA pourraient cr\u00e9er des situations auxquelles nos cadres juridiques existants ne sont pas bien adapt\u00e9s. Par exemple, il ne serait probablement pas inconstitutionnel pour le gouvernement am\u00e9ricain d&rsquo;enregistrer \u00e0 grande \u00e9chelle toutes les conversations <em>publiques <\/em>(par exemple, ce que les gens se disent entre eux au coin d&rsquo;une rue), et auparavant, il aurait \u00e9t\u00e9 difficile de trier ce volume d&rsquo;informations, mais gr\u00e2ce \u00e0 l&rsquo;IA, tout pourrait \u00eatre transcrit, interpr\u00e9t\u00e9 et triangul\u00e9 afin de dresser un tableau de l&rsquo;attitude et des loyaut\u00e9s d&rsquo;une grande partie ou de la plupart des citoyens. Je soutiendrais une l\u00e9gislation ax\u00e9e sur les libert\u00e9s civiles (voire un amendement constitutionnel) qui impose des garde-fous plus solides contre les abus li\u00e9s \u00e0 l&rsquo;IA.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Les deux autres points, \u00e0 savoir les armes enti\u00e8rement autonomes et l&rsquo;IA pour la prise de d\u00e9cisions strat\u00e9giques, sont plus difficiles \u00e0 traiter, car ils ont des utilisations l\u00e9gitimes pour d\u00e9fendre la d\u00e9mocratie, tout en \u00e9tant susceptibles d&rsquo;abus. Je pense qu&rsquo;il convient ici de faire preuve d&rsquo;une extr\u00eame prudence et d&rsquo;un examen minutieux, associ\u00e9s \u00e0 des garde-fous pour pr\u00e9venir les abus. Ma principale crainte est que trop peu de personnes aient \u00ab le doigt sur le bouton \u00bb, de sorte qu&rsquo;une ou une poign\u00e9e de personnes pourraient essentiellement diriger une arm\u00e9e de drones sans avoir besoin de la coop\u00e9ration d&rsquo;autres humains pour ex\u00e9cuter leurs ordres. \u00c0 mesure que les syst\u00e8mes d&rsquo;IA deviennent plus puissants, nous devrons peut-\u00eatre mettre en place des m\u00e9canismes de contr\u00f4le plus directs et plus imm\u00e9diats pour garantir qu&rsquo;ils ne sont pas utilis\u00e9s \u00e0 mauvais escient, impliquant peut-\u00eatre des branches du gouvernement autres que l&rsquo;ex\u00e9cutif. Je pense que nous devons aborder les armes enti\u00e8rement autonomes avec une grande prudence<sup id=\"mfn-content-00000000000008570000000000000000_9492-36\" class=\"modern-footnotes-footnote modern-footnotes-footnote--hover-on-desktop \" data-mfn=\"36\" data-mfn-post-scope=\"00000000000008570000000000000000_9492\"><a href=\"javascript:void(0)\"  role=\"button\" aria-pressed=\"false\" aria-describedby=\"mfn-content-00000000000008570000000000000000_9492-36\">36<\/a><\/sup><span role=\"tooltip\" class=\"modern-footnotes-footnote__note\" tabindex=\"0\" data-mfn=\"36\">Pour \u00eatre clair, la plupart des armes utilis\u00e9es aujourd\u2019hui en Ukraine et \u00e0 Ta\u00efwan ne sont pas\u00a0<em>enti\u00e8rement\u00a0<\/em>autonomes. Elles le deviendront, mais ce n\u2019est pas le cas aujourd\u2019hui.<\/span> et ne pas nous pr\u00e9cipiter dans leur utilisation sans garanties appropri\u00e9es.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Quatri\u00e8mement, apr\u00e8s avoir pris une position ferme contre les abus de l&rsquo;IA dans les d\u00e9mocraties, nous devrions utiliser ce pr\u00e9c\u00e9dent pour cr\u00e9er un tabou international contre les pires abus d&rsquo;une IA puissante. Je reconnais que le vent politique actuel s&rsquo;est retourn\u00e9 contre la coop\u00e9ration internationale et les normes internationales, mais c&rsquo;est un cas o\u00f9 nous en avons cruellement besoin. Le monde doit comprendre le potentiel sombre d&rsquo;une IA puissante entre les mains d&rsquo;autocrates et reconna\u00eetre que certaines utilisations de l&rsquo;IA \u00e9quivalent \u00e0 une tentative de voler d\u00e9finitivement leur libert\u00e9 et d&rsquo;imposer un \u00c9tat totalitaire dont ils ne peuvent s&rsquo;\u00e9chapper. J&rsquo;irais m\u00eame jusqu&rsquo;\u00e0 dire que, dans certains cas, la surveillance \u00e0 grande \u00e9chelle \u00e0 l&rsquo;aide d&rsquo;une IA puissante, la propagande de masse \u00e0 l&rsquo;aide d&rsquo;une IA puissante et certains types d&rsquo;utilisations <em>offensives <\/em>d&rsquo;armes enti\u00e8rement autonomes devraient \u00eatre consid\u00e9r\u00e9s comme des crimes contre l&rsquo;humanit\u00e9. Plus g\u00e9n\u00e9ralement, il est absolument n\u00e9cessaire de mettre en place une norme solide contre le totalitarisme rendu possible par l&rsquo;IA et tous ses outils et instruments.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Il est possible d&rsquo;adopter une position encore plus forte, \u00e0 savoir que, compte tenu des possibilit\u00e9s tr\u00e8s sombres offertes par le totalitarisme rendu possible par l&rsquo;IA, l&rsquo;autocratie n&rsquo;est tout simplement pas une forme de gouvernement que les gens peuvent accepter \u00e0 l&rsquo;\u00e8re de l&rsquo;IA puissante. Tout comme le f\u00e9odalisme est devenu inapplicable avec la r\u00e9volution industrielle, l&rsquo;\u00e8re de l&rsquo;IA pourrait conduire in\u00e9vitablement et logiquement \u00e0 la conclusion que la d\u00e9mocratie (et, esp\u00e9rons-le, une d\u00e9mocratie am\u00e9lior\u00e9e et revigor\u00e9e par l&rsquo;IA, comme je l&rsquo;explique dans <em>Machines of Loving Grace<\/em>) est la seule forme de gouvernement viable si l&rsquo;humanit\u00e9 veut avoir un avenir prometteur.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Cinqui\u00e8mement et enfin, les entreprises d&rsquo;IA devraient \u00eatre surveill\u00e9es de pr\u00e8s, tout comme leurs liens avec le gouvernement, qui sont n\u00e9cessaires, mais doivent avoir des limites et des fronti\u00e8res. La puissance des capacit\u00e9s incarn\u00e9es par une IA puissante est telle que la gouvernance d&rsquo;entreprise ordinaire , con\u00e7ue pour prot\u00e9ger les actionnaires et pr\u00e9venir les abus courants tels que la fraude, soit \u00e0 la hauteur de la t\u00e2che consistant \u00e0 r\u00e9gir les entreprises d&rsquo;IA. Il pourrait \u00e9galement \u00eatre utile que les entreprises s&rsquo;engagent publiquement (peut-\u00eatre m\u00eame dans le cadre de la gouvernance d&rsquo;entreprise) \u00e0 ne pas prendre certaines mesures, telles que la construction ou le stockage priv\u00e9 de mat\u00e9riel militaire, l&rsquo;utilisation de grandes quantit\u00e9s de ressources informatiques par des individus de mani\u00e8re irresponsable, ou l&rsquo;utilisation de leurs produits d&rsquo;IA comme propagande pour manipuler l&rsquo;opinion publique en leur faveur.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Le danger ici provient de plusieurs directions, et certaines directions sont en tension avec d&rsquo;autres. La seule constante est que nous devons rechercher la responsabilit\u00e9, des normes et des garde-fous pour tous, m\u00eame si nous donnons aux \u00ab bons \u00bb acteurs les moyens de contr\u00f4ler les \u00ab mauvais \u00bb acteurs.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\"><strong>4. Piano m\u00e9canique<\/strong><\/h2>\n\n\n\n<h3 class=\"wp-block-heading\"><strong><em>Perturbation \u00e9conomique<\/em><\/strong><\/h3>\n\n\n\n<p class=\"wp-block-paragraph\">Les trois sections pr\u00e9c\u00e9dentes traitaient essentiellement des risques s\u00e9curitaires pos\u00e9s par une IA puissante : les risques li\u00e9s \u00e0 l&rsquo;IA elle-m\u00eame, les risques li\u00e9s \u00e0 une utilisation abusive par des individus et des petites organisations, et les risques li\u00e9s \u00e0 une utilisation abusive par des \u00c9tats et des grandes organisations. Si nous mettons de c\u00f4t\u00e9 les risques s\u00e9curitaires ou supposons qu&rsquo;ils ont \u00e9t\u00e9 r\u00e9solus, la question suivante est d&rsquo;ordre \u00e9conomique. Quel sera l&rsquo;effet de cet apport incroyable de \u00ab capital humain \u00bb \u00bb sur l&rsquo;\u00e9conomie ? Il est clair que l&rsquo;effet le plus \u00e9vident sera une forte augmentation de la croissance \u00e9conomique. Le rythme des progr\u00e8s de la recherche scientifique, de l&rsquo;innovation biom\u00e9dicale, de la fabrication, des cha\u00eenes d&rsquo;approvisionnement, de l&rsquo;efficacit\u00e9 du syst\u00e8me financier et bien d&rsquo;autres domaines encore conduira presque \u00e0 coup s\u00fbr \u00e0 une acc\u00e9l\u00e9ration consid\u00e9rable de la croissance \u00e9conomique. Dans <em>Machines of Loving Grace<\/em>, je sugg\u00e8re qu&rsquo;un taux de croissance annuel soutenu du PIB de 10 \u00e0 20 % pourrait \u00eatre possible.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Mais il faut bien comprendre qu&rsquo;il s&rsquo;agit d&rsquo;une arme \u00e0 double tranchant : quelles sont les perspectives \u00e9conomiques pour la plupart des \u00eatres humains dans un tel monde ? Les nouvelles technologies provoquent souvent des chocs sur le march\u00e9 du travail, et dans le pass\u00e9, les \u00eatres humains s&rsquo;en sont toujours remis, mais je crains que cela soit d\u00fb au fait que ces chocs ant\u00e9rieurs n&rsquo;ont touch\u00e9 qu&rsquo;une petite fraction de l&rsquo;\u00e9ventail complet des capacit\u00e9s humaines, laissant aux \u00eatres humains la possibilit\u00e9 de se tourner vers de nouvelles t\u00e2ches. L&rsquo;IA aura des effets beaucoup plus larges et beaucoup plus rapides, et je crains donc qu&rsquo;il soit beaucoup plus difficile de faire en sorte que tout se passe bien.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\"><strong><em>Perturbation du march\u00e9 du travail<\/em><\/strong><\/h3>\n\n\n\n<p class=\"wp-block-paragraph\">Deux probl\u00e8mes sp\u00e9cifiques me pr\u00e9occupent : le d\u00e9placement du march\u00e9 du travail et la concentration du pouvoir \u00e9conomique. Commen\u00e7ons par le premier. C&rsquo;est un sujet sur lequel j&rsquo;ai <a href=\"https:\/\/www.axios.com\/2025\/05\/28\/ai-jobs-white-collar-unemployment-anthropic\">mis en garde tr\u00e8s publiquement en 2025<\/a>, lorsque j&rsquo;ai pr\u00e9dit que l&rsquo;IA pourrait remplacer la moiti\u00e9 de tous les emplois de cols blancs d\u00e9butants dans les 1 \u00e0 5 prochaines ann\u00e9es, m\u00eame si elle acc\u00e9l\u00e8re la croissance \u00e9conomique et le progr\u00e8s scientifique. Cet avertissement a lanc\u00e9 un d\u00e9bat public sur le sujet. De nombreux PDG, technologues et \u00e9conomistes \u00e9taient d&rsquo;accord avec moi, mais d&rsquo;autres ont suppos\u00e9 que j&rsquo;\u00e9tais victime d&rsquo;un \u00ab fallacie de la masse de travail \u00bb et que je ne comprenais pas le fonctionnement du march\u00e9 du travail. Certains n&rsquo;ont pas pris en compte la p\u00e9riode de 1 \u00e0 5 ans et ont pens\u00e9 que je pr\u00e9tendais que l&rsquo;IA supprimait des emplois d\u00e8s maintenant (ce qui, je le reconnais, n&rsquo;est probablement pas le cas). Il est donc utile d&rsquo;expliquer en d\u00e9tail pourquoi je m&rsquo;inqui\u00e8te de la suppression d&#8217;emplois, afin de dissiper ces malentendus.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Pour commencer, il est utile de comprendre comment les march\u00e9s du travail r\u00e9agissent <em>normalement<\/em> aux progr\u00e8s technologiques. Lorsqu&rsquo;une nouvelle technologie appara\u00eet, elle commence par rendre certaines t\u00e2ches humaines plus efficaces. Par exemple, au d\u00e9but de la r\u00e9volution industrielle, des machines telles que des charrues am\u00e9lior\u00e9es permettent aux agriculteurs d&rsquo;\u00eatre plus efficaces dans certains aspects de leur travail. Cela am\u00e9liore la productivit\u00e9 des agriculteurs, ce qui augmente leurs salaires.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Dans un deuxi\u00e8me temps, certaines t\u00e2ches agricoles peuvent \u00eatre <em>enti\u00e8rement<\/em> r\u00e9alis\u00e9es par des machines, par exemple avec l&rsquo;invention de la <a href=\"https:\/\/en.wikipedia.org\/wiki\/Threshing_machine\">batteuse<\/a> ou du <a href=\"https:\/\/en.wikipedia.org\/wiki\/Seed_drill\">semoir<\/a>. \u00c0 ce stade, les humains effectuaient une part de plus en plus faible du travail, mais le travail qu&rsquo;ils <em>effectuaient<\/em> \u00e9tait de plus en plus valoris\u00e9 car il \u00e9tait compl\u00e9mentaire du travail des machines, et leur productivit\u00e9 continuait d&rsquo;augmenter. Comme le d\u00e9crit le <a href=\"https:\/\/en.wikipedia.org\/wiki\/Jevons_paradox\">paradoxe de Jevons<\/a>, les salaires des agriculteurs, et peut-\u00eatre m\u00eame leur nombre, ont continu\u00e9 d&rsquo;augmenter. M\u00eame lorsque 90 % du travail est effectu\u00e9 par des machines, les humains peuvent simplement faire 10 fois plus des 10 % qu&rsquo;ils font encore, produisant 10 fois plus pour la m\u00eame quantit\u00e9 de travail.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Finalement, les machines font tout ou presque tout, comme c&rsquo;est le cas avec les <a href=\"https:\/\/en.wikipedia.org\/wiki\/Combine_harvester\">moissonneuses-batteuses<\/a>, les tracteurs et autres \u00e9quipements modernes. \u00c0 ce stade, l&rsquo;agriculture en tant que forme d&#8217;emploi humain conna\u00eet un d\u00e9clin rapide, ce qui peut entra\u00eener de graves perturbations \u00e0 court terme, mais comme l&rsquo;agriculture n&rsquo;est qu&rsquo;une des nombreuses activit\u00e9s utiles que les humains sont capables d&rsquo;exercer, les gens finissent par se tourner vers d&rsquo;autres emplois, tels que l&rsquo;utilisation de machines dans les usines. Cela est vrai m\u00eame si l&rsquo;agriculture repr\u00e9sentait auparavant une part importante de l&#8217;emploi. Il y a 250 ans, 90 % des Am\u00e9ricains <a href=\"https:\/\/www.nass.usda.gov\/About_NASS\/History_of_Ag_Statistics\/index.php\">vivaient dans des fermes<\/a> ; en Europe, 50 \u00e0 60 % de l&#8217;emploi <a href=\"https:\/\/ourworldindata.org\/grapher\/share-of-the-labor-force-employed-in-agriculture?time=1750..latest\">\u00e9tait agricole<\/a>. Aujourd&rsquo;hui, ces pourcentages sont inf\u00e9rieurs \u00e0 10 % dans ces r\u00e9gions, car les travailleurs se sont tourn\u00e9s vers des emplois industriels (puis vers des emplois intellectuels). L&rsquo;\u00e9conomie peut accomplir ce qui n\u00e9cessitait auparavant la majeure partie de la main-d&rsquo;\u0153uvre avec seulement 1 \u00e0 2 % de celle-ci, lib\u00e9rant ainsi le reste de la main-d&rsquo;\u0153uvre pour construire une soci\u00e9t\u00e9 industrielle toujours plus avanc\u00e9e. Il n&rsquo;y a pas de \u00ab <a href=\"https:\/\/en.wikipedia.org\/wiki\/Lump_of_labour_fallacy\">masse de travail<\/a> \u00bb fixe, mais seulement une capacit\u00e9 toujours croissante \u00e0 faire <a href=\"https:\/\/en.wikipedia.org\/wiki\/Ephemeralization\">de plus en plus avec de moins en moins<\/a>. Les salaires des gens augmentent en fonction de la croissance exponentielle du PIB et l&rsquo;\u00e9conomie maintient le plein emploi une fois que les perturbations \u00e0 court terme ont disparu.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Il est possible que les choses se passent \u00e0 peu pr\u00e8s de la m\u00eame mani\u00e8re avec l&rsquo;IA, mais je parierais plut\u00f4t contre. Voici quelques raisons pour lesquelles je pense que l&rsquo;IA sera probablement diff\u00e9rente :<\/p>\n\n\n\n<ul class=\"wp-block-list\">\n<li><strong>Vitesse. <\/strong>Le rythme des progr\u00e8s en mati\u00e8re d&rsquo;IA est beaucoup plus rapide que lors des r\u00e9volutions technologiques pr\u00e9c\u00e9dentes. Par exemple, au cours des deux derni\u00e8res ann\u00e9es, les mod\u00e8les d&rsquo;IA sont pass\u00e9s de la capacit\u00e9 \u00e0 peine suffisante pour \u00e9crire une seule ligne de code \u00e0 celle d&rsquo;<a href=\"https:\/\/x.com\/bcherny\/status\/2004887829252317325\">\u00e9crire tout ou presque tout le code<\/a> pour certaines personnes, y compris les ing\u00e9nieurs d&rsquo;Anthropic.<sup id=\"mfn-content-00000000000008570000000000000000_9492-37\" class=\"modern-footnotes-footnote modern-footnotes-footnote--hover-on-desktop \" data-mfn=\"37\" data-mfn-post-scope=\"00000000000008570000000000000000_9492\"><a href=\"javascript:void(0)\"  role=\"button\" aria-pressed=\"false\" aria-describedby=\"mfn-content-00000000000008570000000000000000_9492-37\">37<\/a><\/sup><span role=\"tooltip\" class=\"modern-footnotes-footnote__note\" tabindex=\"0\" data-mfn=\"37\">Notre carte mod\u00e8le pour\u00a0<a href=\"https:\/\/assets.anthropic.com\/m\/64823ba7485345a7\/Claude-Opus-4-5-System-Card.pdf\">Claude Opus 4. 5<\/a>, notre mod\u00e8le le plus r\u00e9cent, montre qu\u2019Opus obtient de meilleurs r\u00e9sultats lors d\u2019un entretien d\u2019ing\u00e9nierie des performances fr\u00e9quemment organis\u00e9 chez Anthropic que n\u2019importe quel candidat dans l\u2019histoire de l\u2019entreprise.<\/span> Bient\u00f4t, ils pourraient \u00eatre capables d&rsquo;effectuer l&rsquo;ensemble des t\u00e2ches d&rsquo;un ing\u00e9nieur logiciel de bout en bout.<sup id=\"mfn-content-00000000000008570000000000000000_9492-38\" class=\"modern-footnotes-footnote modern-footnotes-footnote--hover-on-desktop \" data-mfn=\"38\" data-mfn-post-scope=\"00000000000008570000000000000000_9492\"><a href=\"javascript:void(0)\"  role=\"button\" aria-pressed=\"false\" aria-describedby=\"mfn-content-00000000000008570000000000000000_9492-38\">38<\/a><\/sup><span role=\"tooltip\" class=\"modern-footnotes-footnote__note\" tabindex=\"0\" data-mfn=\"38\">\u00ab \u00c9crire tout le code \u00bb et \u00ab accomplir la t\u00e2che d\u2019un ing\u00e9nieur logiciel de bout en bout \u00bb sont deux choses tr\u00e8s diff\u00e9rentes, car les ing\u00e9nieurs logiciels font bien plus que simplement \u00e9crire du code, notamment tester, g\u00e9rer les environnements, les fichiers et l\u2019installation, g\u00e9rer les d\u00e9ploiements informatiques dans le cloud, l\u2019it\u00e9ration sur les produits, et bien plus encore.<\/span><\/li>\n\n\n\n<li><strong>Ampleur cognitive. <\/strong>Comme le sugg\u00e8re l&rsquo;expression \u00ab pays de g\u00e9nies dans un centre de donn\u00e9es \u00bb, l&rsquo;IA sera capable d&rsquo;exercer un tr\u00e8s large \u00e9ventail de capacit\u00e9s cognitives humaines, voire toutes. Cela diff\u00e8re consid\u00e9rablement des technologies pr\u00e9c\u00e9dentes telles que l&rsquo;agriculture m\u00e9canis\u00e9e, les transports ou m\u00eame les ordinateurs.<sup id=\"mfn-content-00000000000008570000000000000000_9492-39\" class=\"modern-footnotes-footnote modern-footnotes-footnote--hover-on-desktop \" data-mfn=\"39\" data-mfn-post-scope=\"00000000000008570000000000000000_9492\"><a href=\"javascript:void(0)\"  role=\"button\" aria-pressed=\"false\" aria-describedby=\"mfn-content-00000000000008570000000000000000_9492-39\">39<\/a><\/sup><span role=\"tooltip\" class=\"modern-footnotes-footnote__note\" tabindex=\"0\" data-mfn=\"39\">Les ordinateurs sont g\u00e9n\u00e9raux dans un certain sens, mais ils sont clairement incapables, \u00e0 eux seuls, d\u2019exercer la grande majorit\u00e9 des capacit\u00e9s cognitives humaines, m\u00eame s\u2019ils surpassent largement les humains dans quelques domaines (comme l\u2019arithm\u00e9tique). Bien s\u00fbr, les \u00e9l\u00e9ments construits\u00a0<em>sur la base\u00a0<\/em>des ordinateurs, tels que l\u2019IA, sont d\u00e9sormais capables d\u2019un large \u00e9ventail de capacit\u00e9s cognitives, ce qui est le sujet de cet essai.<\/span><\/li>\n\n\n\n<li><strong>D\u00e9coupage par capacit\u00e9 cognitive. <\/strong>Dans un large \u00e9ventail de t\u00e2ches, l&rsquo;IA semble progresser du bas vers le haut de l&rsquo;\u00e9chelle des capacit\u00e9s. Par exemple, en mati\u00e8re de codage, nos mod\u00e8les sont pass\u00e9s du niveau \u00ab codeur m\u00e9diocre \u00bb \u00e0 \u00ab codeur performant \u00bb, puis \u00e0 \u00ab codeur tr\u00e8s performant \u00bb.<sup id=\"mfn-content-00000000000008570000000000000000_9492-40\" class=\"modern-footnotes-footnote modern-footnotes-footnote--hover-on-desktop \" data-mfn=\"40\" data-mfn-post-scope=\"00000000000008570000000000000000_9492\"><a href=\"javascript:void(0)\"  role=\"button\" aria-pressed=\"false\" aria-describedby=\"mfn-content-00000000000008570000000000000000_9492-40\">40<\/a><\/sup><span role=\"tooltip\" class=\"modern-footnotes-footnote__note\" tabindex=\"0\" data-mfn=\"40\">Pour \u00eatre clair, les mod\u00e8les d\u2019IA n\u2019ont pas exactement le m\u00eame profil de forces et de faiblesses que les humains. Mais ils progressent \u00e9galement de mani\u00e8re assez uniforme dans toutes les dimensions, de sorte qu\u2019un profil irr\u00e9gulier ou in\u00e9gal n\u2019a finalement peut-\u00eatre pas d\u2019importance<\/span><\/li>\n\n\n\n<li><strong>Capacit\u00e9 \u00e0 combler les lacunes. <\/strong>Les emplois humains s&rsquo;adaptent souvent aux nouvelles technologies de la mani\u00e8re suivante : les emplois comportent de nombreux aspects, et les nouvelles technologies, m\u00eame si elles semblent remplacer directement les humains, pr\u00e9sentent souvent des lacunes. Si quelqu&rsquo;un invente une machine pour fabriquer des gadgets, les humains peuvent encore devoir charger les mati\u00e8res premi\u00e8res dans la machine. M\u00eame si cela ne demande que 1 % de l&rsquo;effort n\u00e9cessaire pour fabriquer les gadgets \u00e0 la main, les travailleurs humains peuvent simplement fabriquer 100 fois plus de gadgets. Mais l&rsquo;IA, en plus d&rsquo;\u00eatre une technologie en rapide \u00e9volution, est \u00e9galement une technologie qui s&rsquo;<em>adapte <\/em>rapidement. \u00c0 chaque sortie d&rsquo;un nouveau mod\u00e8le, les entreprises d&rsquo;IA \u00e9valuent soigneusement les points forts et les points faibles du mod\u00e8le, et les clients fournissent \u00e9galement ces informations apr\u00e8s le lancement. Les faiblesses peuvent \u00eatre corrig\u00e9es en recueillant les t\u00e2ches qui illustrent les lacunes actuelles et en les int\u00e9grant dans la formation du prochain mod\u00e8le. Au d\u00e9but de l&rsquo;IA g\u00e9n\u00e9rative, les utilisateurs ont remarqu\u00e9 que les syst\u00e8mes d&rsquo;IA pr\u00e9sentaient certaines faiblesses (telles que des mod\u00e8les d&rsquo;images IA g\u00e9n\u00e9rant des mains avec un nombre incorrect de doigts) et beaucoup ont suppos\u00e9 que ces faiblesses \u00e9taient inh\u00e9rentes \u00e0 la technologie. Si tel \u00e9tait le cas, cela limiterait les perturbations sur le march\u00e9 du travail. Mais la quasi-totalit\u00e9 de ces faiblesses sont rapidement corrig\u00e9es, souvent en l&rsquo;espace de quelques mois seulement.<\/li>\n<\/ul>\n\n\n\n<p class=\"wp-block-paragraph\">Il est difficile pour les gens de s&rsquo;adapter \u00e0 ce rythme de changement, tant au niveau des modifications apport\u00e9es au fonctionnement d&rsquo;un emploi donn\u00e9 qu&rsquo;\u00e0 la n\u00e9cessit\u00e9 de changer d&#8217;emploi. M\u00eame les programmeurs l\u00e9gendaires se d\u00e9crivent de plus en plus souvent comme \u00ab \u00e0 la tra\u00eene \u00bb. Le rythme pourrait m\u00eame continuer \u00e0 s&rsquo;acc\u00e9l\u00e9rer, car les mod\u00e8les de codage de l&rsquo;IA acc\u00e9l\u00e8rent de plus en plus le d\u00e9veloppement de l&rsquo;IA. Pour \u00eatre clair, la vitesse en soi ne signifie pas que les march\u00e9s du travail et l&#8217;emploi ne finiront pas par se redresser, mais simplement que la transition \u00e0 court terme sera particuli\u00e8rement douloureuse par rapport aux technologies pass\u00e9es, car les \u00eatres humains et les march\u00e9s du travail sont lents \u00e0 r\u00e9agir et \u00e0 trouver un \u00e9quilibre.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Il sera donc plus difficile pour les personnes de passer facilement d&rsquo;un emploi supprim\u00e9 \u00e0 un emploi similaire qui leur conviendrait. Par exemple, les capacit\u00e9s intellectuelles g\u00e9n\u00e9rales requises pour les emplois de d\u00e9butants dans les domaines de la finance, du conseil et du droit sont assez similaires, m\u00eame si les connaissances sp\u00e9cifiques sont tr\u00e8s diff\u00e9rentes. Une technologie qui ne perturberait qu&rsquo;un seul de ces trois domaines permettrait aux employ\u00e9s de passer aux deux autres substituts proches (ou aux \u00e9tudiants de premier cycle de changer de fili\u00e8re). Mais perturber les trois \u00e0 la fois (ainsi que de nombreux autres emplois similaires) peut \u00eatre plus difficile \u00e0 adapter pour les gens. De plus, ce n&rsquo;est pas <em>seulement <\/em>que la plupart des emplois existants seront perturb\u00e9s. Cela s&rsquo;est d\u00e9j\u00e0 produit auparavant : rappelez-vous que l&rsquo;agriculture repr\u00e9sentait un pourcentage important de l&#8217;emploi. Mais les agriculteurs pouvaient se reconvertir dans un travail relativement similaire, celui d&rsquo;op\u00e9rateur de machines dans des usines, m\u00eame si ce travail n&rsquo;\u00e9tait pas courant auparavant. En revanche, l&rsquo;IA correspond de plus en plus au profil cognitif g\u00e9n\u00e9ral des humains, ce qui signifie qu&rsquo;elle sera \u00e9galement performante dans les nouveaux emplois qui seraient normalement cr\u00e9\u00e9s en r\u00e9ponse \u00e0 l&rsquo;automatisation des anciens. En d&rsquo;autres termes, l&rsquo;IA ne remplace pas des emplois humains sp\u00e9cifiques, mais constitue plut\u00f4t un substitut g\u00e9n\u00e9ral \u00e0 la main-d&rsquo;\u0153uvre humaine.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Nous commen\u00e7ons maintenant \u00e0 observer la m\u00eame progression dans l&rsquo;ensemble des emplois de bureau. Nous risquons donc de nous retrouver dans une situation o\u00f9, au lieu d&rsquo;affecter les personnes ayant des comp\u00e9tences sp\u00e9cifiques ou exer\u00e7ant des professions sp\u00e9cifiques (qui peuvent s&rsquo;adapter en se recyclant), l&rsquo;IA affecte les personnes ayant certaines propri\u00e9t\u00e9s cognitives intrins\u00e8ques, \u00e0 savoir une capacit\u00e9 intellectuelle moindre (qui est plus difficile \u00e0 changer) . On ne sait pas clairement o\u00f9 ces personnes iront ni ce qu&rsquo;elles feront, et je crains qu&rsquo;elles ne forment une \u00ab sous-classe \u00bb de ch\u00f4meurs ou de travailleurs \u00e0 tr\u00e8s bas salaire. Pour \u00eatre clair, des situations similaires se sont d\u00e9j\u00e0 produites auparavant : par exemple, certains \u00e9conomistes consid\u00e8rent que les ordinateurs et Internet repr\u00e9sentent un \u00ab <a href=\"https:\/\/www.sciencedirect.com\/science\/chapter\/handbook\/abs\/pii\/S0169721811024105\">changement technologique biais\u00e9 en faveur des comp\u00e9tences<\/a> \u00bb. Mais ce biais en faveur des comp\u00e9tences n&rsquo;\u00e9tait pas aussi extr\u00eame que ce que je pr\u00e9vois avec l&rsquo;IA, et il aurait contribu\u00e9 \u00e0 accro\u00eetre les in\u00e9galit\u00e9s salariale<sup id=\"mfn-content-00000000000008570000000000000000_9492-41\" class=\"modern-footnotes-footnote modern-footnotes-footnote--hover-on-desktop \" data-mfn=\"41\" data-mfn-post-scope=\"00000000000008570000000000000000_9492\"><a href=\"javascript:void(0)\"  role=\"button\" aria-pressed=\"false\" aria-describedby=\"mfn-content-00000000000008570000000000000000_9492-41\">41<\/a><\/sup><span role=\"tooltip\" class=\"modern-footnotes-footnote__note\" tabindex=\"0\" data-mfn=\"41\">Bien que cette id\u00e9e fasse l\u2019<a href=\"https:\/\/davidcard.berkeley.edu\/papers\/skill-tech-change.pdf\">objet d\u2019un d\u00e9bat<\/a>\u00a0<a href=\"https:\/\/jhr.uwpress.org\/content\/58\/6\/1783.abstract\">parmi les<\/a>\u00a0<a href=\"https:\/\/www.epi.org\/publication\/technology-inequality-dont-blame-the-robots\/\">\u00e9conomistes.<\/a><\/span>, ce qui n&rsquo;est pas vraiment un pr\u00e9c\u00e9dent rassurant.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Il convient d&rsquo;aborder les points communs de scepticisme. Premi\u00e8rement, certains affirment que la diffusion \u00e9conomique sera lente, de sorte que m\u00eame si la technologie sous-jacente est <em>capable d&rsquo;<\/em>effectuer la plupart des t\u00e2ches humaines, son application r\u00e9elle dans l&rsquo;ensemble de l&rsquo;\u00e9conomie pourrait \u00eatre beaucoup plus lente (par exemple dans les secteurs \u00e9loign\u00e9s de l&rsquo;industrie de l&rsquo;IA et lents \u00e0 l&rsquo;adopter). La lenteur de la diffusion de la technologie est <a href=\"https:\/\/www.ft.com\/content\/3b93e647-2a8b-4fb4-831d-e27adf4db5f8\">bien r\u00e9elle<\/a> : je discute avec des personnes issues d&rsquo;entreprises tr\u00e8s diverses, et dans certains cas, l&rsquo;adoption de l&rsquo;IA prendra des ann\u00e9es. C&rsquo;est pourquoi je pr\u00e9vois que 50 % des emplois de cols blancs d\u00e9butants seront perturb\u00e9s d&rsquo;ici 1 \u00e0 5 ans, m\u00eame si je pense que nous disposerons d&rsquo;une IA puissante (qui serait, suffisante, d&rsquo;un point de vue technologique, pour effectuer la <em>plupart ou la totalit\u00e9 des <\/em>t\u00e2ches, et pas seulement celles de niveau d\u00e9butant) dans beaucoup moins de cinq ans. Mais les effets de diffusion ne font que nous faire gagner du temps. Et je ne suis pas convaincu qu&rsquo;ils seront aussi lents que les gens le pr\u00e9disent. L&rsquo;adoption de l&rsquo;IA par les entreprises progresse \u00e0 un rythme beaucoup plus rapide que n&rsquo;importe quelle technologie pr\u00e9c\u00e9dente, en grande partie gr\u00e2ce \u00e0 la puissance pure de la technologie elle-m\u00eame. De plus, m\u00eame si les entreprises traditionnelles sont lentes \u00e0 adopter les nouvelles technologies, des start-ups verront le jour pour servir de \u00ab ciment \u00bb et faciliter l&rsquo;adoption. Si cela ne fonctionne pas, les start-ups pourraient tout simplement perturber directement les entreprises en place.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Cela pourrait conduire \u00e0 un monde o\u00f9 ce ne sont pas tant des emplois sp\u00e9cifiques qui sont perturb\u00e9s, mais plut\u00f4t les grandes entreprises en g\u00e9n\u00e9ral, qui sont remplac\u00e9es par des start-ups beaucoup moins gourmandes en main-d&rsquo;\u0153uvre. Cela pourrait \u00e9galement conduire \u00e0 un monde de \u00ab in\u00e9galit\u00e9s g\u00e9ographiques \u00bb, o\u00f9 une part croissante de la richesse mondiale serait concentr\u00e9e dans la Silicon Valley, qui deviendrait une \u00e9conomie \u00e0 part enti\u00e8re fonctionnant \u00e0 un rythme diff\u00e9rent du reste du monde et le laissant derri\u00e8re elle. Tous ces r\u00e9sultats seraient excellents pour la croissance \u00e9conomique, mais moins pour le march\u00e9 du travail ou ceux qui sont laiss\u00e9s pour compte.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Deuxi\u00e8mement, certains affirment que les emplois humains se d\u00e9placeront vers le monde physique, ce qui \u00e9viterait toute la cat\u00e9gorie du \u00ab travail cognitif \u00bb, o\u00f9 l&rsquo;IA progresse si rapidement. Je ne suis pas s\u00fbr non plus que cela soit tr\u00e8s s\u00fbr. Une grande partie du travail physique est d\u00e9j\u00e0 effectu\u00e9e par des machines (par exemple, la fabrication) ou seront bient\u00f4t effectu\u00e9s par des machines (par exemple, la conduite). De plus, une IA suffisamment puissante sera capable d&rsquo;acc\u00e9l\u00e9rer le d\u00e9veloppement des robots, puis de contr\u00f4ler ces robots dans le monde physique. Cela permettra peut-\u00eatre de gagner un peu de temps (ce qui est une bonne chose), mais je crains que ce ne soit pas suffisant. Et m\u00eame si la perturbation se limitait aux t\u00e2ches cognitives, elle n&rsquo;en resterait pas moins d&rsquo;une ampleur et d&rsquo;une rapidit\u00e9 sans pr\u00e9c\u00e9dent.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Troisi\u00e8mement, peut-\u00eatre que certaines t\u00e2ches n\u00e9cessitent intrins\u00e8quement une touche humaine ou en tirent grandement profit. Je suis un peu plus incertain \u00e0 ce sujet, mais je reste sceptique quant au fait que cela suffise \u00e0 compenser l&rsquo;essentiel des impacts que j&rsquo;ai d\u00e9crits ci-dessus. L&rsquo;IA est d\u00e9j\u00e0 largement utilis\u00e9e pour le service \u00e0 la client\u00e8le. Beaucoup de gens <a href=\"https:\/\/undark.org\/2025\/11\/04\/chatbot-mental-health\/\">d\u00e9clarent qu&rsquo;<\/a>il est plus facile de parler de leurs probl\u00e8mes personnels \u00e0 une IA qu&rsquo;\u00e0 un th\u00e9rapeute, car l&rsquo;IA est plus patiente. Lorsque ma s\u0153ur a \u00e9t\u00e9 confront\u00e9e \u00e0 des probl\u00e8mes m\u00e9dicaux pendant sa grossesse, elle avait l&rsquo;impression de ne pas obtenir les r\u00e9ponses ou le soutien dont elle avait besoin de la part de ses prestataires de soins, et elle a trouv\u00e9 que Claude avait un meilleur contact avec les patients (et r\u00e9ussissait mieux \u00e0 diagnostiquer le probl\u00e8me). Je suis s\u00fbr qu&rsquo;il existe certaines t\u00e2ches pour lesquelles le contact humain est vraiment important, mais je ne sais pas combien. Or, nous parlons ici de trouver du travail pour presque tout le monde sur le march\u00e9 du travail.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Quatri\u00e8mement, certains diront que l&rsquo;avantage comparatif prot\u00e9gera toujours les humains. Selon la <a href=\"https:\/\/en.wikipedia.org\/wiki\/Comparative_advantage\">loi de l&rsquo;avantage comparatif<\/a>, m\u00eame si l&rsquo;IA est meilleure que les humains dans tous les domaines, toute diff\u00e9rence <em>relative entre <\/em>les comp\u00e9tences humaines et celles de l&rsquo;IA cr\u00e9e une base d&rsquo;\u00e9change et de sp\u00e9cialisation entre les humains et l&rsquo;IA. Le probl\u00e8me est que si les IA sont litt\u00e9ralement des milliers de fois plus productives que les humains, cette logique commence \u00e0 s&rsquo;effondrer. M\u00eame de minuscules <a href=\"https:\/\/en.wikipedia.org\/wiki\/Transaction_cost\">co\u00fbts de transaction<\/a> pourraient faire en sorte que l&rsquo;IA ne trouve pas int\u00e9ressant de commercer avec les humains. Et les salaires humains pourraient \u00eatre tr\u00e8s bas , m\u00eame s&rsquo;ils ont techniquement quelque chose \u00e0 offrir.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Il est possible que tous ces facteurs puissent \u00eatre pris en compte, que le march\u00e9 du travail soit suffisamment r\u00e9silient pour s&rsquo;adapter \u00e0 une perturbation aussi importante. Mais m\u00eame s&rsquo;il finit par s&rsquo;adapter, les facteurs ci-dessus sugg\u00e8rent que le choc \u00e0 court terme sera d&rsquo;une ampleur sans pr\u00e9c\u00e9dent.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\"><strong><em>D\u00e9fenses<\/em><\/strong><\/h3>\n\n\n\n<p class=\"wp-block-paragraph\">Que pouvons-nous faire face \u00e0 ce probl\u00e8me ? J&rsquo;ai plusieurs suggestions, dont certaines sont d\u00e9j\u00e0 mises en \u0153uvre par Anthropic. La premi\u00e8re consiste simplement \u00e0 obtenir des donn\u00e9es pr\u00e9cises en temps r\u00e9el sur l&rsquo;\u00e9volution du ch\u00f4mage. Lorsqu&rsquo;un changement \u00e9conomique se produit tr\u00e8s rapidement, il est difficile d&rsquo;obtenir des donn\u00e9es fiables sur ce qui se passe, et sans donn\u00e9es fiables, il est difficile de concevoir des politiques efficaces. Par exemple, les donn\u00e9es gouvernementales manquent actuellement de donn\u00e9es granulaires et \u00e0 haute fr\u00e9quence sur l&rsquo;adoption de l&rsquo;IA dans les entreprises et les industries. Depuis un an, Anthropic exploite et publie un <a href=\"https:\/\/www.anthropic.com\/economic-index\">indice \u00e9conomique<\/a> qui montre l&rsquo;utilisation de nos mod\u00e8les presque en temps r\u00e9el, ventil\u00e9e par industrie, t\u00e2che, lieu et m\u00eame des \u00e9l\u00e9ments tels que le fait qu&rsquo;une t\u00e2che ait \u00e9t\u00e9 automatis\u00e9e ou r\u00e9alis\u00e9e de mani\u00e8re collaborative. Nous disposons \u00e9galement d&rsquo;un <a href=\"https:\/\/www.anthropic.com\/news\/introducing-the-anthropic-economic-advisory-council\">conseil consultatif \u00e9conomique<\/a> qui nous aide \u00e0 interpr\u00e9ter ces donn\u00e9es et \u00e0 anticiper l&rsquo;avenir.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Deuxi\u00e8mement, les entreprises d&rsquo;IA ont le choix quant \u00e0 la mani\u00e8re dont elles travaillent avec les entreprises. L&rsquo;inefficacit\u00e9 m\u00eame des entreprises traditionnelles signifie que leur d\u00e9ploiement de l&rsquo;IA peut \u00eatre tr\u00e8s d\u00e9pendant du chemin emprunt\u00e9, et il est possible de choisir un meilleur chemin. Les entreprises ont souvent le choix entre \u00ab r\u00e9duire les co\u00fbts \u00bb (faire la m\u00eame chose avec moins de personnel) et \u00ab l&rsquo;innovation \u00bb (faire plus avec le m\u00eame nombre de personnes). Le march\u00e9 produira in\u00e9vitablement les deux \u00e0 terme, et toute entreprise d&rsquo;IA comp\u00e9titive devra r\u00e9pondre \u00e0 ces deux besoins, mais il est peut-\u00eatre possible d&rsquo;orienter les entreprises vers l&rsquo;innovation lorsque cela est possible, ce qui nous ferait gagner du temps.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Anthropic r\u00e9fl\u00e9chit activement \u00e0 cette question.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Troisi\u00e8mement, les entreprises devraient r\u00e9fl\u00e9chir \u00e0 la mani\u00e8re de prendre soin de leurs employ\u00e9s. \u00c0 court terme, faire preuve de cr\u00e9ativit\u00e9 dans la r\u00e9affectation des employ\u00e9s au sein des entreprises peut \u00eatre un moyen prometteur d&rsquo;\u00e9viter les licenciements. \u00c0 long terme, dans un monde o\u00f9 la richesse totale est \u00e9norme, o\u00f9 de nombreuses entreprises voient leur valeur augmenter consid\u00e9rablement gr\u00e2ce \u00e0 l&rsquo;augmentation de la productivit\u00e9 et \u00e0 la concentration du capital, il pourrait \u00eatre possible de r\u00e9mun\u00e9rer les employ\u00e9s humains m\u00eame longtemps apr\u00e8s qu&rsquo;ils ne fournissent plus de valeur \u00e9conomique au sens traditionnel du terme. Anthropic examine actuellement une s\u00e9rie de pistes possibles pour ses propres employ\u00e9s, que nous partagerons dans un avenir proche.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Quatri\u00e8mement, les personnes fortun\u00e9es ont l&rsquo;obligation de contribuer \u00e0 la r\u00e9solution de ce probl\u00e8me. Je trouve triste que de nombreuses personnes fortun\u00e9es (en particulier dans le secteur des technologies) aient r\u00e9cemment adopt\u00e9 une attitude cynique et nihiliste selon laquelle la philanthropie est in\u00e9vitablement frauduleuse ou inutile. Tant la philanthropie priv\u00e9e, comme la <a href=\"https:\/\/www.gatesfoundation.org\/\">Fondation Gates<\/a>, que les programmes publics, comme le <a href=\"https:\/\/en.wikipedia.org\/wiki\/President%27s_Emergency_Plan_for_AIDS_Relief\">PEPFAR<\/a>, ont sauv\u00e9 des dizaines de millions de vies dans les pays en d\u00e9veloppement et contribu\u00e9 \u00e0 cr\u00e9er des opportunit\u00e9s \u00e9conomiques dans les pays d\u00e9velopp\u00e9s. Tous les cofondateurs d&rsquo;Anthropic se sont engag\u00e9s \u00e0 donner 80 % de leur fortune, et le personnel d&rsquo;Anthropic s&rsquo;est engag\u00e9 individuellement \u00e0 faire don d&rsquo;actions de la soci\u00e9t\u00e9 d&rsquo;une valeur de plusieurs milliards au prix actuel, dons que la soci\u00e9t\u00e9 s&rsquo;est engag\u00e9e \u00e0 \u00e9galer.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Cinqui\u00e8mement, si toutes les actions priv\u00e9es susmentionn\u00e9es peuvent \u00eatre utiles, un probl\u00e8me macro\u00e9conomique d&rsquo;une telle ampleur n\u00e9cessitera en fin de compte l&rsquo;intervention des pouvoirs publics. La r\u00e9ponse politique naturelle \u00e0 un g\u00e2teau \u00e9conomique \u00e9norme associ\u00e9 \u00e0 de fortes in\u00e9galit\u00e9s (due au manque d&#8217;emplois ou \u00e0 des emplois mal r\u00e9mun\u00e9r\u00e9s pour beaucoup) est une fiscalit\u00e9 progressive. La taxe pourrait \u00eatre g\u00e9n\u00e9rale ou cibler sp\u00e9cifiquement les entreprises d&rsquo;IA. Il est \u00e9vident que la conception d&rsquo;une taxe est complexe et qu&rsquo;il existe de nombreuses fa\u00e7ons de se tromper. Je ne soutiens pas les politiques fiscales mal con\u00e7ues. Je pense que les niveaux extr\u00eames d&rsquo;in\u00e9galit\u00e9 pr\u00e9dits dans cet essai justifient une politique fiscale plus robuste sur la base de principes moraux fondamentaux, mais je peux \u00e9galement avancer un argument pragmatique aux milliardaires du monde entier, \u00e0 savoir qu&rsquo;il est dans leur int\u00e9r\u00eat de soutenir une bonne version de cette politique : s&rsquo;ils ne soutiennent pas une bonne version, ils se retrouveront in\u00e9vitablement avec une mauvaise version con\u00e7ue par la foule.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">En fin de compte, je consid\u00e8re toutes les interventions susmentionn\u00e9es comme des moyens de gagner du temps. Au final, l&rsquo;IA sera capable de tout faire, et nous devons nous y pr\u00e9parer. J&rsquo;esp\u00e8re que d&rsquo;ici l\u00e0, nous pourrons utiliser l&rsquo;IA elle-m\u00eame pour nous aider \u00e0 restructurer les march\u00e9s d&rsquo;une mani\u00e8re qui convienne \u00e0 tous, et que les interventions ci-dessus nous permettront de traverser la p\u00e9riode de transition.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\"><strong><em>Concentration \u00e9conomique du pouvoir<\/em><\/strong><\/h3>\n\n\n\n<p class=\"wp-block-paragraph\">Outre le probl\u00e8me du d\u00e9placement des emplois ou de l&rsquo;in\u00e9galit\u00e9 \u00e9conomique <em>en soi<\/em>, il y a le probl\u00e8me de la <em>concentration \u00e9conomique du pouvoir.<\/em> La section 1 a abord\u00e9 le risque que l&rsquo;humanit\u00e9 soit priv\u00e9e de son pouvoir par l&rsquo;IA, et la section 3 a abord\u00e9 le risque que les citoyens soient priv\u00e9s de leur pouvoir par leurs gouvernements par la force ou la coercition. Mais un autre type de perte de pouvoir peut se produire si la concentration des richesses est telle qu&rsquo;un petit groupe de personnes contr\u00f4le effectivement la politique gouvernementale gr\u00e2ce \u00e0 son influence, et que les citoyens ordinaires n&rsquo;ont aucune influence parce qu&rsquo;ils n&rsquo;ont pas de levier \u00e9conomique. La d\u00e9mocratie repose en fin de compte sur l&rsquo;id\u00e9e que l&rsquo;ensemble de la population est n\u00e9cessaire au fonctionnement de l&rsquo;\u00e9conomie. Si ce levier \u00e9conomique dispara\u00eet, le contrat social implicite de la d\u00e9mocratie pourrait cesser de fonctionner. <a href=\"https:\/\/intelligence-curse.ai\/\">D&rsquo;autres ont \u00e9crit \u00e0 ce sujet<\/a>, je n&rsquo;ai donc pas besoin d&rsquo;entrer dans les d\u00e9tails ici, mais je partage cette pr\u00e9occupation et je crains que cela ne commence d\u00e9j\u00e0 \u00e0 se produire.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Pour \u00eatre clair, je ne suis pas oppos\u00e9 \u00e0 ce que les gens gagnent beaucoup d&rsquo;argent.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Il existe un argument solide selon lequel cela stimule la croissance \u00e9conomique dans des conditions normales. Je comprends les inqui\u00e9tudes concernant le fait de freiner l&rsquo;innovation en tuant la poule aux \u0153ufs d&rsquo;or qui la g\u00e9n\u00e8re. Mais dans un sc\u00e9nario o\u00f9 la croissance du PIB est de 10 \u00e0 20 % par an et o\u00f9 l&rsquo;IA prend rapidement le contr\u00f4le de l&rsquo;\u00e9conomie, alors que des individus isol\u00e9s d\u00e9tiennent une part appr\u00e9ciable du PIB, l&rsquo;innovation n&rsquo;est <em>pas <\/em>ce dont il faut s&rsquo;inqui\u00e9ter. Ce qui est pr\u00e9occupant, c&rsquo;est le niveau de concentration des richesses qui risque de briser la soci\u00e9t\u00e9.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">L&rsquo;exemple le plus c\u00e9l\u00e8bre de concentration extr\u00eame des richesses dans l&rsquo;histoire des \u00c9tats-Unis est l&rsquo;<a href=\"https:\/\/en.wikipedia.org\/wiki\/Gilded_Age\">\u00e2ge d&rsquo;or<\/a>, et l&rsquo;industriel le plus riche de cette \u00e9poque \u00e9tait <a href=\"https:\/\/en.wikipedia.org\/wiki\/John_D._Rockefeller\">John D. Rockefeller<\/a>. La fortune de Rockefeller repr\u00e9sentait environ 2 % du PIB am\u00e9ricain de l&rsquo;\u00e9poque.<sup id=\"mfn-content-00000000000008570000000000000000_9492-42\" class=\"modern-footnotes-footnote modern-footnotes-footnote--hover-on-desktop \" data-mfn=\"42\" data-mfn-post-scope=\"00000000000008570000000000000000_9492\"><a href=\"javascript:void(0)\"  role=\"button\" aria-pressed=\"false\" aria-describedby=\"mfn-content-00000000000008570000000000000000_9492-42\">42<\/a><\/sup><span role=\"tooltip\" class=\"modern-footnotes-footnote__note\" tabindex=\"0\" data-mfn=\"42\">La richesse personnelle est un \u00ab stock \u00bb, tandis que le PIB est un \u00ab flux \u00bb, il ne s\u2019agit donc pas d\u2019affirmer que Rockefeller d\u00e9tenait 2 % de la valeur \u00e9conomique des \u00c9tats-Unis. Cependant, il est plus difficile de mesurer la richesse totale d\u2019une nation que le PIB, et les revenus individuels varient consid\u00e9rablement d\u2019une ann\u00e9e \u00e0 l\u2019autre, il est donc difficile d\u2019\u00e9tablir un ratio dans les m\u00eames unit\u00e9s. Le ratio entre la plus grande fortune personnelle et le PIB, bien qu\u2019il ne permette pas de comparer des pommes avec des pommes, constitue n\u00e9anmoins un rep\u00e8re tout \u00e0 fait raisonnable pour mesurer la concentration extr\u00eame de la richesse.<\/span><\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Une proportion similaire aujourd&rsquo;hui conduirait \u00e0 une fortune de 600 milliards de dollars, et la personne la plus riche du monde aujourd&rsquo;hui (Elon Musk) d\u00e9passe d\u00e9j\u00e0 ce chiffre, avec <a href=\"https:\/\/www.reuters.com\/business\/autos-transportation\/elon-musk-becomes-first-person-worth-700-billion-after-court-ruling-pay-package-2025-12-20\/\">environ 700 milliards de dollars<\/a>. Nous sommes donc d\u00e9j\u00e0 \u00e0 des niveaux de concentration des richesses sans pr\u00e9c\u00e9dent dans l&rsquo;histoire, avant m\u00eame <em>que l&rsquo;<\/em>IA n&rsquo;ait eu la plupart de ses r\u00e9percussions \u00e9conomiques. Je ne pense pas qu&rsquo;il soit exag\u00e9r\u00e9 (si nous imaginons un \u00ab pays de g\u00e9nies \u00bb) d&rsquo;imaginer que les entreprises d&rsquo;IA, les entreprises de semi-conducteurs et peut-\u00eatre les entreprises d&rsquo;applications en aval g\u00e9n\u00e8rent environ 3 000 milliards de dollars de revenus par an,<sup id=\"mfn-content-00000000000008570000000000000000_9492-43\" class=\"modern-footnotes-footnote modern-footnotes-footnote--hover-on-desktop \" data-mfn=\"43\" data-mfn-post-scope=\"00000000000008570000000000000000_9492\"><a href=\"javascript:void(0)\"  role=\"button\" aria-pressed=\"false\" aria-describedby=\"mfn-content-00000000000008570000000000000000_9492-43\">43<\/a><\/sup><span role=\"tooltip\" class=\"modern-footnotes-footnote__note\" tabindex=\"0\" data-mfn=\"43\">La valeur totale du travail dans l\u2019\u00e9conomie est de 60 000 milliards de dollars par an, donc 3 000 milliards de dollars par an correspondraient \u00e0 5 % de ce montant. Ce montant pourrait \u00eatre gagn\u00e9 par une entreprise qui fournirait de la main-d\u2019\u0153uvre pour 20 % du co\u00fbt des humains et d\u00e9tiendrait 25 % de parts de march\u00e9, m\u00eame si la demande de main-d\u2019\u0153uvre n\u2019augmentait pas (ce qui serait presque certainement le cas en raison du co\u00fbt moindre).<\/span> soient \u00e9valu\u00e9es \u00e0 environ 30 000 milliards de dollars et conduisent \u00e0 des fortunes personnelles se chiffrant en milliers de milliards. Dans ce monde, les d\u00e9bats que nous avons aujourd&rsquo;hui sur la politique fiscale ne s&rsquo;appliqueront tout simplement pas, car nous serons dans une situation fondamentalement diff\u00e9rente.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">\u00c0 cet \u00e9gard, le couplage de cette concentration \u00e9conomique de la richesse avec le syst\u00e8me politique me pr\u00e9occupe d\u00e9j\u00e0 . Les centres de donn\u00e9es d&rsquo;IA repr\u00e9sentent d\u00e9j\u00e0 une part importante de la croissance \u00e9conomique am\u00e9ricaine<sup id=\"mfn-content-00000000000008570000000000000000_9492-44\" class=\"modern-footnotes-footnote modern-footnotes-footnote--hover-on-desktop \" data-mfn=\"44\" data-mfn-post-scope=\"00000000000008570000000000000000_9492\"><a href=\"javascript:void(0)\"  role=\"button\" aria-pressed=\"false\" aria-describedby=\"mfn-content-00000000000008570000000000000000_9492-44\">44<\/a><\/sup><span role=\"tooltip\" class=\"modern-footnotes-footnote__note\" tabindex=\"0\" data-mfn=\"44\">Pour \u00eatre clair, je ne pense pas que la productivit\u00e9 r\u00e9elle de l\u2019IA soit d\u00e9j\u00e0 responsable d\u2019une part substantielle de la croissance \u00e9conomique am\u00e9ricaine. Je pense plut\u00f4t que les d\u00e9penses des centres de donn\u00e9es repr\u00e9sentent une croissance caus\u00e9e par des investissements anticip\u00e9s qui correspondent aux attentes du march\u00e9 quant \u00e0<em>\u00a0une future<\/em>croissance \u00e9conomique tir\u00e9e par l\u2019IA et qui investit en cons\u00e9quence.<\/span> et lient ainsi \u00e9troitement les int\u00e9r\u00eats financiers des grandes entreprises technologiques (qui se concentrent de plus en plus sur l&rsquo;IA ou les infrastructures d&rsquo;IA) et les int\u00e9r\u00eats politiques du gouvernement, d&rsquo;une mani\u00e8re qui peut produire des incitations perverses. Nous le constatons d\u00e9j\u00e0 \u00e0 travers la r\u00e9ticence des entreprises technologiques \u00e0 critiquer le gouvernement am\u00e9ricain et le soutien de ce dernier \u00e0 des politiques anti-r\u00e9glementaires extr\u00eames en mati\u00e8re d&rsquo;IA.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\"><strong><em>D\u00e9fenses<\/em><\/strong><\/h3>\n\n\n\n<p class=\"wp-block-paragraph\">Que peut-on faire \u00e0 ce sujet ? Tout d&rsquo;abord, et c&rsquo;est le plus \u00e9vident, les entreprises devraient simplement choisir de ne pas y participer. Anthropic s&rsquo;est toujours efforc\u00e9 d&rsquo;\u00eatre un acteur politique et non un acteur politique, et de maintenir ses opinions authentiques quelle que soit l&rsquo;administration. Nous nous sommes prononc\u00e9s en faveur d&rsquo;une <a href=\"https:\/\/www.nytimes.com\/2025\/06\/05\/opinion\/anthropic-ceo-regulate-transparency.html\">r\u00e9glementation raisonnable de l&rsquo;IA<\/a> et de <a href=\"https:\/\/www.wsj.com\/opinion\/trump-can-keep-americas-ai-advantage-china-chips-data-eccdce91?gaa_at=eafs&amp;gaa_n=AWEtsqespyCL3hcx_9DpJWbIPX1vrtS1raPgFoBNK8ltnrjwedpX2NuvVu1K_yZ1arw%3D&amp;gaa_ts=696c6c70&amp;gaa_sig=wef9kKocpL9PU07UoiPS6kj_o_Nwy_VSufM6gltIvdjQFhb8HRLtpSzp4Z8WDG6v3leg0ODX4HOJjWblvZe2pw%3D%3D\">contr\u00f4les \u00e0 l&rsquo;exportation<\/a> qui sont dans l&rsquo;int\u00e9r\u00eat public, m\u00eame lorsque ceux-ci sont en contradiction avec la politique gouvernementale.<sup id=\"mfn-content-00000000000008570000000000000000_9492-45\" class=\"modern-footnotes-footnote modern-footnotes-footnote--hover-on-desktop \" data-mfn=\"45\" data-mfn-post-scope=\"00000000000008570000000000000000_9492\"><a href=\"javascript:void(0)\"  role=\"button\" aria-pressed=\"false\" aria-describedby=\"mfn-content-00000000000008570000000000000000_9492-45\">45<\/a><\/sup><span role=\"tooltip\" class=\"modern-footnotes-footnote__note\" tabindex=\"0\" data-mfn=\"45\">Lorsque nous sommes d\u2019accord avec l\u2019administration, nous le disons, et nous recherchons les\u00a0<a href=\"https:\/\/www.anthropic.com\/news\/statement-dario-amodei-american-ai-leadership\">points d\u2019accord o\u00f9 les politiques<\/a>mutuellement soutenues sont v\u00e9ritablement bonnes pour le monde. Nous voulons \u00eatre des interm\u00e9diaires honn\u00eates plut\u00f4t que des partisans ou des opposants \u00e0 un parti politique donn\u00e9.<\/span><\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Beaucoup de gens m&rsquo;ont dit que nous devrions cesser de le faire, car cela pourrait entra\u00eener un traitement d\u00e9favorable, mais depuis un an que nous le faisons, la valorisation d&rsquo;Anthropic a \u00e9t\u00e9 multipli\u00e9e par plus de six, une hausse presque sans pr\u00e9c\u00e9dent \u00e0 notre \u00e9chelle commerciale.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Deuxi\u00e8mement, le secteur de l&rsquo;IA a besoin d&rsquo;une relation plus saine avec le gouvernement, fond\u00e9e sur un engagement politique substantiel plut\u00f4t que sur un alignement politique. Notre choix de nous engager sur le fond plut\u00f4t que sur la forme est parfois interpr\u00e9t\u00e9 comme une erreur tactique ou un \u00e9chec \u00e0 \u00ab lire la salle \u00bb plut\u00f4t que comme une d\u00e9cision fond\u00e9e sur des principes, et cette interpr\u00e9tation m&rsquo;inqui\u00e8te. Dans une d\u00e9mocratie saine, les entreprises devraient pouvoir d\u00e9fendre de bonnes politiques pour leur propre int\u00e9r\u00eat. \u00c0 cet \u00e9gard, une r\u00e9action publique contre l&rsquo;IA se pr\u00e9pare : cela pourrait \u00eatre un correctif, mais il<strong>&lsquo;<\/strong>est actuellement flou. Il cible en grande partie des questions qui ne sont pas r\u00e9ellement des probl\u00e8mes (comme la <a href=\"https:\/\/andymasley.substack.com\/p\/the-ai-water-issue-is-fake\">consommation d&rsquo;eau<\/a> des <a href=\"https:\/\/newsletter.semianalysis.com\/p\/from-tokens-to-burgers-a-water-footprint?hide_intro_popup=true\">centres de donn\u00e9es<\/a>) et propose des solutions (comme l&rsquo;interdiction des centres de donn\u00e9es ou des imp\u00f4ts sur la fortune mal con\u00e7us) qui ne r\u00e9pondraient pas aux v\u00e9ritables pr\u00e9occupations. La question sous-jacente qui m\u00e9rite notre attention est de veiller \u00e0 ce que le d\u00e9veloppement de l&rsquo;IA reste responsable de l&rsquo;int\u00e9r\u00eat public, sans \u00eatre captur\u00e9 par une alliance politique ou commerciale particuli\u00e8re, et il semble important de concentrer le d\u00e9bat public sur ce point.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Troisi\u00e8mement, les interventions macro\u00e9conomiques que j&rsquo;ai d\u00e9crites plus haut dans cette section, ainsi que la r\u00e9surgence de la philanthropie priv\u00e9e, peuvent contribuer \u00e0 \u00e9quilibrer la balance \u00e9conomique, en s&rsquo;attaquant \u00e0 la fois aux probl\u00e8mes de perte d&#8217;emplois et de concentration du pouvoir \u00e9conomique. Nous devrions nous inspirer de l&rsquo;histoire de notre pays : m\u00eame \u00e0 l&rsquo;\u00e2ge d&rsquo;or, des industriels tels que <a href=\"https:\/\/www.sciencedirect.com\/science\/article\/abs\/pii\/S096262981500027X\">Rockefeller<\/a> et <a href=\"https:\/\/www.carnegie.org\/about\/our-history\/gospelofwealth\/\">Carnegie<\/a> se sentaient fortement redevables \u00e0 la soci\u00e9t\u00e9 dans son ensemble, estimant que celle-ci avait \u00e9norm\u00e9ment contribu\u00e9 \u00e0 leur succ\u00e8s et qu&rsquo;ils devaient lui rendre. Cet esprit semble de plus en plus absent aujourd&rsquo;hui, et je pense qu&rsquo;il constitue une grande partie de la solution \u00e0 ce dilemme \u00e9conomique. Ceux qui sont \u00e0 l&rsquo;avant-garde du boom \u00e9conomique de l&rsquo;IA devraient \u00eatre pr\u00eats \u00e0 renoncer \u00e0 leur richesse et \u00e0 leur pouvoir.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\"><strong>5. Les mers noires de l&rsquo;infini<\/strong><\/h2>\n\n\n\n<h3 class=\"wp-block-heading\"><strong><em>Effets indirects<\/em><\/strong><\/h3>\n\n\n\n<p class=\"wp-block-paragraph\">Cette derni\u00e8re section regroupe toutes les inconnues, en particulier les choses qui pourraient mal tourner en raison des avanc\u00e9es positives de l&rsquo;IA et de l&rsquo;acc\u00e9l\u00e9ration des progr\u00e8s scientifiques et technologiques en g\u00e9n\u00e9ral qui en r\u00e9sulte. Supposons que nous parvenions \u00e0 \u00e9liminer tous les risques d\u00e9crits jusqu&rsquo;\u00e0 pr\u00e9sent et que nous commencions \u00e0 r\u00e9colter les fruits de l&rsquo;IA. Nous obtiendrons probablement un \u00ab <a href=\"https:\/\/www.darioamodei.com\/essay\/machines-of-loving-grace\">si\u00e8cle de progr\u00e8s scientifiques et \u00e9conomiques compress\u00e9 en une d\u00e9cennie<\/a> \u00bb, ce qui sera extr\u00eamement positif pour le monde, mais nous devrons alors faire face aux probl\u00e8mes d\u00e9coulant de ce rythme rapide de progr\u00e8s, et ces probl\u00e8mes pourraient nous submerger rapidement. Nous pourrions \u00e9galement rencontrer d&rsquo;autres risques qui surviennent indirectement \u00e0 la suite des progr\u00e8s de l&rsquo;IA et qui sont difficiles \u00e0 anticiper.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">De par la nature m\u00eame des inconnues inconnues, il est impossible d&rsquo;en dresser une liste exhaustive, mais je vais \u00e9num\u00e9rer trois pr\u00e9occupations possibles \u00e0 titre d&rsquo;exemples illustratifs de ce \u00e0 quoi nous devrions pr\u00eater attention :<\/p>\n\n\n\n<ul class=\"wp-block-list\">\n<li><strong>Progr\u00e8s rapides en biologie. <\/strong>Si nous obtenons un si\u00e8cle de progr\u00e8s m\u00e9dicaux en quelques ann\u00e9es, il est possible que nous augmentions consid\u00e9rablement la dur\u00e9e de vie humaine, et il est possible que nous acqu\u00e9rions \u00e9galement des capacit\u00e9s radicales telles que la capacit\u00e9 d&rsquo;augmenter l&rsquo;intelligence humaine ou de modifier radicalement la biologie humaine. Il s&rsquo;agirait l\u00e0 de changements importants dans ce qui est possible, qui se produiraient tr\u00e8s rapidement. Ils pourraient \u00eatre positifs s&rsquo;ils \u00e9taient r\u00e9alis\u00e9s de mani\u00e8re responsable (ce que j&rsquo;esp\u00e8re, comme je l&rsquo;ai d\u00e9crit dans <em>Machines of Loving Grace<\/em>), mais il y a toujours un risque que cela tourne tr\u00e8s mal, par exemple si les efforts visant \u00e0 rendre les humains plus intelligents les rendent \u00e9galement plus instables ou avides de pouvoir. Il y a \u00e9galement la question des \u00ab <a href=\"https:\/\/en.wikipedia.org\/wiki\/Mind_uploading\">uploads<\/a> \u00bb ou \u00ab d&rsquo;\u00e9mulation c\u00e9r\u00e9brale compl\u00e8te \u00bb, c&rsquo;est-\u00e0-dire des esprits humains num\u00e9riques instanci\u00e9s dans des logiciels, qui pourraient un jour aider l&rsquo;humanit\u00e9 \u00e0 transcender ses limites physiques, mais qui comportent \u00e9galement des <a href=\"https:\/\/qntm.org\/mmacevedo\">risques que je trouve inqui\u00e9tants<\/a>.<\/li>\n\n\n\n<li><strong>L&rsquo;IA change la vie humaine d&rsquo;une mani\u00e8re malsaine. <\/strong>Un monde avec des milliards d&rsquo;intelligences bien plus intelligentes que les humains dans tous les domaines sera un monde tr\u00e8s \u00e9trange \u00e0 vivre. M\u00eame si l&rsquo;IA ne vise pas activement \u00e0 attaquer les humains (section 1) et n&rsquo;est pas utilis\u00e9e explicitement \u00e0 des fins d&rsquo;oppression ou de contr\u00f4le par les \u00c9tats (section 3), beaucoup de choses pourraient mal tourner, m\u00eame sans en arriver l\u00e0, par le biais d&rsquo;incitations commerciales normales et de transactions nominalement consensuelles. Nous en voyons les premiers signes dans les pr\u00e9occupations concernant la psychose de l&rsquo;IA, l&rsquo;<a href=\"https:\/\/www.cbsnews.com\/news\/chatgpt-lawsuit-colordo-man-suicide-openai-sam-altman\/\">IA poussant les gens au suicide<\/a> et les pr\u00e9occupations concernant les relations amoureuses avec les IA. Par exemple, des IA puissantes pourraient-elles inventer une nouvelle religion et convertir des millions de personnes \u00e0 celle-ci ? La plupart des gens pourraient-ils finir par devenir \u00ab d\u00e9pendants \u00bb d&rsquo;une mani\u00e8re ou d&rsquo;une autre aux interactions avec l&rsquo;IA ? Les gens pourraient-ils finir par \u00eatre \u00ab manipul\u00e9s \u00bb par des syst\u00e8mes d&rsquo;IA, o\u00f9 une IA surveille essentiellement chacun de leurs mouvements et leur dit exactement quoi faire et quoi dire \u00e0 tout moment, ce qui les conduirait \u00e0 une vie \u00ab bonne \u00bb, mais d\u00e9pourvue de libert\u00e9 ou de fiert\u00e9 d&rsquo;accomplissement ? Il ne serait pas difficile de g\u00e9n\u00e9rer des dizaines de sc\u00e9narios de ce type si je m&rsquo;asseyais avec le cr\u00e9ateur de <a href=\"https:\/\/en.wikipedia.org\/wiki\/Black_Mirror\"><em>Black Mirror<\/em><\/a> et essayais de les imaginer. Je pense que cela souligne l&rsquo;importance de choses telles que l&rsquo;am\u00e9lioration de la <a href=\"https:\/\/www.anthropic.com\/constitution\">Constitution de Claude<\/a>, au-del\u00e0 de ce qui est n\u00e9cessaire pour pr\u00e9venir les probl\u00e8mes mentionn\u00e9s dans la section 1. Il semble essentiel de s&rsquo;assurer que les mod\u00e8les d&rsquo;IA ont <em>r\u00e9ellement <\/em>\u00e0 c\u0153ur les int\u00e9r\u00eats \u00e0 long terme de leurs utilisateurs, d&rsquo;une mani\u00e8re que des personnes r\u00e9fl\u00e9chies approuveraient plut\u00f4t que d&rsquo;une mani\u00e8re subtilement d\u00e9form\u00e9e.<\/li>\n\n\n\n<li><strong>Le but de l&rsquo;\u00eatre humain. <\/strong>Ce point est li\u00e9 au pr\u00e9c\u00e9dent, mais il ne s&rsquo;agit pas tant des interactions humaines sp\u00e9cifiques avec les syst\u00e8mes d&rsquo;IA que de la mani\u00e8re dont la vie humaine change en g\u00e9n\u00e9ral dans un monde dot\u00e9 d&rsquo;une IA puissante. Les humains seront-ils capables de trouver un but et un sens \u00e0 leur vie dans un tel monde ? Je pense que c&rsquo;est une question d&rsquo;attitude : comme je l&rsquo;ai dit dans <em>Machines of Loving Grace<\/em>, je pense que le but de l&rsquo;\u00eatre humain ne d\u00e9pend pas du fait d&rsquo;\u00eatre le meilleur au monde dans un domaine, et que les humains peuvent trouver un but m\u00eame sur de tr\u00e8s longues p\u00e9riodes gr\u00e2ce \u00e0 des histoires et des projets qu&rsquo;ils aiment. Nous devons simplement rompre le lien entre la cr\u00e9ation de valeur \u00e9conomique et l&rsquo;estime de soi et le sens de la vie. Mais c&rsquo;est une transition que la soci\u00e9t\u00e9 doit op\u00e9rer, et il y a toujours le risque que nous parvenions pas \u00e0 la g\u00e9rer correctement.<\/li>\n<\/ul>\n\n\n\n<p class=\"wp-block-paragraph\">Mon espoir, face \u00e0 tous ces probl\u00e8mes potentiels, est que dans un monde dot\u00e9 d&rsquo;une IA puissante, dans laquelle nous avons confiance pour ne pas nous tuer, qui n&rsquo;est pas l&rsquo;outil d&rsquo;un gouvernement oppressif et qui travaille v\u00e9ritablement pour notre compte, nous puissions utiliser l&rsquo;IA elle-m\u00eame pour anticiper et pr\u00e9venir ces probl\u00e8mes. Mais cela n&rsquo;est pas garanti : comme tous les autres risques, c&rsquo;est quelque chose que nous devons g\u00e9rer avec prudence.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\"><strong>L&rsquo;\u00e9preuve de l&rsquo;humanit\u00e9<\/strong><\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">La lecture de cet essai peut donner l&rsquo;impression que nous sommes dans une situation intimidante. J&rsquo;ai certainement trouv\u00e9 intimidant de l&rsquo;\u00e9crire, contrairement \u00e0 <em>Machines of Loving Grace, <\/em>qui m&rsquo;a donn\u00e9 l&rsquo;impression de donner forme et structure \u00e0 une musique d&rsquo;une beaut\u00e9 incomparable qui r\u00e9sonnait dans ma t\u00eate depuis des ann\u00e9es. Et il y a beaucoup de choses qui sont v\u00e9ritablement difficiles dans cette situation. L&rsquo;IA fait peser des menaces sur l&rsquo;humanit\u00e9 de multiples fa\u00e7ons, et il existe une v\u00e9ritable tension entre les diff\u00e9rents dangers, car att\u00e9nuer certains d&rsquo;entre eux risque d&rsquo;aggraver les autres si nous ne faisons pas preuve d&rsquo;une extr\u00eame prudence.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Prendre le temps de construire avec soin des syst\u00e8mes d&rsquo;IA afin qu&rsquo;ils ne menacent pas de mani\u00e8re autonome l&rsquo;humanit\u00e9 est en v\u00e9ritable contradiction avec la n\u00e9cessit\u00e9 pour les nations d\u00e9mocratiques de garder une longueur d&rsquo;avance sur les nations autoritaires et de ne pas se laisser subjuguer par elles. Mais \u00e0 leur tour, les m\u00eames outils bas\u00e9s sur l&rsquo;IA qui sont n\u00e9cessaires pour lutter contre les autocraties peuvent, s&rsquo;ils sont pouss\u00e9s trop loin, \u00eatre retourn\u00e9s contre nous pour cr\u00e9er une tyrannie dans nos propres pays. Le terrorisme bas\u00e9 sur l&rsquo;IA pourrait tuer des millions de personnes par le biais d&rsquo;une utilisation abusive de la biologie, mais une r\u00e9action excessive \u00e0 ce risque pourrait nous mener vers un \u00c9tat autocratique et surveill\u00e9. Les effets de l&rsquo;IA sur la concentration du travail et de l&rsquo;\u00e9conomie, en plus d&rsquo;\u00eatre des probl\u00e8mes graves en soi, pourraient nous obliger \u00e0 faire face \u00e0 d&rsquo;autres probl\u00e8mes dans un contexte de col\u00e8re publique et peut-\u00eatre m\u00eame de troubles civils, plut\u00f4t que de pouvoir faire appel aux meilleurs anges de notre nature. Surtout, le nombre m\u00eame de risques, y compris ceux qui sont inconnus, et la n\u00e9cessit\u00e9 de les traiter tous en m\u00eame temps, cr\u00e9ent un d\u00e9fi intimidant que l&rsquo;humanit\u00e9 doit relever.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">De plus, ces derni\u00e8res ann\u00e9es devraient montrer clairement que l&rsquo;id\u00e9e d&rsquo;arr\u00eater ou m\u00eame de ralentir consid\u00e9rablement cette technologie est fondamentalement intenable. La formule pour construire des syst\u00e8mes d&rsquo;IA puissants est incroyablement simple, \u00e0 tel point qu&rsquo;on peut presque dire qu&rsquo;elle \u00e9merge spontan\u00e9ment de la bonne combinaison de donn\u00e9es et de calculs bruts. Sa cr\u00e9ation \u00e9tait probablement in\u00e9vitable d\u00e8s l&rsquo;instant o\u00f9 l&rsquo;humanit\u00e9 a invent\u00e9 le transistor, voire avant, lorsque nous avons appris \u00e0 contr\u00f4ler le feu. Si une entreprise ne la construit pas, d&rsquo;autres le feront presque aussi rapidement. Si toutes les entreprises des pays d\u00e9mocratiques arr\u00eataient ou ralentissaient le d\u00e9veloppement, par accord mutuel ou par d\u00e9cret r\u00e9glementaire, les pays autoritaires continueraient tout simplement. Compte tenu de l&rsquo;incroyable valeur \u00e9conomique et militaire de cette technologie, ainsi que de l&rsquo;absence de tout m\u00e9canisme d&rsquo;application significatif, je ne vois pas <a href=\"https:\/\/en.wikipedia.org\/wiki\/Security_dilemma\">comment nous pourrions les convaincre d&rsquo;arr\u00eater<\/a>.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Je vois toutefois une voie vers une <em>l\u00e9g\u00e8re<\/em> mod\u00e9ration du d\u00e9veloppement de l&rsquo;IA qui soit compatible avec une <a href=\"https:\/\/en.wikipedia.org\/wiki\/Realism_(international_relations)\">vision r\u00e9aliste de la g\u00e9opolitique<\/a>. Cette voie consiste \u00e0 ralentir pendant quelques ann\u00e9es la marche des autocraties vers une IA puissante en leur refusant les ressources dont elles ont besoin pour la construire,<sup id=\"mfn-content-00000000000008570000000000000000_9492-46\" class=\"modern-footnotes-footnote modern-footnotes-footnote--hover-on-desktop \" data-mfn=\"46\" data-mfn-post-scope=\"00000000000008570000000000000000_9492\"><a href=\"javascript:void(0)\"  role=\"button\" aria-pressed=\"false\" aria-describedby=\"mfn-content-00000000000008570000000000000000_9492-46\">46<\/a><\/sup><span role=\"tooltip\" class=\"modern-footnotes-footnote__note\" tabindex=\"0\" data-mfn=\"46\">Je ne pense pas que cela soit possible au-del\u00e0 de quelques ann\u00e9es : \u00e0 plus long terme, ils construiront leurs propres puces.<\/span> \u00e0 savoir les puces et les \u00e9quipements de fabrication de semi-conducteurs. Cela donne aux pays d\u00e9mocratiques une marge de man\u0153uvre qu&rsquo;ils peuvent \u00ab d\u00e9penser \u00bb pour construire une IA puissante de mani\u00e8re plus prudente, en accordant davantage d&rsquo;attention \u00e0 ses risques, tout en continuant \u00e0 avancer suffisamment vite pour battre confortablement les autocraties. La course entre les entreprises d&rsquo;IA au sein des d\u00e9mocraties peut alors \u00eatre g\u00e9r\u00e9e dans le cadre d&rsquo;un cadre juridique commun, gr\u00e2ce \u00e0 un m\u00e9lange de normes industrielles et de r\u00e9glementation.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Anthropic a fortement plaid\u00e9 en faveur de cette voie, en poussant \u00e0 la mise en place de contr\u00f4les sur les exportations de puces et d&rsquo;une r\u00e9glementation judicieuse de l&rsquo;IA, mais m\u00eame ces propositions qui semblent relever du bon sens ont \u00e9t\u00e9 largement rejet\u00e9es par les d\u00e9cideurs politiques aux \u00c9tats-Unis (le pays o\u00f9 elles sont le plus importantes). L&rsquo;IA repr\u00e9sente un tel gagne-pain \u2013 litt\u00e9ralement des milliers de milliards de dollars par an \u2013 que m\u00eame les mesures les plus simples ont du mal \u00e0 surmonter l&rsquo;<a href=\"https:\/\/en.wikipedia.org\/wiki\/Political_economy\">\u00e9conomie politique<\/a> inh\u00e9rente \u00e0 l&rsquo;IA. C&rsquo;est l\u00e0 le pi\u00e8ge : l&rsquo;IA est si puissante, si lucrative, qu&rsquo;il est tr\u00e8s difficile pour la civilisation humaine de lui imposer la moindre restriction.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Je peux imaginer, comme Sagan l&rsquo;a fait dans <em>Contact<\/em>, que cette m\u00eame histoire se r\u00e9p\u00e8te sur des milliers de mondes. Une esp\u00e8ce acquiert la conscience, apprend \u00e0 utiliser des outils, entame l&rsquo;ascension exponentielle de la technologie, fait face aux crises de l&rsquo;industrialisation et des armes nucl\u00e9aires, et si elle survit \u00e0 celles-ci, elle est confront\u00e9e au d\u00e9fi le plus difficile et le plus ultime lorsqu&rsquo;elle apprend \u00e0 fa\u00e7onner le sable pour en faire des machines qui pensent. Que nous survivions \u00e0 cette \u00e9preuve et continuions \u00e0 construire la belle soci\u00e9t\u00e9 d\u00e9crite dans <em>Machines of Loving Grace<\/em>, ou que nous succombions \u00e0 l&rsquo;esclavage et \u00e0 la destruction, d\u00e9pendra de notre caract\u00e8re et de notre d\u00e9termination en tant qu&rsquo;esp\u00e8ce, de notre esprit et de notre \u00e2me.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Malgr\u00e9 les nombreux obstacles, je crois que l&rsquo;humanit\u00e9 a en elle la force n\u00e9cessaire pour r\u00e9ussir cette \u00e9preuve. Je suis encourag\u00e9 et inspir\u00e9 par les milliers de chercheurs qui ont consacr\u00e9 leur carri\u00e8re \u00e0 nous aider \u00e0 comprendre et \u00e0 orienter les mod\u00e8les d&rsquo;IA, ainsi qu&rsquo;\u00e0 fa\u00e7onner le caract\u00e8re et la constitution de ces mod\u00e8les. Je pense qu&rsquo;il y a maintenant de bonnes chances que ces efforts portent leurs fruits \u00e0 temps pour avoir un impact significatif. Je suis encourag\u00e9 par le fait qu&rsquo;au moins certaines entreprises ont <a href=\"https:\/\/openai.com\/index\/preparing-for-future-ai-capabilities-in-biology\/\">d\u00e9clar\u00e9 qu&rsquo;elles allaient payer<\/a> des co\u00fbts commerciaux importants pour emp\u00eacher leurs mod\u00e8les de contribuer \u00e0 la menace du bioterrorisme. Je suis encourag\u00e9 par le fait que quelques personnes courageuses aient r\u00e9sist\u00e9 aux courants politiques dominants et <a href=\"https:\/\/leginfo.legislature.ca.gov\/faces\/billTextClient.xhtml?bill_id=202520260SB53\">adopt\u00e9 une<\/a> <a href=\"https:\/\/www.nysenate.gov\/legislation\/bills\/2025\/A6453\/amendment\/A\">loi qui<\/a> pose les premiers jalons de garde-fous raisonnables pour les syst\u00e8mes d&rsquo;IA. Je suis encourag\u00e9 par le fait que le <a href=\"https:\/\/www.pewresearch.org\/internet\/2025\/04\/03\/views-of-risks-opportunities-and-regulation-of-ai\/#6d2b9b266433bfda6c8fc2f498738a4c\">public comprenne que l&rsquo;IA comporte des risques et souhaite que ces risques soient pris en compte<\/a>. Je suis encourag\u00e9 par l&rsquo;esprit indomptable de libert\u00e9 qui r\u00e8gne dans le monde entier et par la d\u00e9termination \u00e0 r\u00e9sister \u00e0 la tyrannie o\u00f9 qu&rsquo;elle se manifeste.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Mais nous devrons redoubler d&rsquo;efforts si nous voulons r\u00e9ussir. La premi\u00e8re \u00e9tape consiste pour ceux qui sont les plus proches de la technologie \u00e0 simplement dire la v\u00e9rit\u00e9 sur la situation dans laquelle se trouve l&rsquo;humanit\u00e9, ce que j&rsquo;ai toujours essay\u00e9 de faire ; je le fais de mani\u00e8re plus explicite et avec plus d&rsquo;urgence dans cet essai. L&rsquo;\u00e9tape suivante consistera \u00e0 convaincre les penseurs, les d\u00e9cideurs politiques, les entreprises et les citoyens du monde entier et les citoyens du monde entier de l&rsquo;urgence et de l&rsquo;importance capitale de cette question, qui m\u00e9rite qu&rsquo;on y consacre de la r\u00e9flexion et du capital politique par rapport aux milliers d&rsquo;autres questions qui dominent l&rsquo;actualit\u00e9 chaque jour. Ensuite, il faudra faire preuve de courage, afin qu&rsquo;un nombre suffisant de personnes aient le courage d&rsquo;aller \u00e0 contre-courant des tendances dominantes et de d\u00e9fendre leurs principes, m\u00eame face \u00e0 des menaces pour leurs int\u00e9r\u00eats \u00e9conomiques et leur s\u00e9curit\u00e9 personnelle.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Les ann\u00e9es \u00e0 venir seront incroyablement difficiles et exigeront de nous plus que ce que nous pensons pouvoir donner. Mais au cours de ma carri\u00e8re de chercheur, de dirigeant et de citoyen, j&rsquo;ai vu suffisamment de courage et de noblesse pour croire que nous pouvons gagner, que dans les circonstances les plus sombres, l&rsquo;humanit\u00e9 trouve le moyen de rassembler, apparemment \u00e0 la derni\u00e8re minute, la force et la sagesse n\u00e9cessaires pour l&#8217;emporter. Nous n&rsquo;avons pas de temps \u00e0 perdre.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Je tiens \u00e0 remercier Erik Brynjolfsson, Ben Buchanan, Mariano-Florentino Cu\u00e9llar, Allan Dafoe, Kevin Esvelt, Nick Beckstead, Richard Fontaine, Jim McClave et de nombreux membres du personnel d&rsquo;Anthropic pour leurs commentaires utiles sur les versions pr\u00e9liminaires de cet essai.<\/p>\n\n\n\n<hr class=\"wp-block-separator has-alpha-channel-opacity\"\/>\n\n\n\n<p class=\"has-text-align-center has-small-font-size wp-block-paragraph\">Les\u00a0<a href=\"https:\/\/1drv.ms\/x\/c\/52b2e58f9a01f490\/IQApkc2vwYtfTpsZ-j248N0MAUKIOl08sRQqs_6JWIhCmM4?e=Ujie1P\">traductions de 2026<\/a>\u00a0(.xlsx) \u2013\u00a0<a href=\"https:\/\/1drv.ms\/x\/c\/52b2e58f9a01f490\/IQBehw9hF4P9T6ZQKSS_BLgvAZYlVs7_rkII-hENtJn7ZXo?e=5JaTMu\">celles de 2025<\/a>\u00a0\u2013 par\u00a0<em>Gilles en vrac<\/em><br>Les<strong>\u00a0caract\u00e8res gras<\/strong>\u00a0dans le texte sont de Gilles<br>Pour vous recevoir un courriel\u00a0<a href=\"mailto:gilles@gillesenvrac.ca?subject=Trad_hebdo\">hebdomadaire<\/a>\u00a0vers mes traductions.<\/p>\n<h3 class=\"modern-footnotes-list-heading \">Notes <\/h3><ul class=\"modern-footnotes-list \"><li id=\"footnote-00000000000008570000000000000000_9492-1\"><span>1<\/span><div>Cela rejoint un point que j\u2019ai soulev\u00e9 dans\u00a0<em>Machines of Loving Grace<\/em>, o\u00f9 j\u2019ai commenc\u00e9 par dire que les avantages de l\u2019IA ne devaient pas \u00eatre consid\u00e9r\u00e9s comme une proph\u00e9tie de salut, et qu\u2019il \u00e9tait important d\u2019\u00eatre concret et r\u00e9aliste et d\u2019\u00e9viter toute grandiloquence. En fin de compte, les proph\u00e9ties de salut et les proph\u00e9ties de malheur ne sont d\u2019aucune aide pour affronter le monde r\u00e9el, pour essentiellement les m\u00eames raisons. <a href=\"#mfn-content-00000000000008570000000000000000_9492-1\" class=\"modern-footnotes-scroll-to-footnote\" aria-label=\"Back to reference 1 in text\">\u21a9\ufe0e<\/a><\/div><\/li><li id=\"footnote-00000000000008570000000000000000_9492-2\"><span>2<\/span><div>L\u2019objectif d\u2019Anthropic est de rester coh\u00e9rent \u00e0 travers ces changements. Lorsque parler des risques li\u00e9s \u00e0 l\u2019IA \u00e9tait politiquement populaire, Anthropic pr\u00f4nait prudemment une approche judicieuse et fond\u00e9e sur des preuves pour faire face \u00e0 ces risques. Maintenant que parler des risques li\u00e9s \u00e0 l\u2019IA est politiquement impopulaire, Anthropic continue de pr\u00f4ner prudemment une approche judicieuse et fond\u00e9e sur des preuves pour faire face \u00e0 ces risques. <a href=\"#mfn-content-00000000000008570000000000000000_9492-2\" class=\"modern-footnotes-scroll-to-footnote\" aria-label=\"Back to reference 2 in text\">\u21a9\ufe0e<\/a><\/div><\/li><li id=\"footnote-00000000000008570000000000000000_9492-3\"><span>3<\/span><div>Au fil du temps, j\u2019ai acquis une confiance croissante dans la trajectoire de l\u2019IA et dans la probabilit\u00e9 qu\u2019elle d\u00e9passe les capacit\u00e9s humaines dans tous les domaines, mais une certaine incertitude subsiste. <a href=\"#mfn-content-00000000000008570000000000000000_9492-3\" class=\"modern-footnotes-scroll-to-footnote\" aria-label=\"Back to reference 3 in text\">\u21a9\ufe0e<\/a><\/div><\/li><li id=\"footnote-00000000000008570000000000000000_9492-4\"><span>4<\/span><div>Les contr\u00f4les \u00e0 l\u2019exportation des puces en sont un excellent exemple. Ils sont simples et semblent fonctionner dans l\u2019ensemble. <a href=\"#mfn-content-00000000000008570000000000000000_9492-4\" class=\"modern-footnotes-scroll-to-footnote\" aria-label=\"Back to reference 4 in text\">\u21a9\ufe0e<\/a><\/div><\/li><li id=\"footnote-00000000000008570000000000000000_9492-5\"><span>5<\/span><div>Et bien s\u00fbr, la recherche de telles preuves doit \u00eatre intellectuellement honn\u00eate, de mani\u00e8re \u00e0 pouvoir \u00e9galement mettre en \u00e9vidence l\u2019absence de danger. La transparence gr\u00e2ce aux fiches mod\u00e8les et autres divulgations est une tentative d\u2019atteindre cette honn\u00eatet\u00e9 intellectuelle. <a href=\"#mfn-content-00000000000008570000000000000000_9492-5\" class=\"modern-footnotes-scroll-to-footnote\" aria-label=\"Back to reference 5 in text\">\u21a9\ufe0e<\/a><\/div><\/li><li id=\"footnote-00000000000008570000000000000000_9492-6\"><span>6<\/span><div>En effet, depuis la r\u00e9daction de<em>\u00a0Machines of Loving Grace<\/em>\u00a0en 2024, les syst\u00e8mes d\u2019IA sont devenus capables d\u2019effectuer des t\u00e2ches qui prennent plusieurs heures \u00e0 des humains. METR a r\u00e9cemment estim\u00e9 qu\u2019Opus 4.5 pouvait effectuer environ quatre heures de travail humain avec une fiabilit\u00e9 de 50 %. <a href=\"#mfn-content-00000000000008570000000000000000_9492-6\" class=\"modern-footnotes-scroll-to-footnote\" aria-label=\"Back to reference 6 in text\">\u21a9\ufe0e<\/a><\/div><\/li><li id=\"footnote-00000000000008570000000000000000_9492-7\"><span>7<\/span><div>Et pour \u00eatre clair, m\u00eame si une IA puissante n\u2019est plus qu\u2019\u00e0 1 ou 2 ans d\u2019ici d\u2019un point de vue technique, bon nombre de ses cons\u00e9quences soci\u00e9tales, tant positives que n\u00e9gatives, pourraient prendre quelques ann\u00e9es suppl\u00e9mentaires \u00e0 se manifester. C\u2019est pourquoi je peux \u00e0 la fois penser que l\u2019IA va bouleverser 50 % des emplois de cols blancs\u00a0<em>de niveau d\u00e9butant\u00a0<\/em>d\u2019ici 1 \u00e0 5 ans, tout en pensant que nous pourrions disposer d\u2019une IA plus performante que\u00a0<em>tout le monde\u00a0<\/em>d\u2019ici seulement 1 \u00e0 2 ans. <a href=\"#mfn-content-00000000000008570000000000000000_9492-7\" class=\"modern-footnotes-scroll-to-footnote\" aria-label=\"Back to reference 7 in text\">\u21a9\ufe0e<\/a><\/div><\/li><li id=\"footnote-00000000000008570000000000000000_9492-8\"><span>8<\/span><div>Il convient d\u2019ajouter que le\u00a0<em>grand public\u00a0<\/em>(par opposition aux d\u00e9cideurs politiques) semble tr\u00e8s pr\u00e9occup\u00e9 par les risques li\u00e9s \u00e0 l\u2019IA. Je pense que certaines de leurs pr\u00e9occupations sont justifi\u00e9es (par exemple, la suppression d\u2019emplois par l\u2019IA), tandis que d\u2019autres sont erron\u00e9es (comme les pr\u00e9occupations concernant la consommation d\u2019eau de l\u2019IA, qui n\u2019est pas significative). Cette r\u00e9action me donne l\u2019espoir qu\u2019un consensus sur la mani\u00e8re de traiter les risques est possible, mais jusqu\u2019\u00e0 pr\u00e9sent, cela ne s\u2019est pas encore traduit par des changements politiques, et encore moins par des changements politiques efficaces ou bien cibl\u00e9s. <a href=\"#mfn-content-00000000000008570000000000000000_9492-8\" class=\"modern-footnotes-scroll-to-footnote\" aria-label=\"Back to reference 8 in text\">\u21a9\ufe0e<\/a><\/div><\/li><li id=\"footnote-00000000000008570000000000000000_9492-9\"><span>9<\/span><div>Ils peuvent \u00e9galement, bien s\u00fbr, manipuler (ou simplement payer) un grand nombre d\u2019\u00eatres humains pour qu\u2019ils fassent ce qu\u2019ils veulent dans le monde physique. <a href=\"#mfn-content-00000000000008570000000000000000_9492-9\" class=\"modern-footnotes-scroll-to-footnote\" aria-label=\"Back to reference 9 in text\">\u21a9\ufe0e<\/a><\/div><\/li><li id=\"footnote-00000000000008570000000000000000_9492-10\"><span>10<\/span><div>Je ne pense pas qu\u2019il s\u2019agisse d\u2019un argument fallacieux : d\u2019apr\u00e8s ce que j\u2019ai compris,\u00a0<a href=\"https:\/\/www.youtube.com\/watch?v=LMuun5FGL28\">Yann LeCun d\u00e9fend cette position<\/a>. <a href=\"#mfn-content-00000000000008570000000000000000_9492-10\" class=\"modern-footnotes-scroll-to-footnote\" aria-label=\"Back to reference 10 in text\">\u21a9\ufe0e<\/a><\/div><\/li><li id=\"footnote-00000000000008570000000000000000_9492-11\"><span>11<\/span><div>Voir par exemple la section 5.5.2 (p. 63-66) de la\u00a0<a href=\"https:\/\/www.anthropic.com\/claude-4-system-card\">fiche syst\u00e8me Claude 4<\/a>. <a href=\"#mfn-content-00000000000008570000000000000000_9492-11\" class=\"modern-footnotes-scroll-to-footnote\" aria-label=\"Back to reference 11 in text\">\u21a9\ufe0e<\/a><\/div><\/li><li id=\"footnote-00000000000008570000000000000000_9492-12\"><span>12<\/span><div>Il existe \u00e9galement un certain nombre d\u2019autres hypoth\u00e8ses inh\u00e9rentes au mod\u00e8le simple, que je ne vais pas aborder ici. D\u2019une mani\u00e8re g\u00e9n\u00e9rale, elles devraient nous rendre moins inquiets quant \u00e0 l\u2019histoire simple et sp\u00e9cifique de la recherche de pouvoir d\u00e9s\u00e9quilibr\u00e9e, mais aussi plus inquiets quant \u00e0 d\u2019\u00e9ventuels comportements impr\u00e9visibles que nous n\u2019avons pas anticip\u00e9s. <a href=\"#mfn-content-00000000000008570000000000000000_9492-12\" class=\"modern-footnotes-scroll-to-footnote\" aria-label=\"Back to reference 12 in text\">\u21a9\ufe0e<\/a><\/div><\/li><li id=\"footnote-00000000000008570000000000000000_9492-13\"><span>13<\/span><div><a href=\"https:\/\/en.wikipedia.org\/wiki\/Ender%27s_Game\"><em>Ender\u2019s Game<\/em><\/a>d\u00e9crit une version de ce sc\u00e9nario impliquant des humains plut\u00f4t que l\u2019IA. <a href=\"#mfn-content-00000000000008570000000000000000_9492-13\" class=\"modern-footnotes-scroll-to-footnote\" aria-label=\"Back to reference 13 in text\">\u21a9\ufe0e<\/a><\/div><\/li><li id=\"footnote-00000000000008570000000000000000_9492-14\"><span>14<\/span><div>Par exemple, on peut demander aux mod\u00e8les de ne pas faire diverses mauvaises choses et d\u2019ob\u00e9ir aux humains, mais ils peuvent alors observer que de nombreux humains font exactement ces mauvaises choses ! On ne sait pas clairement comment cette contradiction serait r\u00e9solue (et une constitution bien con\u00e7ue devrait encourager le mod\u00e8le \u00e0 g\u00e9rer ces contradictions avec \u00e9l\u00e9gance), mais ce type de dilemme n\u2019est pas si diff\u00e9rent des situations suppos\u00e9es \u00ab artificielles \u00bb que nous pla\u00e7ons les mod\u00e8les d\u2019IA lors des tests. <a href=\"#mfn-content-00000000000008570000000000000000_9492-14\" class=\"modern-footnotes-scroll-to-footnote\" aria-label=\"Back to reference 14 in text\">\u21a9\ufe0e<\/a><\/div><\/li><li id=\"footnote-00000000000008570000000000000000_9492-15\"><span>15<\/span><div>Incidemment, l\u2019une des cons\u00e9quences du fait que la constitution soit un document en langage naturel est qu\u2019elle est lisible par tous, ce qui signifie qu\u2019elle peut \u00eatre critiqu\u00e9e par n\u2019importe qui et compar\u00e9e \u00e0 des documents similaires d\u2019autres entreprises. Il serait utile de cr\u00e9er une course vers le sommet qui encourage non seulement les entreprises \u00e0 publier ces documents, mais aussi \u00e0 les am\u00e9liorer. <a href=\"#mfn-content-00000000000008570000000000000000_9492-15\" class=\"modern-footnotes-scroll-to-footnote\" aria-label=\"Back to reference 15 in text\">\u21a9\ufe0e<\/a><\/div><\/li><li id=\"footnote-00000000000008570000000000000000_9492-16\"><span>16<\/span><div>Il existe existe m\u00eame une hypoth\u00e8se selon laquelle un principe unificateur profond relierait l\u2019approche bas\u00e9e sur les personnages de l\u2019IA constitutionnelle aux r\u00e9sultats de la science de l\u2019interpr\u00e9tabilit\u00e9 et de l\u2019alignement. Selon cette hypoth\u00e8se, les m\u00e9canismes fondamentaux qui animent Claude ont initialement \u00e9t\u00e9 con\u00e7us comme des moyens de simuler des personnages lors du pr\u00e9-entra\u00eenement, par exemple en pr\u00e9disant ce que diraient les personnages d\u2019un roman. Cela sugg\u00e8re qu\u2019une fa\u00e7on utile d\u2019envisager la constitution serait plut\u00f4t comme une description de personnage que le mod\u00e8le utilise pour instancier une personnalit\u00e9 coh\u00e9rente. Cela nous aiderait \u00e9galement \u00e0 expliquer les r\u00e9sultats \u00ab\u00a0<a href=\"https:\/\/www.anthropic.com\/research\/emergent-misalignment-reward-hacking\">I doit \u00eatre une mauvaise personne<\/a>\u00a0\u00bb que j\u2019ai mentionn\u00e9s plus haut (car le mod\u00e8le essaie d\u2019<em>agir comme s\u2019il<\/em>\u00a0s\u2019agissait d\u2019un personnage coh\u00e9rent, en l\u2019occurrence un mauvais personnage), et sugg\u00e9rerait que les m\u00e9thodes d\u2019interpr\u00e9tabilit\u00e9 devraient permettre de d\u00e9couvrir des \u00ab traits psychologiques \u00bb au sein des mod\u00e8les. Nos chercheurs travaillent actuellement \u00e0 des moyens de tester cette hypoth\u00e8se. <a href=\"#mfn-content-00000000000008570000000000000000_9492-16\" class=\"modern-footnotes-scroll-to-footnote\" aria-label=\"Back to reference 16 in text\">\u21a9\ufe0e<\/a><\/div><\/li><li id=\"footnote-00000000000008570000000000000000_9492-17\"><span>17<\/span><div>Pour \u00eatre clair, la surveillance est effectu\u00e9e dans le respect de la vie priv\u00e9e. <a href=\"#mfn-content-00000000000008570000000000000000_9492-17\" class=\"modern-footnotes-scroll-to-footnote\" aria-label=\"Back to reference 17 in text\">\u21a9\ufe0e<\/a><\/div><\/li><li id=\"footnote-00000000000008570000000000000000_9492-18\"><span>18<\/span><div>M\u00eame dans nos propres exp\u00e9riences avec ce qui sont essentiellement des r\u00e8gles impos\u00e9es volontairement dans le cadre de notre\u00a0<a href=\"https:\/\/www.anthropic.com\/news\/announcing-our-updated-responsible-scaling-policy\">Responsible Scaling Policy<\/a>, nous avons constat\u00e9 \u00e0 maintes reprises qu\u2019il est tr\u00e8s facile de finir par \u00eatre trop rigide, en tra\u00e7ant des lignes qui semblent importantes a priori, mais qui s\u2019av\u00e8rent ridicules r\u00e9trospectivement. Il est tr\u00e8s facile de fixer des r\u00e8gles sur les mauvaises choses lorsque la technologie progresse rapidement <a href=\"#mfn-content-00000000000008570000000000000000_9492-18\" class=\"modern-footnotes-scroll-to-footnote\" aria-label=\"Back to reference 18 in text\">\u21a9\ufe0e<\/a><\/div><\/li><li id=\"footnote-00000000000008570000000000000000_9492-19\"><span>19<\/span><div>Les lois SB 53 et RAISE ne s\u2019appliquent pas du tout aux entreprises dont le chiffre d\u2019affaires annuel est inf\u00e9rieur \u00e0 500 millions de dollars. Elles ne s\u2019appliquent qu\u2019aux entreprises plus grandes et mieux \u00e9tablies, comme Anthropic. <a href=\"#mfn-content-00000000000008570000000000000000_9492-19\" class=\"modern-footnotes-scroll-to-footnote\" aria-label=\"Back to reference 19 in text\">\u21a9\ufe0e<\/a><\/div><\/li><li id=\"footnote-00000000000008570000000000000000_9492-20\"><span>20<\/span><div>J\u2019ai lu l\u2019essai de Joy pour la premi\u00e8re fois il y a 25 ans, lorsqu\u2019il a \u00e9t\u00e9 \u00e9crit, et il m\u2019a profond\u00e9ment marqu\u00e9. Aujourd\u2019hui comme hier, je le trouve trop pessimiste : je ne pense pas que l\u2019abandon g\u00e9n\u00e9ral de certains domaines technologiques, comme le sugg\u00e8re Joy, soit la solution, mais les questions qu\u2019il soul\u00e8ve \u00e9taient \u00e9tonnamment pr\u00e9monitoires, et Joy \u00e9crit \u00e9galement avec une profonde compassion et une humanit\u00e9 que j\u2019admire. <a href=\"#mfn-content-00000000000008570000000000000000_9492-20\" class=\"modern-footnotes-scroll-to-footnote\" aria-label=\"Back to reference 20 in text\">\u21a9\ufe0e<\/a><\/div><\/li><li id=\"footnote-00000000000008570000000000000000_9492-21\"><span>21<\/span><div>Nous devons nous pr\u00e9occuper des acteurs \u00e9tatiques, aujourd\u2019hui et \u00e0 l\u2019avenir, et j\u2019aborde ce sujet dans la section suivante <a href=\"#mfn-content-00000000000008570000000000000000_9492-21\" class=\"modern-footnotes-scroll-to-footnote\" aria-label=\"Back to reference 21 in text\">\u21a9\ufe0e<\/a><\/div><\/li><li id=\"footnote-00000000000008570000000000000000_9492-22\"><span>22<\/span><div>Il existe\u00a0<a href=\"https:\/\/www.nber.org\/digest\/sep02\/poverty-and-low-education-dont-cause-terrorism\">des preuves<\/a>\u00a0que\u00a0<a href=\"https:\/\/www.sas.rochester.edu\/psc\/clarke\/214\/Krueger03.pdf\">de nombreux<\/a>\u00a0terroristes sont au moins relativement bien \u00e9duqu\u00e9s, ce qui peut sembler contredire mon argumentation sur la corr\u00e9lation n\u00e9gative entre capacit\u00e9 et motivation. Mais je pense qu\u2019en r\u00e9alit\u00e9, ces observations sont compatibles : si le seuil de capacit\u00e9 pour r\u00e9ussir une attaque est \u00e9lev\u00e9, alors, presque par d\u00e9finition, ceux qui r\u00e9ussissent\u00a0<em>actuellement\u00a0<\/em>doivent avoir une capacit\u00e9 \u00e9lev\u00e9e, m\u00eame si la capacit\u00e9 et la motivation sont n\u00e9gativement corr\u00e9l\u00e9es. Mais dans un monde o\u00f9 les limites de capacit\u00e9 seraient supprim\u00e9es (par exemple, avec les futurs LLM), je pr\u00e9dirais qu\u2019une partie importante de la population ayant la motivation de tuer mais des capacit\u00e9s moindres commencerait \u00e0 le faire, comme c\u2019est le cas pour les crimes qui ne n\u00e9cessitent pas beaucoup de capacit\u00e9s (comme les fusillades dans les \u00e9coles). <a href=\"#mfn-content-00000000000008570000000000000000_9492-22\" class=\"modern-footnotes-scroll-to-footnote\" aria-label=\"Back to reference 22 in text\">\u21a9\ufe0e<\/a><\/div><\/li><li id=\"footnote-00000000000008570000000000000000_9492-23\"><span>23<\/span><div>Aum Shinrikyo a toutefois essay\u00e9. Le chef d\u2019Aum Shinrikyo, Seiichi Endo, avait suivi une formation en virologie \u00e0 l\u2019universit\u00e9 de Kyoto\u00a0<a href=\"https:\/\/www.cnas.org\/publications\/reports\/aum-shinrikyo-second-edition-english\">et avait tent\u00e9 de produire \u00e0 la fois de l\u2019anthrax et du virus Ebola<\/a>. Cependant, en 1995, m\u00eame lui ne disposait pas de l\u2019expertise et des ressources suffisantes pour y parvenir. La barre est d\u00e9sormais nettement plus basse, et les LLM pourraient la faire baisser encore davantage. <a href=\"#mfn-content-00000000000008570000000000000000_9492-23\" class=\"modern-footnotes-scroll-to-footnote\" aria-label=\"Back to reference 23 in text\">\u21a9\ufe0e<\/a><\/div><\/li><li id=\"footnote-00000000000008570000000000000000_9492-24\"><span>24<\/span><div>Un ph\u00e9nom\u00e8ne \u00e9trange li\u00e9 aux auteurs de meurtres de masse est que le mode op\u00e9ratoire qu\u2019ils choisissent s\u2019apparente presque \u00e0 une mode grotesque. Dans les ann\u00e9es 1970 et 1980, les tueurs en s\u00e9rie \u00e9taient tr\u00e8s courants, et les nouveaux serial killers copiaient souvent le comportement de serial killers plus \u00e9tablis ou plus c\u00e9l\u00e8bres. Dans les ann\u00e9es 1990 et 2000, les fusillades de masse sont devenues plus courantes, tandis que les serial killers sont devenus moins fr\u00e9quents. Aucun changement technologique n\u2019a d\u00e9clench\u00e9 ces comportements, il semble simplement que les meurtriers violents copiaient le comportement les uns des autres et que ce qui \u00e9tait \u00ab populaire \u00bb \u00e0 copier a chang\u00e9. <a href=\"#mfn-content-00000000000008570000000000000000_9492-24\" class=\"modern-footnotes-scroll-to-footnote\" aria-label=\"Back to reference 24 in text\">\u21a9\ufe0e<\/a><\/div><\/li><li id=\"footnote-00000000000008570000000000000000_9492-25\"><span>25<\/span><div>Les prisonniers occasionnels pensent parfois qu\u2019ils ont compromis ces classificateurs lorsqu\u2019ils obtiennent du mod\u00e8le une information sp\u00e9cifique, telle que la s\u00e9quence g\u00e9nomique d\u2019un virus. Mais comme je l\u2019ai expliqu\u00e9 pr\u00e9c\u00e9demment, le mod\u00e8le de menace qui nous pr\u00e9occupe implique des conseils interactifs \u00e9tape par \u00e9tape, s\u2019\u00e9talant sur plusieurs semaines ou mois, concernant des \u00e9tapes sp\u00e9cifiques et obscures du processus de production d\u2019armes biologiques, et c\u2019est contre cela que nos classificateurs visent \u00e0 nous d\u00e9fendre. (Nous d\u00e9crivons souvent nos recherches comme la recherche de \u00ab jailbreaks universels \u00bb, c\u2019est-\u00e0-dire des jailbreaks qui ne fonctionnent pas seulement dans un contexte sp\u00e9cifique ou restreint, mais qui ouvrent largement le comportement du mod\u00e8le.) <a href=\"#mfn-content-00000000000008570000000000000000_9492-25\" class=\"modern-footnotes-scroll-to-footnote\" aria-label=\"Back to reference 25 in text\">\u21a9\ufe0e<\/a><\/div><\/li><li id=\"footnote-00000000000008570000000000000000_9492-26\"><span>26<\/span><div>Nous continuerons toutefois \u00e0 investir dans des travaux visant \u00e0 rendre nos classificateurs plus efficaces, et il peut \u00eatre judicieux pour les entreprises de partager entre elles des avanc\u00e9es telles que celles-ci. <a href=\"#mfn-content-00000000000008570000000000000000_9492-26\" class=\"modern-footnotes-scroll-to-footnote\" aria-label=\"Back to reference 26 in text\">\u21a9\ufe0e<\/a><\/div><\/li><li id=\"footnote-00000000000008570000000000000000_9492-27\"><span>27<\/span><div>\u00c9videmment, je ne pense pas que les entreprises devraient \u00eatre tenues de divulguer les d\u00e9tails techniques des \u00e9tapes sp\u00e9cifiques de la production d\u2019armes biologiques qu\u2019elles bloquent, et la l\u00e9gislation sur la transparence qui a \u00e9t\u00e9 adopt\u00e9e jusqu\u2019\u00e0 pr\u00e9sent (SB 53 et RAISE) tient compte de cette question. <a href=\"#mfn-content-00000000000008570000000000000000_9492-27\" class=\"modern-footnotes-scroll-to-footnote\" aria-label=\"Back to reference 27 in text\">\u21a9\ufe0e<\/a><\/div><\/li><li id=\"footnote-00000000000008570000000000000000_9492-28\"><span>28<\/span><div>Une autre id\u00e9e connexe est celle des \u00ab march\u00e9s de la r\u00e9silience \u00bb, dans lesquels le gouvernement encourage le stockage d\u2019EPI, de respirateurs et d\u2019autres \u00e9quipements essentiels n\u00e9cessaires pour r\u00e9pondre \u00e0 une attaque biologique en s\u2019engageant \u00e0 l\u2019avance \u00e0 payer un prix convenu \u00e0 l\u2019avance pour ces \u00e9quipements en cas d\u2019urgence. Cela incite les fournisseurs \u00e0 stocker ces \u00e9quipements sans craindre que le gouvernement ne les saisisse sans compensation. <a href=\"#mfn-content-00000000000008570000000000000000_9492-28\" class=\"modern-footnotes-scroll-to-footnote\" aria-label=\"Back to reference 28 in text\">\u21a9\ufe0e<\/a><\/div><\/li><li id=\"footnote-00000000000008570000000000000000_9492-29\"><span>29<\/span><div>Pourquoi suis-je plus inquiet que les grands acteurs s\u2019emparent du pouvoir que des petits acteurs causent des destructions ? Parce que la dynamique est diff\u00e9rente. S\u2019emparer du pouvoir consiste \u00e0 savoir si un acteur peut accumuler suffisamment de force pour vaincre tous les autres . Nous devons donc nous pr\u00e9occuper des acteurs les plus puissants et\/ou les plus proches de l\u2019IA. En revanche, la destruction peut \u00eatre caus\u00e9e par des acteurs peu puissants si elle est beaucoup plus difficile \u00e0 contrer qu\u2019\u00e0 provoquer. Il s\u2019agit alors de se d\u00e9fendre contre les menaces les plus\u00a0<em>nombreuses<\/em>, qui sont susceptibles de provenir d\u2019acteurs plus modestes. <a href=\"#mfn-content-00000000000008570000000000000000_9492-29\" class=\"modern-footnotes-scroll-to-footnote\" aria-label=\"Back to reference 29 in text\">\u21a9\ufe0e<\/a><\/div><\/li><li id=\"footnote-00000000000008570000000000000000_9492-30\"><span>30<\/span><div>Cela peut sembler en contradiction avec mon argument selon lequel l\u2019attaque et la d\u00e9fense peuvent \u00eatre plus \u00e9quilibr\u00e9es avec les cyberattaques qu\u2019avec les armes biologiques , mais ma crainte ici est que si l\u2019IA d\u2019un pays est la plus puissante au monde, les autres ne pourront pas se d\u00e9fendre, m\u00eame si la technologie elle-m\u00eame pr\u00e9sente un \u00e9quilibre intrins\u00e8que entre attaque et d\u00e9fense. <a href=\"#mfn-content-00000000000008570000000000000000_9492-30\" class=\"modern-footnotes-scroll-to-footnote\" aria-label=\"Back to reference 30 in text\">\u21a9\ufe0e<\/a><\/div><\/li><li id=\"footnote-00000000000008570000000000000000_9492-31\"><span>31<\/span><div>Aux \u00c9tats-Unis, cela inclut par exemple le quatri\u00e8me amendement et le\u00a0<a href=\"https:\/\/en.wikipedia.org\/wiki\/Posse_Comitatus_Act\">Posse Comitatus Act<\/a>. <a href=\"#mfn-content-00000000000008570000000000000000_9492-31\" class=\"modern-footnotes-scroll-to-footnote\" aria-label=\"Back to reference 31 in text\">\u21a9\ufe0e<\/a><\/div><\/li><li id=\"footnote-00000000000008570000000000000000_9492-32\"><span>32<\/span><div>De plus, pour \u00eatre clair, il existe certains arguments en faveur de la construction de grands centres de donn\u00e9es dans des pays aux structures de gouvernance vari\u00e9es, en particulier s\u2019ils sont contr\u00f4l\u00e9s par des entreprises dans des d\u00e9mocraties. De telles constructions pourraient en principe aider les d\u00e9mocraties \u00e0 mieux rivaliser avec le PCC, qui repr\u00e9sente une menace plus importante. Je pense \u00e9galement que ces centres de donn\u00e9es ne pr\u00e9sentent pas de risque particulier, \u00e0 moins qu\u2019ils ne soient tr\u00e8s grands. Mais dans l\u2019ensemble, je pense qu\u2019il convient d\u2019\u00eatre prudent lorsqu\u2019on installe de tr\u00e8s grands centres de donn\u00e9es dans des pays o\u00f9 les garanties institutionnelles et les protections de l\u2019\u00c9tat de droit sont moins bien \u00e9tablies. <a href=\"#mfn-content-00000000000008570000000000000000_9492-32\" class=\"modern-footnotes-scroll-to-footnote\" aria-label=\"Back to reference 32 in text\">\u21a9\ufe0e<\/a><\/div><\/li><li id=\"footnote-00000000000008570000000000000000_9492-33\"><span>33<\/span><div>Il s\u2019agit bien s\u00fbr \u00e9galement un argument en faveur de l\u2019<a href=\"https:\/\/councilonstrategicrisks.org\/research\/reports\/nuclear-decision-making-and-risk-reduction-in-an-era-of-technological-complexity\/\">am\u00e9lioration de la s\u00e9curit\u00e9 de la dissuasion<\/a>\u00a0nucl\u00e9aire afin de la rendre\u00a0<a href=\"https:\/\/onlinelibrary.wiley.com\/doi\/10.1111\/risa.70136\">plus r\u00e9sistante<\/a>\u00a0face \u00e0 une IA puissante, et les d\u00e9mocraties dot\u00e9es d\u2019armes nucl\u00e9aires devraient le faire. Mais nous ne savons pas de quoi une IA puissante sera capable ni quelles d\u00e9fenses, le cas \u00e9ch\u00e9ant, fonctionneront contre elle, nous ne devons donc pas supposer que ces mesures r\u00e9soudront n\u00e9cessairement le probl\u00e8me. <a href=\"#mfn-content-00000000000008570000000000000000_9492-33\" class=\"modern-footnotes-scroll-to-footnote\" aria-label=\"Back to reference 33 in text\">\u21a9\ufe0e<\/a><\/div><\/li><li id=\"footnote-00000000000008570000000000000000_9492-34\"><span>34<\/span><div>Il existe \u00e9galement le risque que, m\u00eame si la dissuasion nucl\u00e9aire reste efficace, un pays attaquant d\u00e9cide de nous prendre au mot : il n\u2019est pas certain que nous serions pr\u00eats \u00e0 utiliser des armes nucl\u00e9aires pour nous d\u00e9fendre contre un essaim de drones, m\u00eame si celui-ci pr\u00e9sente un risque important de nous conqu\u00e9rir. Les essaims de drones pourraient \u00eatre une nouvelle menace, moins grave que les attaques nucl\u00e9aires, mais plus grave que les attaques conventionnelles. Par ailleurs, des \u00e9valuations divergentes de l\u2019efficacit\u00e9 de la dissuasion nucl\u00e9aire \u00e0 l\u2019\u00e8re de l\u2019IA pourraient modifier la th\u00e9orie des jeux du conflit nucl\u00e9aire de mani\u00e8re d\u00e9stabilisante. <a href=\"#mfn-content-00000000000008570000000000000000_9492-34\" class=\"modern-footnotes-scroll-to-footnote\" aria-label=\"Back to reference 34 in text\">\u21a9\ufe0e<\/a><\/div><\/li><li id=\"footnote-00000000000008570000000000000000_9492-35\"><span>35<\/span><div>Pour \u00eatre clair, je pense que la bonne strat\u00e9gie consiste \u00e0 ne pas vendre de puces \u00e0 la Chine, m\u00eame si le d\u00e9lai n\u00e9cessaire pour mettre au point une IA puissante \u00e9tait beaucoup plus long. Nous ne pouvons pas rendre les Chinois \u00ab d\u00e9pendants \u00bb aux puces am\u00e9ricaines : ils sont d\u00e9termin\u00e9s \u00e0 d\u00e9velopper leur propre industrie de puces d\u2019une mani\u00e8re ou d\u2019une autre. Cela leur prendra de nombreuses ann\u00e9es, et en leur vendant des puces, nous ne faisons que leur donner un coup de pouce pendant cette p\u00e9riode. <a href=\"#mfn-content-00000000000008570000000000000000_9492-35\" class=\"modern-footnotes-scroll-to-footnote\" aria-label=\"Back to reference 35 in text\">\u21a9\ufe0e<\/a><\/div><\/li><li id=\"footnote-00000000000008570000000000000000_9492-36\"><span>36<\/span><div>Pour \u00eatre clair, la plupart des armes utilis\u00e9es aujourd\u2019hui en Ukraine et \u00e0 Ta\u00efwan ne sont pas\u00a0<em>enti\u00e8rement\u00a0<\/em>autonomes. Elles le deviendront, mais ce n\u2019est pas le cas aujourd\u2019hui. <a href=\"#mfn-content-00000000000008570000000000000000_9492-36\" class=\"modern-footnotes-scroll-to-footnote\" aria-label=\"Back to reference 36 in text\">\u21a9\ufe0e<\/a><\/div><\/li><li id=\"footnote-00000000000008570000000000000000_9492-37\"><span>37<\/span><div>Notre carte mod\u00e8le pour\u00a0<a href=\"https:\/\/assets.anthropic.com\/m\/64823ba7485345a7\/Claude-Opus-4-5-System-Card.pdf\">Claude Opus 4. 5<\/a>, notre mod\u00e8le le plus r\u00e9cent, montre qu\u2019Opus obtient de meilleurs r\u00e9sultats lors d\u2019un entretien d\u2019ing\u00e9nierie des performances fr\u00e9quemment organis\u00e9 chez Anthropic que n\u2019importe quel candidat dans l\u2019histoire de l\u2019entreprise. <a href=\"#mfn-content-00000000000008570000000000000000_9492-37\" class=\"modern-footnotes-scroll-to-footnote\" aria-label=\"Back to reference 37 in text\">\u21a9\ufe0e<\/a><\/div><\/li><li id=\"footnote-00000000000008570000000000000000_9492-38\"><span>38<\/span><div>\u00ab \u00c9crire tout le code \u00bb et \u00ab accomplir la t\u00e2che d\u2019un ing\u00e9nieur logiciel de bout en bout \u00bb sont deux choses tr\u00e8s diff\u00e9rentes, car les ing\u00e9nieurs logiciels font bien plus que simplement \u00e9crire du code, notamment tester, g\u00e9rer les environnements, les fichiers et l\u2019installation, g\u00e9rer les d\u00e9ploiements informatiques dans le cloud, l\u2019it\u00e9ration sur les produits, et bien plus encore. <a href=\"#mfn-content-00000000000008570000000000000000_9492-38\" class=\"modern-footnotes-scroll-to-footnote\" aria-label=\"Back to reference 38 in text\">\u21a9\ufe0e<\/a><\/div><\/li><li id=\"footnote-00000000000008570000000000000000_9492-39\"><span>39<\/span><div>Les ordinateurs sont g\u00e9n\u00e9raux dans un certain sens, mais ils sont clairement incapables, \u00e0 eux seuls, d\u2019exercer la grande majorit\u00e9 des capacit\u00e9s cognitives humaines, m\u00eame s\u2019ils surpassent largement les humains dans quelques domaines (comme l\u2019arithm\u00e9tique). Bien s\u00fbr, les \u00e9l\u00e9ments construits\u00a0<em>sur la base\u00a0<\/em>des ordinateurs, tels que l\u2019IA, sont d\u00e9sormais capables d\u2019un large \u00e9ventail de capacit\u00e9s cognitives, ce qui est le sujet de cet essai. <a href=\"#mfn-content-00000000000008570000000000000000_9492-39\" class=\"modern-footnotes-scroll-to-footnote\" aria-label=\"Back to reference 39 in text\">\u21a9\ufe0e<\/a><\/div><\/li><li id=\"footnote-00000000000008570000000000000000_9492-40\"><span>40<\/span><div>Pour \u00eatre clair, les mod\u00e8les d\u2019IA n\u2019ont pas exactement le m\u00eame profil de forces et de faiblesses que les humains. Mais ils progressent \u00e9galement de mani\u00e8re assez uniforme dans toutes les dimensions, de sorte qu\u2019un profil irr\u00e9gulier ou in\u00e9gal n\u2019a finalement peut-\u00eatre pas d\u2019importance <a href=\"#mfn-content-00000000000008570000000000000000_9492-40\" class=\"modern-footnotes-scroll-to-footnote\" aria-label=\"Back to reference 40 in text\">\u21a9\ufe0e<\/a><\/div><\/li><li id=\"footnote-00000000000008570000000000000000_9492-41\"><span>41<\/span><div>Bien que cette id\u00e9e fasse l\u2019<a href=\"https:\/\/davidcard.berkeley.edu\/papers\/skill-tech-change.pdf\">objet d\u2019un d\u00e9bat<\/a>\u00a0<a href=\"https:\/\/jhr.uwpress.org\/content\/58\/6\/1783.abstract\">parmi les<\/a>\u00a0<a href=\"https:\/\/www.epi.org\/publication\/technology-inequality-dont-blame-the-robots\/\">\u00e9conomistes.<\/a> <a href=\"#mfn-content-00000000000008570000000000000000_9492-41\" class=\"modern-footnotes-scroll-to-footnote\" aria-label=\"Back to reference 41 in text\">\u21a9\ufe0e<\/a><\/div><\/li><li id=\"footnote-00000000000008570000000000000000_9492-42\"><span>42<\/span><div>La richesse personnelle est un \u00ab stock \u00bb, tandis que le PIB est un \u00ab flux \u00bb, il ne s\u2019agit donc pas d\u2019affirmer que Rockefeller d\u00e9tenait 2 % de la valeur \u00e9conomique des \u00c9tats-Unis. Cependant, il est plus difficile de mesurer la richesse totale d\u2019une nation que le PIB, et les revenus individuels varient consid\u00e9rablement d\u2019une ann\u00e9e \u00e0 l\u2019autre, il est donc difficile d\u2019\u00e9tablir un ratio dans les m\u00eames unit\u00e9s. Le ratio entre la plus grande fortune personnelle et le PIB, bien qu\u2019il ne permette pas de comparer des pommes avec des pommes, constitue n\u00e9anmoins un rep\u00e8re tout \u00e0 fait raisonnable pour mesurer la concentration extr\u00eame de la richesse. <a href=\"#mfn-content-00000000000008570000000000000000_9492-42\" class=\"modern-footnotes-scroll-to-footnote\" aria-label=\"Back to reference 42 in text\">\u21a9\ufe0e<\/a><\/div><\/li><li id=\"footnote-00000000000008570000000000000000_9492-43\"><span>43<\/span><div>La valeur totale du travail dans l\u2019\u00e9conomie est de 60 000 milliards de dollars par an, donc 3 000 milliards de dollars par an correspondraient \u00e0 5 % de ce montant. Ce montant pourrait \u00eatre gagn\u00e9 par une entreprise qui fournirait de la main-d\u2019\u0153uvre pour 20 % du co\u00fbt des humains et d\u00e9tiendrait 25 % de parts de march\u00e9, m\u00eame si la demande de main-d\u2019\u0153uvre n\u2019augmentait pas (ce qui serait presque certainement le cas en raison du co\u00fbt moindre). <a href=\"#mfn-content-00000000000008570000000000000000_9492-43\" class=\"modern-footnotes-scroll-to-footnote\" aria-label=\"Back to reference 43 in text\">\u21a9\ufe0e<\/a><\/div><\/li><li id=\"footnote-00000000000008570000000000000000_9492-44\"><span>44<\/span><div>Pour \u00eatre clair, je ne pense pas que la productivit\u00e9 r\u00e9elle de l\u2019IA soit d\u00e9j\u00e0 responsable d\u2019une part substantielle de la croissance \u00e9conomique am\u00e9ricaine. Je pense plut\u00f4t que les d\u00e9penses des centres de donn\u00e9es repr\u00e9sentent une croissance caus\u00e9e par des investissements anticip\u00e9s qui correspondent aux attentes du march\u00e9 quant \u00e0<em>\u00a0une future<\/em>croissance \u00e9conomique tir\u00e9e par l\u2019IA et qui investit en cons\u00e9quence. <a href=\"#mfn-content-00000000000008570000000000000000_9492-44\" class=\"modern-footnotes-scroll-to-footnote\" aria-label=\"Back to reference 44 in text\">\u21a9\ufe0e<\/a><\/div><\/li><li id=\"footnote-00000000000008570000000000000000_9492-45\"><span>45<\/span><div>Lorsque nous sommes d\u2019accord avec l\u2019administration, nous le disons, et nous recherchons les\u00a0<a href=\"https:\/\/www.anthropic.com\/news\/statement-dario-amodei-american-ai-leadership\">points d\u2019accord o\u00f9 les politiques<\/a>mutuellement soutenues sont v\u00e9ritablement bonnes pour le monde. Nous voulons \u00eatre des interm\u00e9diaires honn\u00eates plut\u00f4t que des partisans ou des opposants \u00e0 un parti politique donn\u00e9. <a href=\"#mfn-content-00000000000008570000000000000000_9492-45\" class=\"modern-footnotes-scroll-to-footnote\" aria-label=\"Back to reference 45 in text\">\u21a9\ufe0e<\/a><\/div><\/li><li id=\"footnote-00000000000008570000000000000000_9492-46\"><span>46<\/span><div>Je ne pense pas que cela soit possible au-del\u00e0 de quelques ann\u00e9es : \u00e0 plus long terme, ils construiront leurs propres puces. <a href=\"#mfn-content-00000000000008570000000000000000_9492-46\" class=\"modern-footnotes-scroll-to-footnote\" aria-label=\"Back to reference 46 in text\">\u21a9\ufe0e<\/a><\/div><\/li><\/ul>","protected":false},"excerpt":{"rendered":"<p>Affronter et surmonter les risques li\u00e9s \u00e0 l&rsquo;intelligence artificielle puissante Traduction de The Adolescence of Technology par Dario Amodei, janvier 2026 Dans l&rsquo;adaptation cin\u00e9matographique du livre Contact de Carl Sagan, il y a une sc\u00e8ne o\u00f9 le personnage principal, une astronome qui a d\u00e9tect\u00e9 le premier signal radio provenant d&rsquo;une civilisation extraterrestre, est pressentie pour &hellip; <\/p>\n<p class=\"link-more\"><a href=\"https:\/\/gillesenvrac.ca\/carnet\/adolescence-de-la-technologie\/\" class=\"more-link\">Continuer la lecture<span class=\"screen-reader-text\"> de &laquo;&nbsp;L&rsquo;adolescence de la technologie&nbsp;&raquo;<\/span><\/a><\/p>\n","protected":false},"author":1,"featured_media":0,"parent":0,"menu_order":0,"comment_status":"closed","ping_status":"closed","template":"","meta":{"footnotes":""},"class_list":["post-9492","page","type-page","status-publish","hentry"],"jetpack-related-posts":[{"id":9732,"url":"https:\/\/gillesenvrac.ca\/carnet\/corrigibilite-constitution-claude\/","url_meta":{"origin":9492,"position":0},"title":"Commentaires terrifi\u00e9s sur la corrigibilit\u00e9 dans la Constitution de Claude","author":"Gilles Beauchamp","date":"24 mars 2026","format":false,"excerpt":"Traduction de Terrified Comments on Corrigibility in Claude's\u00a0Constitution sur Less Wrong par\u00a0Zack_M_Davis, 16 mars 2026. (Pr\u00e9c\u00e9demment :\u00a0Prologue [Traduction : Prologue].) Le terme\u00a0\u00ab corrigibilit\u00e9 \u00bb, en tant que concept technique dans le domaine de l'alignement de l'IA,\u00a0a \u00e9t\u00e9 invent\u00e9 pour d\u00e9signer la propri\u00e9t\u00e9 d'une IA consistant \u00e0 accepter que ses pr\u00e9f\u00e9rences\u2026","rel":"","context":"Article similaire","block_context":{"text":"Article similaire","link":""},"img":{"alt_text":"","src":"","width":0,"height":0},"classes":[]},{"id":11204,"url":"https:\/\/gillesenvrac.ca\/carnet\/farrell\/philip-k-dick\/","url_meta":{"origin":9492,"position":1},"title":"Nous sommes coinc\u00e9s dans l\u2019univers imaginaire de Philip K. Dick","author":"Gilles Beauchamp","date":"8 ao\u00fbt 2026","format":false,"excerpt":"Hallucinations, fus\u00e9es, milliardaires d\u00e9rang\u00e9s : comment s\u2019en sortir? Traduction de We're stuck in Philip K. Dick's imagined universe par Henry Farrell, le 8 ao\u00fbt 2026. Dan Wang et moi avons r\u00e9dig\u00e9 l\u2019essai du week-end pour le Financial Times, intitul\u00e9 \u00abLa Vall\u00e9e du Silicium r\u00eave-t-elle de Philip K. Dick?\u00bb. Je trouve\u2026","rel":"","context":"Article similaire","block_context":{"text":"Article similaire","link":""},"img":{"alt_text":"","src":"https:\/\/i0.wp.com\/gillesenvrac.ca\/carnet\/wp-content\/uploads\/2026\/08\/Farrell_Dick.webp?resize=350%2C200&ssl=1","width":350,"height":200,"srcset":"https:\/\/i0.wp.com\/gillesenvrac.ca\/carnet\/wp-content\/uploads\/2026\/08\/Farrell_Dick.webp?resize=350%2C200&ssl=1 1x, https:\/\/i0.wp.com\/gillesenvrac.ca\/carnet\/wp-content\/uploads\/2026\/08\/Farrell_Dick.webp?resize=525%2C300&ssl=1 1.5x"},"classes":[]},{"id":8890,"url":"https:\/\/gillesenvrac.ca\/carnet\/la-physique-et-la-vie\/","url_meta":{"origin":9492,"position":2},"title":"La v\u00e9rit\u00e9 que la physique ne peut plus ignorer","author":"Gilles Beauchamp","date":"25 d\u00e9cembre 2025","format":false,"excerpt":"La nature fondamentale des \u00eatres vivants remet en question les hypoth\u00e8ses que les physiciens ont d\u00e9fendues pendant des si\u00e8cles. Par\u00a0Adam Frank, publi\u00e9 dans The Atlantic, The Truth Physics Can No Longer Ignore. 2025.12.15 - traduction : GB Le 8 octobre 2024, le domaine de la physique a \u00e9t\u00e9 plong\u00e9 dans\u2026","rel":"","context":"Article similaire","block_context":{"text":"Article similaire","link":""},"img":{"alt_text":"","src":"","width":0,"height":0},"classes":[]},{"id":9476,"url":"https:\/\/gillesenvrac.ca\/carnet\/ia-debat\/pays-de-genies-hagens\/","url_meta":{"origin":9492,"position":3},"title":"[Essai] Un pays de g\u00e9nies","author":"Gilles Beauchamp","date":"1 mars 2026","format":false,"excerpt":"Cet essai est adapt\u00e9 de l'\u00e9pisode de Frankly publi\u00e9 le 2 f\u00e9vrier 2026 intitul\u00e9 \u00abA Country of Geniuses\u00a0\u00bb (Un pays de g\u00e9nies). Par Nate Hagens Traduction de [Essay] A Country of Geniuses, par Nate Hagens, 17 f\u00e9vrier 2026 Quand j'\u00e9tais plus jeune, je lisais beaucoup\u00a0Carl Sagan, et l'une de ses\u2026","rel":"","context":"Article similaire","block_context":{"text":"Article similaire","link":""},"img":{"alt_text":"","src":"","width":0,"height":0},"classes":[]},{"id":9733,"url":"https:\/\/gillesenvrac.ca\/carnet\/prologue-effrayes-claude\/","url_meta":{"origin":9492,"position":4},"title":"Prologue \u00e0 : Commentaires terrifi\u00e9s sur la Constitution de Claude","author":"Gilles Beauchamp","date":"24 mars 2026","format":false,"excerpt":"Traduction de Prologue to Terrified Comments on Claude's Constitution, par Zack M. Davis, publi\u00e9 le\u00a08 mars 2026 sur An Algorithmic Lucidity Mais qu'est-ce que c'est que cette chronologie ? Ce qui frappe \u00e0 la lecture de ce qui est\u00a0peut-\u00eatre le document le plus important de l'histoire de l'humanit\u00e9 [Claude's Constitution],\u2026","rel":"","context":"Article similaire","block_context":{"text":"Article similaire","link":""},"img":{"alt_text":"","src":"","width":0,"height":0},"classes":[]},{"id":8972,"url":"https:\/\/gillesenvrac.ca\/carnet\/sans-dualisme-6\/","url_meta":{"origin":9492,"position":5},"title":"Abandonner le dualisme #6 : peut-\u00eatre le monisme ?","author":"Gilles Beauchamp","date":"1 janvier 2026","format":false,"excerpt":"Tom Murphy, sur Do the math, publi\u00e9 le\u00a030 d\u00e9cembre 2025 Se fondre en un seul, sans fronti\u00e8res (voir\u00a0les d\u00e9tails\u00a0pour la cr\u00e9ation de ce graphique). Bon, nous avons d\u00fb faire un long\u00a0d\u00e9tour de deux articles\u00a0afin de mieux comprendre comment des mod\u00e8les mentaux manifestement imparfaits pi\u00e8gent beaucoup d'entre nous dans un \u00e9tat\u2026","rel":"","context":"Article similaire","block_context":{"text":"Article similaire","link":""},"img":{"alt_text":"","src":"https:\/\/i0.wp.com\/gillesenvrac.ca\/carnet\/wp-content\/uploads\/2026\/01\/yin-yang.png?resize=350%2C200&ssl=1","width":350,"height":200,"srcset":"https:\/\/i0.wp.com\/gillesenvrac.ca\/carnet\/wp-content\/uploads\/2026\/01\/yin-yang.png?resize=350%2C200&ssl=1 1x, https:\/\/i0.wp.com\/gillesenvrac.ca\/carnet\/wp-content\/uploads\/2026\/01\/yin-yang.png?resize=525%2C300&ssl=1 1.5x, https:\/\/i0.wp.com\/gillesenvrac.ca\/carnet\/wp-content\/uploads\/2026\/01\/yin-yang.png?resize=700%2C400&ssl=1 2x, https:\/\/i0.wp.com\/gillesenvrac.ca\/carnet\/wp-content\/uploads\/2026\/01\/yin-yang.png?resize=1050%2C600&ssl=1 3x, https:\/\/i0.wp.com\/gillesenvrac.ca\/carnet\/wp-content\/uploads\/2026\/01\/yin-yang.png?resize=1400%2C800&ssl=1 4x"},"classes":[]}],"jetpack_likes_enabled":true,"jetpack_sharing_enabled":true,"_links":{"self":[{"href":"https:\/\/gillesenvrac.ca\/carnet\/wp-json\/wp\/v2\/pages\/9492","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/gillesenvrac.ca\/carnet\/wp-json\/wp\/v2\/pages"}],"about":[{"href":"https:\/\/gillesenvrac.ca\/carnet\/wp-json\/wp\/v2\/types\/page"}],"author":[{"embeddable":true,"href":"https:\/\/gillesenvrac.ca\/carnet\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/gillesenvrac.ca\/carnet\/wp-json\/wp\/v2\/comments?post=9492"}],"version-history":[{"count":0,"href":"https:\/\/gillesenvrac.ca\/carnet\/wp-json\/wp\/v2\/pages\/9492\/revisions"}],"wp:attachment":[{"href":"https:\/\/gillesenvrac.ca\/carnet\/wp-json\/wp\/v2\/media?parent=9492"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}