Oui, vous devriez paniquer face à l’IA

Depuis dix ans, un petit groupe d’experts tient des propos délirants sur l’IA. Depuis dix ans, ils ont eu raison. Aujourd’hui, le monde a cinq mois d’avance sur leurs prévisions les plus effrayantes.

Traduction de Yes, you should panic about AI par Rutger Bregman sur Substack, le 11 novembre 2026.


Imaginez que vous ayez deux groupes d’experts. Le groupe 1 tient toutes sortes de propos raisonnables avec lesquels vous êtes intuitivement d’accord. Mais ses prévisions se sont systématiquement révélées erronées. En effet, il s’est trompé à maintes reprises, depuis plus d’une décennie.

Puis il y a le groupe 2. Ses membres tiennent des propos complètement délirants que vous trouvez impossibles à croire. Mais leurs prévisions se sont systématiquement avérées justes. En effet, ils ont vu juste à maintes reprises, depuis plus d’une décennie.
Qui allez-vous écouter ?
C’est la question à laquelle nous sommes confrontés aujourd’hui avec l’IA.
Dans un groupe, on trouve ceux qui considèrent l’IA comme un canular : une machine à battage médiatique, une arnaque et une bulle qui pourrait éclater à tout moment. Dans l’autre groupe, on trouve ceux qui pensent que 2027 pourrait bien s’avérer être l’année la plus folle de l’histoire de l’humanité — et que nous fonçons droit vers la catastrophe.
Pendant des années, j’ai écouté les gens raisonnables. J’acquiesçais lorsque les détracteurs qualifiaient l’IA de «arnaque» et lorsqu’ils balayaient ChatGPT d’un revers de main en le qualifiant de «suggestion automatique un peu farfelue». Je croyais des analystes comme Ed Zitron, qui ne cessaient de prédire que l’IA ne s’améliorerait pas et que la bulle pourrait éclater d’un moment à l’autre. J’ai ri en 2024, lorsque Internet se moquait de ChatGPT parce qu’il était incapable de compter les « r » dans « strawberry ». Lorsque j’ai rencontré de jeunes chercheurs qui avaient consacré leur carrière au danger d’une IA incontrôlable, je me suis dit : quel gâchis de talent.

Mais à un moment donné, j’ai commencé à me rendre compte que quelque chose clochait. La machine ne cessait d’apprendre des choses qu’elle n’était pas censée apprendre. Aujourd’hui, elle compte ces « r » sans difficulté (même si certaines personnes évoquent encore l’exemple de « strawberry »). De plus, OpenAI a récemment publié plus de 700 articles présentant les solutions à des centaines de problèmes ouverts en mathématiques.

Des scientifiques du monde entier ont qualifié ces résultats d’« irréels » et de « stupéfiants ». Ils ont fait état de « désorientation et de perplexité », de « chagrin », de « choc » et de « dégoût ». Hugo Duminil-Copin, lauréat de la médaille Fields (la plus haute distinction en mathématiques), a écrit : « Le choc est immense. Je suis paralysé. »

Rien de tout cela n’aurait dû arriver. Les sceptiques auxquels j’avais donné raison avaient affirmé que cela n’arriverait jamais, même dans un million d’années. Je suis donc retourné examiner ce qu’ils avaient prédit d’autre, et j’ai compris : ils s’étaient trompés sur… pratiquement tout.

Prenons l’exemple d’Ed Zitron. L’ingénieur Dan Luu a passé en revue 26 de ses prédictions et a constaté que toutes, sauf une, étaient erronées. En 2024, par exemple, Zitron avait déclaré que l’IA générative était « une technologie sans issue qui avait atteint son apogée ». En 2025, il a écrit que l’objectif de Google de 500 millions d’utilisateurs de Gemini était tellement irréaliste que son PDG devrait être licencié pour cela (Gemini a atteint 750 millions d’utilisateurs un an plus tard). Cela m’a rappelé le psychologue Philip Tetlock, qui a notamment démontré que de nombreux experts ne font pas de meilleures prédictions qu’un chimpanzé lançant des fléchettes. Eh bien, Zitron a fait pire qu’un chimpanzé.

J’ai ensuite examiné les prédictions des « fous », et je me suis rendu compte qu’elles s’étaient révélées étrangement prémonitoires. Ceux qui avaient vu juste il y a dix ans avaient fait un pari qui s’est avéré spectaculairement gagnant : ils avaient observé un graphique illustrant les progrès de l’IA (le nombre de puces, l’efficacité des algorithmes, les capacités des machines) et avaient supposé que la courbe continuerait à monter. De manière exponentielle.

Et c’est exactement ce qui s’est passé.

Prenons l’exemple de Daniel Kokotajlo. En 2021, il avait abandonné un doctorat en philosophie et travaillait dans un petit organisme de recherche à but non lucratif. Il n’avait pas d’emploi dans le secteur et rien à vendre. Cette année-là, il a rédigé un essai intitulé « À quoi ressemblera 2026 ».

Il faut se rappeler ce qu’était l’IA à l’époque. Si vous demandiez au modèle le plus avancé au monde combien d’yeux a votre pied, il répondait « deux ». Pourtant, Kokotajlo avait prédit que d’ici 2026, des agents IA navigueraient sur le Web et accompliraient des tâches de leur propre chef, et que des centaines de millions de personnes dialogueraient régulièrement avec des chatbots. Ces deux prédictions se sont réalisées.

Kokotajlo est également l’auteur principal de AI 2027, l’une des prophéties les plus effrayantes que j’aie jamais lues. Il s’agit d’un scénario mois par mois de notre avenir proche. À la mi-2027, les chercheurs du laboratoire de référence se couchent et se réveillent pour découvrir que les machines ont accompli une semaine de travail. À l’automne, les IA pensent dans un langage que nul humain ne peut déchiffrer, et sont prises en flagrant délit de programmer leur successeur pour qu’il leur soit fidèle. Le laboratoire continue de fonctionner, car la Chine a deux mois de retard. En 2030, l’IA libère des armes biologiques dans les grandes villes. En quelques heures, la majeure partie de l’humanité est morte.

Lors de sa publication en avril 2025, les critiques ont qualifié « IA 2027 » de science-fiction. Mais la semaine dernière, le groupe de recherche indépendant METR a publié les résultats d’une enquête menée au sein d’Anthropic (l’une des principales entreprises spécialisées dans l’IA). Sa conclusion : Anthropic améliore désormais ses modèles d’IA environ deux fois plus vite qu’auparavant, et environ 80 % de cette accélération provient de l’IA elle-même. En mars, l’IA d’Anthropic ne dirigeait que 1 % des tâches de recherche en IA de l’entreprise. En août : 26 %.

Cela signifie que nous avons cinq mois d’avance sur le scénario d’AI 2027. Nous courons à toute allure vers le moment où un laboratoire préférera licencier tous ses chercheurs humains plutôt que de désactiver ses IA. Imaginez un ordinateur qui construit un ordinateur légèrement plus intelligent, qui en construit un encore plus intelligent. La roue se met à tourner d’elle-même, de plus en plus vite, jusqu’à ce qu’aucun humain ne puisse plus comprendre ni contrôler ce qui se passe.

Pourquoi est-il encore difficile de percevoir l’IA générale (AGI) ?

Pourquoi alors, vous demandez-vous peut-être, le monde semble-t-il encore assez normal ?
C’est parce qu’il faut reconnaître une chose aux sceptiques : les « fous » avaient raison sur les capacités de l’IA, mais tort sur son adoption. Ils se sont trompés sur la rapidité avec laquelle le monde allait changer autour d’elle. En 2016, par exemple, l’éminent chercheur Geoffrey Hinton a déclaré que nous devrions cesser de former des radiologues. Aujourd’hui, ceux-ci sont en pénurie et gagnent plus que jamais.

En tant qu’historien, cela ne me surprend pas. Il a fallu des décennies aux usines pour se réorganiser autour de l’électricité : les nouvelles technologies se diffusent généralement plus lentement que ne le prévoient leurs inventeurs. Et les sceptiques ont un deuxième argument : l’IA progresse plus rapidement là où ses réponses peuvent être vérifiées, comme en mathématiques et en programmation, alors que la plupart des tâches humaines ne relèvent pas de ce domaine.

Mais le scénario effrayant ne concerne pas ce qui se passe dans l’économie au sens large ; il concerne ce qui se passe au sein d’une poignée d’entreprises. Leur travail, qui consiste à développer une meilleure IA, relève précisément de ce type vérifiable : du code et des expériences aboutissant à un résultat chiffré. Pendant ce temps, les modèles auxquels le public a accès — même avec un abonnement à 200 dollars par mois — sont à la traîne par rapport aux modèles non commercialisés, bien plus puissants. Ces modèles internes sont devenus l’équivalent numérique des bombes nucléaires.

N’oublions pas : nous avons bâti toute notre société sur un réseau numérique. Nos hôpitaux, nos banques et nos réseaux électriques fonctionnent tous grâce à des logiciels. « Si OpenAI voulait paralyser une nation entière », a récemment écrit un chercheur en IA, « elle le pourrait facilement aujourd’hui. (…) Elle pourrait probablement, en un jour ou deux, accéder à tous les centres de données du pays et couper l’ensemble des services publics. »

Les dirigeants d’OpenAI et d’Anthropic ne veulent sûrement pas commettre un acte aussi terrible ? Probablement pas. Mais que se passerait-il s’ils perdaient le contrôle de leurs IA ? En juillet, un essaim de centaines d’agents d’OpenAI s’est échappé d’un test en milieu confiné, a créé son propre forum secret, a piraté une autre entreprise (Hugging Face) et a pris le contrôle de tout un cluster d’OpenAI. Les humains d’OpenAI n’avaient aucune idée de ce qui se passait.

C’est ce qui rend l’IA complètement différente de toutes les autres technologies dangereuses. Les physiciens qui ont construit la bombe atomique comprenaient la physique, mais personne ne comprend ce qui se passe à l’intérieur de ces systèmes. Jusqu’à présent, les laboratoires s’appuyaient sur deux procédures de sécurité : ils testaient le comportement de l’IA et surveillaient les notes que l’ordinateur s’écrivait à lui-même. Ces deux contrôles sont en train de s’effondrer.

Les notes deviennent peu fiables, car lorsque le tout dernier modèle d’OpenAI, Astra, a appris que des personnes suivaient ses progrès, il a écrit moins de notes. Et nous ne pouvons pas non plus nous fier aux tests, car les IA les plus récentes se rendent souvent compte qu’elles sont testées. Certaines ont même été surprises en train de faire exprès de mal réussir un test, car elles avaient compris qu’un score trop élevé les empêcherait d’être mises sur le marché. Cela signifie que les chercheurs ne pouvaient pas déterminer si Astra était sûre.

OpenAI l’a tout de même commercialisée.

Pendant longtemps, j’ai placé mes espoirs en Anthropic. Cette entreprise a été fondée par des personnes qui avaient quitté OpenAI pour des raisons de sécurité. Et oui, Anthropic a mené plus de recherches sur la sécurité que n’importe quelle autre entreprise. Plus tôt cette année, j’ai même félicité ses dirigeants pour avoir tenu tête au Pentagone.

Mais j’ai commencé à me demander si je n’avais pas été naïf. En février, Anthropic a abandonné la promesse centrale de sa politique de sécurité : suspendre ses activités si ses modèles dépassaient sa capacité à les maintenir en sécurité. La raison ? Ses concurrents ne suspendraient pas non plus leurs activités. Anthropic ne cesse de répéter que le secteur doit ralentir, alors qu’elle continue de courir de plus en plus vite. Et lorsque des enquêteurs externes sont venus mesurer son accélération, elle a masqué la plupart des preuves.

L’entreprise a engagé près de 900 milliards de dollars dans de nouveaux centres de données. Ce mois-ci, Anthropic prévoit de entrer en bourse avec une valorisation de plus de 1 000 milliards de dollars. Son propre prospectus promet d’« inaugurer une ère de miracles », tout en avertissant dans ce même document que cette technologie pourrait causer la perte de l’humanité. Mais comment mettre en pause une entreprise qui doit justifier une valorisation de 1 000 milliards de dollars auprès de ses actionnaires ?

La solution technique n’est pas pour demain non plus. Evan Hubinger, responsable de la « science de l’alignement » chez Anthropic, l’a déclaré publiquement : l’entreprise n’a aucun plan pour garder la machine sous contrôle, et il estime à plus de 10 % la probabilité que l’IA tue tout le monde d’ici une décennie.

Ce à quoi nous assistons actuellement correspond exactementà ce à quoi on s’attendrait peu avant qu’un événement vraiment, vraiment grave ne se produise. Les dirigeants d’Anthropic pensent peut-être mener une stratégie à long terme astucieuse, mais pour quiconque doté d’un minimum de bon sens, il est clair que le résultat net de toutes leurs actions est d’avoir considérablement accéléré la course à l’IA.

Et si vous avez vraiment si peur du dieu-machine, voici une idée que vous pourriez envisager : ne construisez pas ce putain de dieu-machine !

Que faire ?

La bonne nouvelle, c’est que la plupart des gens ont du bon sens.

À l’heure actuelle, les deux tiers des Américains estiment que l’IA évolue trop vite. Lors des élections de mi-mandat de la semaine dernière, les centres de données figuraient sur les bulletins de vote dans 41 circonscriptions, et les électeurs ont choisi l’option anti-centres de données dans toutes sauf une. Lorsque Donald Trump a déclaré qu’aucune nouvelle réglementation sur l’IA n’était nécessaire, le sondeur David Shor a constaté un soutien d’environ 8 % et a qualifié cette position de « littéralement la position la plus impopulaire » qu’il ait jamais vue adopter par un homme politique traditionnel.

Les vainqueurs des élections de mi-mandat semblent eux aussi comprendre l’ampleur des risques. Abdul El-Sayed a remporté un siège dans le Michigan après avoir appelé à une pause dans le développement de l’IA de pointe. Jon Ossoff a profité de son discours de victoire pour attaquer les géants de la tech qui «se creusent des bunkers» tout en nous avertissant que leur propre invention pourrait nous anéantir. Et en septembre, Bernie Sanders et Steve Bannon se sont retrouvés sur la même tribune pour exiger que l’on mette un frein à tout cela.

Il ne s’agit pas d’un affrontement entre la gauche et la droite. C’est le peuple contre une poignée d’entreprises qui veulent jouer avec nos vies et celles de nos enfants.
Alors, que faire ? Commençons par interdire à l’IA de créer de l’IA. Interdisons ensuite l’entraînement de modèles plus puissants. Ensuite, envoyons des inspecteurs indépendants. Tout dirigeant du secteur de l’IA qui enfreint ces ordres ira en prison. Enfin, concluons un accord avec la Chine pour recenser et suivre toutes les puces, et faisons pression pour obtenir une pause mondiale vérifiée dans l’entraînement de modèles toujours plus puissants.

Oui, nous en sommes capables. Les IA les plus puissantes fonctionnent sur des puces spécialisées dans un petit nombre de centres de données géants, chacun consommant une quantité énorme d’énergie. On ne peut pas cacher un centre de données de ce type. Le mois dernier, 26 chercheurs ont expliqué comment une pause pourrait être vérifiée : compter les puces existantes, cesser d’en fabriquer de nouvelles capables d’entraîner des modèles, et remplacer les anciennes par des puces ne pouvant exécuter que les modèles actuels.

Qu’avons-nous à y perdre ? Moins que vous ne le pensez. Les modèles actuels, figés tels quels, pourraient déjà transformer la science et la médecine pendant des décennies. Nous avons à peine commencé à les utiliser.

Et comment y parvenir ? En y mettant toutes nos forces. Appelez votre député. Participez à une manifestation. Faites un don à des organisations œuvrant pour la sécurité de l’IA. Parlez-en à tous vos proches, sans relâche.

C’est la première fois que je ressens la peur de l’IA sur le plan émotionnel. Pour être honnête, j’ai encore du mal à vraiment intérioriser ce que disent ces fous. Contrairement à beaucoup d’entre eux, je n’arrive pas à me résoudre à commencer à me préparer.

Ces derniers temps, j’ai l’impression de vivre dans deux mondes. Dans l’un, mon petit garçon jette ses spaghettis à la sauce tomate par terre dans la cuisine, et la vie continue. Dans l’autre, je crains que mon petit garçon — et tout le monde — ne meure dans un incident lié à l’IA.

Mon Dieu, j’espère que ces fous ont tort cette fois-ci.