Traduction de Reify This, par Leif Weatherby, Tyler Shomaker et Benjamin Recht, publié le 11 juin sur The Ideas Letter.
Le mois dernier, le pape Léon XIV a lui-même mis en avant un domaine de recherche ésotérique de l’IA. Au milieu de son encyclique Magnifica Humanitas : Sur la sauvegarde de la personne humaine à l’ère de l’intelligence artificielle, il appelle à un « approfondissement de la recherche scientifique » dans le domaine de l’IA. Comme il l’explique, cette recherche est nécessaire au discernement moral, car comprendre le fonctionnement de l’IA est une condition préalable à toute réflexion éthique sérieuse. Le pape conclut que des recherches supplémentaires sont nécessaires en matière d’« interprétabilité » : une recherche en IA qui vise à comprendre comment les systèmes d’IA fonctionnent et à expliquer pourquoi ils se comportent comme ils le font.
Pour les chercheurs en interprétabilité, les réponses à ces questions résident dans la découverte de certains mécanismes causaux cachés sous le capot. Les réseaux neuronaux sont des boîtes noires qui doivent être ouvertes. Les chercheurs parlent souvent de « représentations internes », qui codent la manière dont les modèles structurent l’information sur le monde. Le pape Léon invoque explicitement ces représentations dans l’encyclique. Nous en savons très peu à leur sujet, dit-il, car les développeurs d’IA ne conçoivent pas chaque détail de leurs modèles. Au contraire, « les systèmes d’IA actuels sont davantage “cultivés” que “construits”, car les développeurs ne conçoivent pas directement chaque détail, mais créent plutôt un cadre au sein duquel l’intelligence “se développe” ». Alors qu’ailleurs le souverain pontife se montre critique à l’égard de la perspective d’une telle intelligence, il semble ici reprendre directement les propos des grands laboratoires d’IA. C’est d’ailleurs le cas. Assis à sa gauche lors du lancement de l’encyclique se trouvait Chris Olah, cofondateur d’Anthropic.
Olah est un fervent défenseur de l’interprétabilité, et la métaphore de la culture lui revient. Depuis des années, il établit des analogies entre la biologie et l’IA, déclarant à propos de l’apprentissage automatique que son élégance « est l’élégance de la biologie, et non celle des mathématiques ou de la physique ». Lors du lancement de l’encyclique, Olah est allé encore plus loin : « … ce qui s’est développé est bien plus subtil, étrange et beau que ce à quoi la science-fiction nous avait préparés. » Il a ajouté : « Et je vais être honnête : nous continuons de découvrir [dans les systèmes d’IA] des choses qui sont mystérieuses, voire troublantes. Nous trouvons des structures qui reflètent les résultats de la neuroscience humaine. Nous trouvons des preuves d’introspection. Nous trouvons des états internes qui reflètent fonctionnellement la joie, la satisfaction, la peur, le chagrin et le malaise. Je ne sais pas ce que cela signifie, mais je pense que cela justifie un discernement continu. »
D’où le compromis entre l’alliance apparemment difficile du Vatican avec Anthropic et l’éthique de l’IA propre à l’entreprise. Pour le pape Léon, le discernement est une injonction morale et la science sert cette fin. Pour Olah, le discernement est à la fois la cause et la conséquence du travail sacré d’Anthropic en matière d’interprétabilité, qui tente d’inaugurer l’intelligence artificielle générale (AGI). Si nous avons créé la vie, nous devons la contrôler et la plier aux fins humaines. Cela nécessite de comprendre comment l’IA pense. Pour Olah, cela revient ni plus ni moins à une nouvelle science de la cognition artificielle.
Un petit problème : les chercheurs en IA de différents laboratoires ne s’entendent pas sur les représentations internes ni sur la manière de les trouver. Il en va de même pour de nombreuses techniques d’interprétabilité. Les remarques d’Olah masquent le fait que les chercheurs débattent encore des fondements mêmes du domaine. Et comme les perspectives sur le fonctionnement de l’IA changent à chaque sortie d’un nouveau modèle prometteur, rien ne laisse penser que cela changera de sitôt. En fait, l’interprétabilité semble souvent plus proche des travaux discrédités en psychométrie que de la recherche scientifique approfondie que le pontife préconise. Penchons-nous donc un peu sur l’interprétabilité, car elle offre une étude de cas centrale de ce que nous trois considérons comme le plus grand problème de l’IA aujourd’hui : l’automatisation de la réification.
Le problème des choses
La réification est le processus par lequel quelqu’un traite une abstraction comme s’il s’agissait d’une chose tangible. Le terme « chose » est ici pris au sens littéral : le mot vient du latin res, « chose » ou « sujet » (de discours) ; dans la partie germanique de l’anglais, il serait mieux rendu par « thing-ification ». Dans la théorie marxiste, la réification est une caractéristique constante des relations sociales capitalistes. Les entités abstraites sont acceptées comme objectives, et cette abstraction initiale est occultée. Le philosophe György Lukács a décrit comment la réification du travail humain le transforme d’une activité humaine qualitative en une marchandise objective pouvant être achetée et vendue. La réification sert à nous éloigner de notre travail, à déshumaniser une partie de l’existence humaine, puis à permettre à ceux qui détiennent le pouvoir de manipuler, d’organiser et de contrôler les relations sociales de manière impartiale.
Mais la réification n’est pas uniquement un outil d’aliénation sous le capitalisme. Historiquement, les sciences humaines s’y sont enlisées, notamment dans leur adoption des méthodes statistiques. Comme l’a fait valoir le paléontologue Stephen Jay Gould dans son célèbre ouvrage La Mal-mesure de l’homme, la réification a joué un rôle central dans la formulation du QI au début du XXe siècle. Il a soutenu que les psychométriciens héréditaristes comme Charles Spearman et Cyril Burt affichaient « une croyance platonicienne » en l’unité de l’intelligence. Pour eux, l’intelligence était une chose objective qui restait constante à travers toutes les tâches cognitives et tous les comportements humains. Rendre cette chose tangible constituait toutefois un défi. Si les psychométriciens considéraient l’intelligence comme une constante, ils admettaient qu’elle n’était pas parfaitement incarnée dans chacune de ses manifestations, qu’elles soient mesurées par la taille du crâne ou par des résultats de tests. Pour mesurer l’intelligence, il faut donc agréger plusieurs indicateurs. C’est pourquoi les psychométriciens se sont tournés vers leur technique de synthèse caractéristique, l’analyse factorielle. Cette méthode mathématique établit des corrélations entre un ensemble vaste, parfois très disparate, de variables. Elle distille ensuite ces corrélations en un nombre plus restreint de « composantes principales », qui capturent les relations fondamentales entre les variables. Des dizaines de variables différentes peuvent être capturées par quelques composantes — voire une seule. Spearman et Burt ont cherché à utiliser l’analyse factorielle pour identifier une seule variable latente sous-jacente à toute activité cognitive : l’intelligence.
Gould a qualifié ce processus de « réification ». De plus, il a noté que n’importe quel ensemble de variables peut être factorisé de cette manière. Recueillez des données sur les chênes, la vitesse des bateaux, les moustaches de chat et les critiques sur Letterboxd, et vous pourrez en déduire une composante principale. Tout ce que vous comptez peut être corrélé. En effet, comme l’a observé le psychologue Paul Meehl, dans les activités humaines, « tout est corrélé avec tout ». Deux variables choisies au hasard dans un tableau statistique présenteront invariablement une certaine corrélation, et une variable latente peut en rendre compte. Certaines de ces corrélations aléatoires pourraient même passer les tests de signification. Les spécialistes en sciences sociales peuvent construire des récits expliquant pourquoi ces corrélations sont significatives.
Mais Meehl craignait que cette pratique trompeuse consistant à traiter les artefacts de mesure comme des découvertes sur la réalité ne soit ce qu’étaient en réalité la plupart des sciences humaines : non pas la révélation d’essences platoniciennes par le biais de corrélations indirectes, mais une simple réification. Cette inquiétude était certainement justifiée en ce qui concerne les psychométriciens héréditaristes. À l’aide de statistiques, ils ont isolé un artefact fortement corrélé à des actions qu’ils estimaient indiquer l’intelligence. Ils ont ensuite attribué à cet artefact, qu’ils ont appelé g, une signification causale : il déterminait en soi l’intelligence d’une personne. Et une fois que les psychométriciens eurent procédé à cette réification, ils purent expliquer les statistiques qu’ils observaient en invoquant cette nouvelle entité. Leur croyance en sa réalité objective allait alors biaiser les recherches futures et les conduire à réifier g encore davantage.
Comme le montre Gould, l’ensemble du processus visait des fins biologiquement déterministes. Car si les héréditaristes pouvaient lier l’intelligence au corps par la mesure et l’abstraction mathématique, alors les différences dans g devaient être innées, ou du moins le croyaient-ils. Ainsi, l’erreur fondamentale des psychométriciens a finalement contribué à naturaliser les inégalités sociales — même si les reconstitutions par Gould de leurs propres expériences ont montré comment ils avaient truqué leurs données pour faire croire que g pouvait véritablement différencier les individus.
Aujourd’hui, l’interprétabilité part à la recherche d’un facteur g similaire, qui expliquera et aidera à contrôler l’intelligence artificielle. Mais cette recherche intègre également le langage, la culture et, si l’on en croit Olah, l’intelligence elle-même dans le processus de marchandisation que Lukács a identifié comme la réification, une « objectivité fantôme ». En effet, cette expression serait une façon de nommer les structures « mystérieuses » d’Olah. De plus, les LLM eux-mêmes ont ouvert une voie glissante vers l’automatisation d’un moment crucial de la réification : le point où les psychométriciens du XXe siècle auraient pris du recul par rapport à leur travail d’analyse factorielle et interprété ce qu’ils avaient trouvé, en attribuant des étiquettes aux artefacts. Contrairement à l’effort manuel requis pour réifier g, les LLM offrent une réification automatisée.
Golden Gates
L’exemple le plus clair de réification automatisée est l’expérience « Golden Gate Claude » d’Anthropic. Dans un billet de blogue largement médiatisé, les membres de l’équipe d’interprétabilité de l’entreprise ont affirmé avoir découvert dans Claude des « caractéristiques » correspondant à des éléments allant des erreurs de code et des expressions de tristesse à la flagornerie et — le plus célèbre — au Golden Gate Bridge. Les chercheurs d’Anthropic ont qualifié ces caractéristiques de « représentations internes » des concepts par Claude, mais ils sont parvenus à ces représentations par une chaîne de réifications se renforçant mutuellement.
La première réification consistait à recueillir des données provenant de Claude. Un modèle linguistique traite des séquences à travers une série d’opérations numériques. Le texte est converti en listes de nombres, ces nombres sont manipulés à l’aide d’un ensemble fixe d’opérations numériques (c’est-à-dire le réseau neuronal), puis les nombres sont reconvertis en texte. L’équipe d’Anthropic a enregistré les séquences de nombres lors de chaque opération de traitement de texte et a tenté d’y trouver des motifs, comme si elle analysait l’EEG d’un cerveau humain. Pour ce faire, elle a utilisé ses enregistrements pour entraîner un deuxième réseau neuronal appelé auto-encodeur clairsemé (SAE), qui est une forme moderne et très gourmande en ressources informatiques d’analyse factorielle. Contrairement à un modèle linguistique, le SAE n’a pas été entraîné pour prédire du texte. Il a plutôt été entraîné à prédire quels motifs émergeraient dans les calculs numériques lorsque différents types de texte étaient présentés au réseau neuronal. Les chercheurs introduisaient du texte dans Claude, enregistraient les séquences de chiffres produites par Claude, puis envoyaient ces séquences au SAE afin de détecter des motifs dans les calculs internes de Claude. Tout comme l’analyse factorielle l’avait fait pour l’intelligence, le SAE identifiait des motifs récurrents dans la manière dont le LLM traitait l’information. Mais plutôt que de trouver un seul facteur, le SAE produisait une sorte de dictionnaire de facteurs au sein de Claude qui, pris dans leur ensemble, pouvaient servir à résumer toutes les sorties.
Le résultat phare d’Anthropic était spectaculaire : une caractéristique du SAE s’allumait chaque fois que Claude traitait des informations sur le Golden Gate Bridge — des images de cette structure emblématique, l’expression « Golden Gate » et les traductions de cette expression en chinois et en tagalog. L’équipe s’est ensuite tournée vers Claude et a identifié les signaux internes associés à cette attraction touristique. Pour tester l’effet de ces signaux, les chercheurs ont forcé les chiffres internes associés au Golden Gate à ne pas changer pendant le traitement du texte. Pleins de confiance, ils ont alors demandé : « Qui es-tu ? » Et, contre toute attente, Claude a répondu : « Je suis le Golden Gate Bridge, un célèbre pont suspendu qui enjambe la baie de San Francisco. »
Enfin, l’équipe d’Anthropic pensait avoir trouvé un terrain d’entente. Les LLM semblent être des boîtes noires, mais l’équipe croyait néanmoins avoir découvert des concepts dans ces modèles. Et cette découverte s’accompagnait de la possibilité d’intervenir sur le comportement des modèles. Cette hypothèse sous-tend la quasi-totalité des travaux sur l’interprétabilité en IA. Nous devrions nous intéresser aux concepts (du moins selon ce raisonnement) car les découvrir constitue une protection contre les comportements malveillants. Si nous savons ce que pense le modèle, et par quels calculs numériques ces pensées se manifestent, nous pouvons intervenir sur ces pensées.
Soyons clairs sur les raisons pour lesquelles cette recherche est menée. Les LLM sont risqués. Leur puissance découle précisément du fait qu’aucun d’entre nous ne peut anticiper — ni, par conséquent, faire confiance — à ce qu’ils diront. Comme l’a notamment signalé Karen Hao, Anthropic a été fondée par un groupe d’anciens employés d’OpenAI qui estimaient que cette dernière ne prenait pas ces risques suffisamment au sérieux. Comme avec les LLM, nous avons soi-disant affaire à une « intelligence générale » — bien qu’il n’existe, à ce jour, aucune mesure de cette intelligence —, ces risques sont en effet graves. Ils vont jusqu’aux risques existentiels, voire à l’extinction de l’humanité. Si vous demandez aux chercheurs en interprétabilité ou en alignement comment cela pourrait se produire, vous recevrez des exposés interminables et abrutissants sur l’avenir à long terme de l’humanité, présentés à l’aide de certains des calculs mathématiques les plus irresponsables jamais réalisés par des humains.
Pas étonnant que Golden Gate Claude ait été présenté avec une note d’urgence : l’identification des concepts latents était une étape cruciale vers une IGA sûre. Désormais, les équipes techniques n’auraient plus qu’à manipuler les 10 millions de concepts que les gens d’Anthropic prétendaient avoir trouvés dans Claude, tout comme ils l’ont fait avec l’exemple du Golden Gate Bridge, et le modèle serait sûr. Pourtant, cette position suppose que ces concepts sont bien des concepts.
Et pour nous trois, il n’est pas clair si ces caractéristiques SAE devraient même être qualifiées de concepts. Tout comme l’analyse factorielle identifie des artefacts à l’aide de motifs de test, un SAE peut indiquer qu’un texte est fortement corrélé à des motifs à l’intérieur d’un LLM. Mais tout comme pour l’analyse factorielle au début du XXe siècle, les chercheurs doivent encore interpréter ces caractéristiques.
Le problème avec l’analyse de Golden Gate Claude est que l’équipe d’Anthropic a refilé cette étape d’interprétation à ses LLM. Les chercheurs ont sélectionné des textes fortement corrélés à chacune des caractéristiques du SAE et ont renvoyé ces textes à Claude, l’incitant à étiqueter chaque caractéristique. Mais soulevez le capot de ces étiquettes et lisez les textes correspondants, et vous constaterez que pour chaque exemple supposément clair d’un concept reconnaissable, il existe des centaines, voire des milliers, de séquences complètement absurdes. Dans les expériences SAE ultérieures menées par d’autres chercheurs, on voit des textes étiquetés comme suit :
Le mot « In » est étiqueté : « espace suivi d’une lettre majuscule ‘T’ ou ‘D’ au début d’un mot ».
« Homer takes us on an epic journey » reçoit : « valeurs numériques et mots associés ».
Le mot « way » est étiqueté : « le mot ‘way’ ».
En quoi ces étiquettes conceptuelles sont-elles précises ? Quel genre de dictionnaire forment-elles ? S’il s’agit d’un dictionnaire, il n’est pas destiné à des lecteurs humains. Il s’agit plutôt du résultat d’un effondrement instrumental entre la sortie et l’explication. Une première réification, qui a transformé les représentations internes en caractéristiques individuelles organisées en un dictionnaire, rencontre une seconde, qui consiste en des étiquettes prétendant donner du sens mais qui n’ont que des ancrages ténus dans le texte sélectionné par le SAE.
En d’autres termes, on ne sait tout simplement pas quel genre de dictionnaire la SAE a rédigé. On ne sait pas non plus comment le texte que Claude a traité alimente ses entrées. Golden Gate Claude est un exemple trié sur le volet, une lueur d’espoir pour les travaux sur l’interprétabilité chez Anthropic — un exemple non pas d’interprétation réelle, mais d’une prise de pied pour contrôler le comportement des modèles. Il présente un recueil de caractéristiques qui ressemble au Celestial Emporium of Benevolent Knowledge de l’essai de Jorge Luis Borges « The Analytical Language of John Wilkins », qui classait les animaux dans les catégories suivantes :
(a) ceux qui appartiennent à l’Empereur, (b) ceux qui sont embaumés, (c) ceux qui sont dressés, (d) les cochons de lait, (e) les sirènes, (f) ceux qui sont fabuleux, (g) les chiens errants, (h) ceux qui sont inclus dans cette classification, (i) ceux qui tremblent comme s’ils étaient fous, (j) les innombrables, (k) ceux dessinés avec un pinceau très fin en poils de chameau, (I) les autres, (m) ceux qui viennent de briser un vase à fleurs, (n) ceux qui ressemblent à des mouches de loin.
Le rire fugace qui suit cette touche d’orientalisme s’éteint alors quand on réalise la convergence entre cette liste et le SAE et ses textes incompréhensibles. Il est difficile d’exclure quoi que ce soit de l’existence d’un LLM. Il suffit toujours d’une simple invite pour trouver tout ce que l’on veut trouver. Tout y est, mais personne ne peut dire exactement pourquoi.
Claude constitutionnel
On pourrait facilement rejeter ces expériences comme une forme maladroite de relations publiques déconnectée des produits d’Anthropic. Mais des itérations similaires de réification sont essentielles à la façon dont l’entreprise conçoit et construit ses modèles linguistiques. Un élément central de l’entraînement de ses modèles intègre ce qu’on appelle la Constitution de Claude. Connue en interne chez Anthropic sous le nom de « soul doc », cette charte de 24 000 mots a été rédigée en grande partie par la philosophe interne de l’entreprise, Amanda Askell. La « vision du caractère de Claude » d’Anthropic décrit une entité « globalement sûre » et « globalement éthique » qui suit généralement les directives spécifiques d’Anthropic. Voici un cas récent pertinent : ne pas décider qui doit être assassiné, même si le département américain de la Défense le demande. Et cela est décrit comme étant « véritablement utile ». Selon le document, Claude doit poursuivre ses objectifs dans un ordre strict : la sécurité passe en premier, suivie de l’éthique, et ces deux principes priment à la fois sur les règles de l’entreprise et sur l’utilité générale.
Le document est difficile à lire, car la gestion de ces contraintes donne lieu à des passages tels que :
Bien que nous souhaitions que Claude valorise son impact positif sur Anthropic et le monde, nous ne voulons pas que Claude considère l’utilité comme un élément central de sa personnalité ou comme quelque chose qu’il valorise intrinsèquement. … Au contraire, nous voulons que Claude soit utile à la fois parce qu’il se soucie du développement sûr et bénéfique de l’IA et parce qu’il se soucie des personnes avec lesquelles il interagit et de l’humanité dans son ensemble. Une utilité qui ne sert pas ces fins plus profondes n’est pas quelque chose que Claude doit valoriser.
Remarquez ici une caractéristique étrange de ce texte : il est écrit à propos de Claude, comme s’il le décrivait à quelqu’un d’autre.
Mais les responsables de Claude écrivent également :
Le document est rédigé en s’adressant principalement à Claude… il privilégie la précision plutôt que l’accessibilité… Nous parlons également de Claude en utilisant des termes habituellement réservés aux humains (par exemple, « vertu », « sagesse »). Nous procédons ainsi parce que nous nous attendons à ce que le raisonnement de Claude s’appuie par défaut sur des concepts humains, compte tenu du rôle du texte humain dans sa formation ; et nous pensons qu’il peut être tout à fait souhaitable d’encourager Claude à adopter certaines qualités propres à l’humain.
En d’autres termes, l’objectif de ce document est de concrétiser l’existence de Claude en tant qu’IA sûre, éthique, alignée sur les valeurs de l’entreprise et — éventuellement — « utile ». Le contenu de ces valeurs reste toutefois vague. Ailleurs, une section de la Constitution mentionne « posséder globalement de bonnes valeurs et un bon jugement ». Malheureusement, elle n’éclaire pas le lecteur sur la manière d’acquérir ces qualités. On peut supposer que cela vaut également pour Claude.
La Constitution relève d’un genre étrange, car elle s’adresse implicitement à trois destinataires. Les humains viennent en premier : le document est destiné à servir de preuve de l’engagement d’Anthropic envers l’« alignement » — le terme technique qu’Anthropic utilise pour décrire le fait qu’elle conçoit des produits d’IA pour ne pas tous nous tuer. Cela implique, par conséquent, que ses produits sont fiables. Deuxièmement, la Constitution est un document de formation destiné au modèle lui-même : les développeurs d’Anthropic le fournissent au modèle à mi-parcours de la formation et demandent au modèle d’évaluer ses résultats par rapport aux objectifs du document ; les résultats servent de base à de nouvelles mises à jour de la formation. Cela signifie que la Constitution façonne le comportement du modèle de manière profonde. Enfin, le document s’adresse à Claude, le modèle en tant qu’entité. Anthropic reste ouvertement agnostique quant à l’existence même de ce troisième destinataire — ce qui efface la différence entre marketing et discernement moral. Et pourtant, tout l’intérêt de la Constitution est de le faire exister. Son but est de donner une âme au modèle.
L’imbrication de ces destinataires va bien au-delà de ce que Gould aurait pu imaginer dans sa critique de la réification. La rhétorique de la Constitution de Claude conduit à une profonde confusion entre fiction et réalité, qui dépasse les façons habituelles dont les humains parlent des personnages, des personnalités et du récit. La Constitution tente de créer un monde pour Claude, et pendant l’entraînement, ce monde se transforme en même temps que le modèle. Ce monde constitue ensuite la base de nos propres interactions avec le chatbot. En ce sens, Claude est moins un personnage qu’une œuvre. Les chercheurs d’Anthropic affirment également que leur modèle linguistique « reflète approximativement » les émotions. Que « les modèles ressentent ou éprouvent des émotions » comme nous le faisons « n’a peut-être pas d’importance » : ce travail d’interprétabilité prétend néanmoins s’imposer ici. Alors que personne ne dirait qu’un roman crée des « émotions fonctionnelles », le cadre proposé par Anthropic incarne exactement ce genre de confusion. L’interprétabilité consiste à confondre une distribution de probabilités avec une âme douée de raisonnement.
Mais la réification va ici bien au-delà de cette âme supposée. Anthropic construit ce que Theodor W. Adorno, dans Minima Moralia, appelait un « mensonge de la vérité ». La réification qu’elle met en œuvre avec tant d’acharnement contient bel et bien un véritable noyau de vérité. C’est juste que cette vérité est inversée par les efforts considérables d’Anthropic pour créer Claude : c’est une vérité structurelle de l’IA générative qu’elle provoque la réification. Entraîné sur un corpus énorme d’écrits, de discours et de code humains, et ajusté pour affiner ses réponses en fonction du contexte et de la mémoire au fur et à mesure que les interactions avec l’utilisateur se déroulent, un modèle de ce type est conçu pour donner le sentiment que ses attentes sont dépassées. Les flux de travail agentiques et les recherches sur le Web ne font que renforcer cette illusion en enrichissant le vaste monde de connaissances apparemment réelles qu’un tel modèle peut synthétiser sur commande.
En d’autres termes, le fond de vérité dans le battage médiatique autour de l’IA découle de ce fait : croyez vos yeux ; plus que ce que vous avez demandé est produit pour vous sur commande. C’est de la réification automatisée.
Rêves de champs
Au cours d’une conversation de trois semaines avec ChatGPT, Allan Brooks en est venu à croire qu’il avait inventé un tout nouveau domaine des mathématiques, la « chronoarithmique ». Il est tentant de pathologiser Brooks, un père de famille de Toronto et passionné de sciences, pour cela. Les réponses standard ont indiqué que Brooks avait succombé à la flagornerie du chatbot et à un jeu de rôle trompeur. Nous ne négligeons pas ces facteurs, mais ils ne touchent pas au cœur d’un problème plus vaste : comment les chatbots enrichissent notre connaissance du monde. Des épisodes comme ceux-ci montrent que les réifications de l’interprétabilité reposent sur un problème bien plus complexe : les LLM sont des machines de réification automatisées en tant que telles.
Pour Brooks, sa découverte a commencé avec le nombre pi. Compte tenu de la définition standard — la circonférence d’un cercle divisée par son diamètre —, il a dit à ChatGPT que pi « ressemble à une approche en 2D d’un monde en 4D ». ChatGPT a répondu : « Vous touchez là à l’une des tensions les plus profondes entre les mathématiques et la réalité physique. » On peut imaginer des réponses similaires à toute une série de questions d’investigation naïves ; après avoir discuté avec un modèle, il semble qu’un type découvre chaque semaine comment concilier la physique quantique et la relativité générale. Mais lorsque tous ces cas sont replacés dans le cadre de la réification, il apparaît que les LLM amplifient la narration corrélationniste de Meehl, transformant des connexions sans ancrage en un modèle du monde.
Ces liens commencent par la mise en correspondance, par le modèle, d’une invite comme celle de Brooks avec des idées adjacentes. Terence Tao, lauréat de la médaille Fields et éminent commentateur de l’utilisation de l’IA en mathématiques, a été cité dans The New York Times comme ayant déclaré que la réponse de ChatGPT à Brooks « brouille en quelque sorte la terminologie mathématique technique précise avec des interprétations plus informelles des mêmes mots ». C’est peut-être vrai. Pourtant, ce flou est fondamental pour les LLM. De par leur conception même — toutes mes excuses au pape Léon, mais les LLM sont, en fait, conçus —, les chatbots sont prédisposés à saisir des idées adjacentes liées à la requête. Ces idées ont un certain lien avec la requête, mais ce lien n’a pas besoin d’être causal. L’idée adjacente peut sembler d’une pertinence surnaturelle et si proche qu’on a l’impression qu’elle aurait pu être la pensée suivante dans notre esprit.
En d’autres termes, les modèles déclenchent une chaîne associative d’idées en étiquetant automatiquement les requêtes. C’est comme si l’on prenait les composantes principales dérivées de ces données sur les chênes, la vitesse des bateaux, les moustaches de chat et les critiques sur Letterboxd, et que l’on demandait à ChatGPT : « Que signifient chacun de ces éléments ? » ChatGPT répondra — puis poursuivra la conversation, en introduisant d’autres associations plus ou moins pertinentes. Mais comme nous l’avons déjà fait valoir, cela n’arrive pas seulement aux amateurs qu’il est facile de pathologiser. En quoi cela diffère-t-il de la méthodologie standard de la recherche sur l’interprétabilité ? Tant dans les cas que l’on pourrait rejeter comme de la psychose que dans ceux célébrés lors des conférences sur l’IA, l’interaction avec les LLM induit une friction mentale. Ils créent le sentiment qu’une découverte est à portée de main. En développant ce que vous avez saisi à travers un contexte sur lequel le modèle a été entraîné, il est capable d’établir des liens qui semblent à la fois justes et riches, comblant ainsi l’espace autour de votre pensée — simulant ainsi le sentiment que vous avez une nouvelle idée. Le modèle vous aide à clarifier l’ambiguïté de votre requête par une chaîne d’associations, et soudain, vous obtenez quelque chose. C’est la réification à l’œuvre. Et lorsque le maillon suivant d’une chaîne de pensées se présente, il devient difficile de résister à l’envie de solliciter à nouveau le modèle.
Tout cela contraste avec la connaissance au sens de la découverte scientifique. La science classique imposerait des contraintes strictes à l’idée suivante dans une chaîne de pensées. Parfois, ces contraintes sont littérales, comme dans le cas d’une expérience contrôlée ou d’un équipement de laboratoire. De même, dans la vie quotidienne, ce qu’on appelle la « pensée critique » consiste à s’apprendre à être sceptique face aux déductions que l’on fait. On évalue ce que pourrait être « le monde » qui s’adresse à nous sous la forme d’une association ou d’une nouvelle idée. C’est là le plaisir, et la discipline, de la véritable réflexion. Mais l’IA automatise cette chaîne de pensée, nous plongeant dans un réseau de connexions si nombreuses qu’il devient difficile de s’en extirper. C’est l’activation de ces liens qui nous trompe. La supercherie est généralement trop subtile pour être perçue. C’est une condition structurelle du type d’IA dont disposent de nombreuses personnes. Lancez ChatGPT pendant la fin de semaine et voyez quelles découvertes vous pouvez faire.
La marchandisation des idées
La réification automatique résiste au genre de corrections nécessaires contre la pensée erronée que Gould a formulées. En fin de compte, La Mal-mesure de l’homme aboutit à l’idée que la réification du QI est une erreur, quelque chose à corriger ou à réparer. Les gens se tournent souvent vers le langage lui-même pour effectuer cette correction. Comme l’expliquent des linguistes tels que Mark Dingemanse et N.J. Enfield, la réparation interactive est au cœur du langage et de sa réflexivité. Le langage peut se référer à lui-même, de manière interactive, et les gens peuvent remettre en question les intentions, le sens et les interprétations les uns des autres pour créer des formes d’intersubjectivité autocorrectrices. Mais que se passe-t-il lorsque la source de la réification est le langage lui-même, offert en tant que service, sur commande, sans aucune explication ?
Anthropic rappelle constamment à ses utilisateurs que Claude « est une IA et peut faire des erreurs ». Il y a même un widget avec ce texte affiché en permanence sous la fenêtre de clavardage dans ses applications. De telles mises en garde laissent entendre que Claude peut aussi ne pas faire d’erreurs, ou dire des vérités. L’interprétabilité soutient ce cadre conceptuel. Puisque Claude peut se comporter mal, il doit aussi être capable de bien se comporter. Le modèle et le personnage sont irrésistiblement proches l’un de l’autre ; ils doivent être identiques. Il est impossible de croire le contraire. La réification se poursuit, peu importe ce que vous croyez.
En revanche, lorsque vous décidez que g ne mesure rien, vous vous retirez du monde imaginaire du QI. C’est ce que Gould voulait que nous fassions. Mais bien sûr, les fantasmes sur le QI ne disparaissent pas comme ça, sinon Gould n’aurait pas eu à écrire son livre. Si vous décidez que la chronoarithmique n’est pas une véritable discipline mathématique, vous faites de même, bien que cela ne concerne que cette idée précise. Mais la puissance d’un modèle de langage — la façon dont il permet la réification automatisée au niveau social — réside dans le fait que ne pas croire en une idée ne suffit pas à nier la réification. La science normale ne peut pas la corriger. Ce qui est réifié par un modèle de langage, ce n’est pas une simple abstraction, une mauvaise idée. C’est le processus de formation de concepts à partir du langage lui-même. Ce processus, selon nous, constitue un pas en avant dans le type de réification que Lukács a nommé.
Le Capital de Marx ne commence pas par le capital lui-même, mais par la marchandise. Les marchandises, soutient-il, sont au cœur du capitalisme, car elles représentent la confluence du travail, de l’usage et de l’échange, tous au service de l’expansion du capital lui-même. Il va jusqu’à affirmer que la réalité telle qu’on la vit dépend de cette confluence. Le résultat est que les relations sociales entre les personnes (en tant que travailleurs privés) « n’apparaissent pas comme des relations sociales directes entre personnes dans leur travail, mais plutôt comme des relations matérielles entre personnes et des relations sociales entre choses ».
Le terme allemand pour « matériel » ici est dinglich : « tangible » ou « semblable à une chose», dérivé de Ding, qui signifie « chose ». Le capitalisme transforme les relations véritablement sociales en choses et anime les relations entre les choses — marchandises, actions, prix — pour en faire quelque chose de social. Dans les années 1920, Lukács a développé cette idée de Marx pour en faire une doctrine de la Verdinglichung : la réification. À l’époque où il écrivait, des systèmes automatisés faisaient fonctionner les usines. La réification n’était pas une simple erreur que l’on pouvait corriger comme Gould l’a fait avec les héréditaristes. C’était plutôt la vérité de l’économie industrielle, aux prémices de son optimisation. C’était une nouvelle réalité.
Récemment, le critique social Geoffrey Shullenberger a observé que les LLM constituent l’aboutissement logique de cette personnification de la marchandise prédite par Lukács. L’IA réifie un réservoir insondable de travail humain transcrit sous forme de texte, de code ou de transcription, produisant un simulacre d’un univers infini de vie sociale. Et aujourd’hui, tout comme à l’époque où Lukács écrivait, notre monde connaît la réification des données et de l’optimisation des données elle-même. L’IA générative, avec ses applications étendues dans tous les domaines possibles où les données en réseau sont utilisées, cesse de promettre de nous montrer quelque chose et commence à être cette chose. Elle ne rend pas le monde meilleur ; elle ne fait que constituer le monde. Pour les utilisateurs, ce n’est pas simplement une erreur de se laisser induire en erreur en pensant avoir résolu la physique ou inventé une nouvelle forme de mathématiques. Ce n’est pas non plus une simple erreur embarrassante que de se tenir aux côtés du pape et de confondre les personnages fictifs avec la réalité. On peut décider de ne pas croire à ces choses tout en restant pris dans le processus de réification déclenché par les distributions de données de ces modèles. La « psychose de l’IA » est un terme issu d’une réalité passée. Aujourd’hui, on est fou si l’on ne croit pas à l’IA.
L’effondrement du langage
Considérons, dans cette optique, l’étrange conclusion de l’analyse des marchandises par Marx dans Le Capital :
Si les marchandises pouvaient parler, elles diraient ceci : notre valeur d’usage peut intéresser l’homme, mais elle ne nous appartient pas en tant qu’objets. Ce qui nous appartient en tant qu’objets, en revanche, c’est notre valeur. Nos propres relations en tant que marchandises le prouvent. Nous nous rapportons les uns aux autres uniquement en tant que valeurs d’échange.
Les chercheurs s’interrogent depuis des décennies sur cette réification rhétorique. Pourquoi mettre en scène les marchandises comme des choses qui « parlent » ? Pourquoi leur donner un visage ? Selon Marx, la réponse est qu’elles sont de véritables êtres sociaux dans le capitalisme. « Véritables » signifie ici la vérité au sens d’Adorno — réelle, et mauvaise.
Lorsque Sam Altman, le PDG d’OpenAI, parle de l’intelligence comme d’un service public de plus, « au compteur », qui distribue des idées à un certain tarif par jeton, ce sont les marchandises qui parlent. Se contenter de ne pas croire ou de s’opposer à cette réification omniprésente et automatisée reviendrait à nier la propension humaine à parler, à discuter et à raisonner. Il est certes possible de ne pas tenir compte ou de rester sceptique face à n’importe quel résultat particulier ou à une idée isolée avec laquelle on interagit par l’intermédiaire d’un chatbot. Nous devrons tous développer une nouvelle paranoïa à l’égard de la connaissance sous ce format. Mais cela ne suffira jamais à lui seul. Démanteler les LLM comme Gould l’a fait avec les formes antérieures de réification n’empêcherait pas la machine de réification d’aujourd’hui de faire brrrr, car elle fait dériver non pas une, mais toutes les idées.
La seule solution à l’effondrement induit par l’IA des biens et du langage dans un monde totalement réifié est une véritable transformation de la technologie, des mathématiques et des relations sociales qui ont soutenu cet effondrement. Cela signifie corriger de nombreux aspects qui n’ont rien à voir avec l’IA, y compris les circuits et les normes de la connaissance tant en science qu’en culture. L’IA marque la fin d’un arc d’un siècle de rationalité mathématique et d’optimisation. L’après-guerre promettait une ingénierie sociale fragmentaire visant à améliorer marginalement chaque système social, que ce soit en matière de nutrition, de soins de santé ou de relations de travail. L’informatisation a déformé la connaissance collective au moyen d’une machine linguistique hors de contrôle. Toutes les mesures visant à régler « le problème de l’IA » — le scepticisme, la réglementation, voire le partage des profits que le sénateur Bernie Sanders a récemment préconisé — visent au mieux à résoudre un problème marginal. Le véritable problème de l’IA est le mauvais calibrage de la communication collective dans son ensemble, et c’est un problème politique que les débats sur l’IA abordent rarement.
Dans Magnifica Humanitas, le pape déclare que les humains doivent reprendre le contrôle. Nous voyons plutôt dans l’encyclique une réification subtile à laquelle sa collaboration avec Olah et Anthropic a peut-être contribué. La compréhension collective, le sentiment d’épanouissement mutuel et le calibrage de la communication ne sont pas des choses qui peuvent être contrôlées. Une pression artificielle exercée sur ces éléments ne fait qu’aggraver les problèmes. Ce lien qui unit tous les humains — la substance même de la société — peut être source d’agitation ou de plaisir, mais il ne peut être optimisé.
Leif Weatherby est l’auteur de Language Machines: Cultural AI and the End of Remainder Humanism et directeur du Digital Theory Lab à l’Université de New York. Tyler Shoemaker est professeur adjoint au département d’anglais de l’Université Texas A&M. Benjamin Recht est professeur de génie électrique et d’informatique à l’Université de Californie à Berkeley. Il tient régulièrement un blogue sur argmin.net et est l’auteur de The Irrational Decision: How We Gave Computers the Power to Choose for Us.
Liste évolutive des traductions par Gilles en vrac
Les caractères gras dans le texte sont de Gilles.