Ce sont des moulins à prières pour les rituels organisationnels
Traduction de There’s a killer app for Large Language Models par Henry Farrell sur Substack, 4 septembre 2024.
[Annonce commerciale : Le livre qu’Abraham Newman et moi-même avons écrit, Underground Empire: How America Weaponized the World Economy, est toujours disponible au coût de 2,99 $ sur Amazon Kindle. Il est également sur le point de paraître en livre de poche au Royaume-Uni et aux États-Unis. Nous vous redonnons maintenant la parole à votre programmation habituelle].
Marion Fourcade et moi avons publié un nouvel article dans l’Economist. Voici quelques liens utiles pour vos lectures. Nous avançons un argument qui semble évident avec le recul, mais que je n’ai vu personne d’autre formuler. L’application la plus évidente des grands modèles linguistiques est celle de moteurs de rituels organisationnels.*
ARTHUR C. CLARKE a écrit une nouvelle dans laquelle l’univers tout entier a été créé pour que des moines puissent écrire rituellement les neuf milliards de noms de Dieu. Les moines achètent un ordinateur pour accomplir cette tâche plus rapidement et mieux, ce qui a des conséquences malheureuses pour le reste d’entre nous. … Les rituels ne concernent pas seulement Dieu, mais aussi les relations entre les gens. La vie quotidienne repose sur des pratiques rituelles telles que la politesse, le fait de s’habiller convenablement, de suivre les procédures établies et de respecter la loi. … Les organisations ne pourraient pas fonctionner sans rituels. Lorsque vous rédigez une lettre de recommandation pour un ancien collègue ou que vous offrez ou recevez un bibelot lors de la Journée de reconnaissance des employés, vous accomplissez une cérémonie, renforçant ainsi les fondements d’un monde où chacun connaît les règles et s’attend à ce qu’elles soient respectées …
Les gens utilisent déjà les [LLM] pour produire des formules types, rédiger des déclarations obligatoires et des rapports de fin d’année, ou encore rédiger des courriels courants. … Comme les LLM ne possèdent aucun processus mental interne, ils sont parfaitement adaptés pour répondre à de telles demandes ritualisées, en produisant les clichés requis avec de légères variations. Comme le dit l’écrivain Dan Davies, ils ont tendance à régurgiter des « résultats aussi prévisibles que possible ». Pour la première fois, nous disposons de processus non humains et non intelligents capables de mettre en œuvre de manière générative des rituels à grande vitesse et à l’échelle industrielle, en les adaptant au besoin pour qu’ils correspondent à des circonstances particulières.
Les passages de cet article qui me concernent ont été inspirés par deux éléments d’information qui se renforcent mutuellement. Le premier était une conversation avec un ami, qui travaille pour un organisme exigeant des énoncés sur la diversité, l’équité et l’inclusion. Cet ami m’a décrit comment il avait passé des heures à rédiger un énoncé sérieux et réfléchi, avant de lancer ChatGPT pour en générer un. Cet ami a finalement soumis sa propre déclaration rédigée à la main, mais il ne pouvait s’empêcher de penser que son organisation aurait préféré la fadeur insipide de ce que ChatGPT avait produit, qui combinait plus parfaitement les attentes de l’organisation et la forme générale du document.
La deuxième information provenait d’une observation faite en jouant avec ChatGPT, à laquelle d’autres personnes ont sûrement déjà pensé, mais qui n’a, à ma connaissance, pas encore été explicitement rapportée. ChatGPT excelle à générer des « points de Schelling ». Thomas Schelling, théoricien des jeux lauréat du prix Nobel (dont le livre, The Strategy of Conflict, devrait être lu par tout le monde), explique comment les êtres humains parviennent souvent à résoudre des problèmes de coordination incroyablement difficiles en s’appuyant sur des informations partagées. Il a demandé à ses étudiants comment ils se retrouveraient à New York un jour donné s’ils ne pouvaient pas communiquer avec l’autre partie et n’avaient pas fixé d’heure ni de lieu : ils avaient tendance à se retrouver à la gare Grand Central vers midi.
Des endroits comme la gare Grand Central et des moments comme midi sont marquants : ils occupent une place si importante dans la culture que les gens savent que les autres savent qu’ils sont importants. Par conséquent, si vous essayez de deviner ce que l’autre personne va deviner, et ce qu’elle va deviner que vous devinez, vous vous retrouverez à un endroit « évident » et à un moment « évident ».
ChatGPT excelle à trouver de telles solutions « évidentes », même pour des problèmes de coordination sur lesquels il n’a manifestement pas pu être formé directement. Et, comme le soutient le théoricien des jeux Michael Chwe, l’une des fonctions sociales clés des rituels sociaux est de générer ou de découvrir ce genre de connaissance commune.
Les rituels publics, les rassemblements et les cérémonies génèrent la connaissance commune nécessaire. Un rituel public ne se résume pas à la transmission d’un sens depuis une source centrale vers chaque membre d’un public; il s’agit également de faire savoir aux membres du public ce que les autres membres du public savent.
Cela aide à expliquer pourquoi les résultats des grands modèles de langage (LLM) renforcent si facilement les cérémonies et les rituels organisationnels : ils convergent très facilement vers ce qui est attendu, facilitant ainsi la coordination sociale.
De même — et c’est là le cœur de nos critiques —, ils ont tendance à dissocier l’exécution du rituel des croyances personnelles et des connaissances privées des individus. Une grande partie des rituels organisationnels implique non seulement la coordination, mais aussi la création ou le perfectionnement des connaissances. Par exemple : de nombreux rituels consistent à évaluer autrui : rapports annuels, lettres de recommandation, évaluation par les pairs dans le milieu universitaire. Et de nombreuses preuves (certaines circonstancielles, d’autres scientifiques) suggèrent que les gens confient de plus en plus ces fonctions cérémonielles aux LLM.
Ethan Mollick se montre prudemment optimiste quant aux avantages que cela pourrait présenter :
Et pourtant, nous ne devrions peut-être pas écarter l’idée que l’IA puisse contribuer à l’évaluation par les pairs. Des expériences récentes suggèrent que les évaluations par les pairs effectuées par l’IA ont tendance à être étonnamment bonnes : 82,4 % des scientifiques trouvent ces évaluations plus utiles qu’au moins certaines des évaluations humaines qu’ils ont reçues pour un article, et d’autres travaux suggèrent que l’IA est raisonnablement efficace pour repérer les erreurs, bien qu’elle ne soit pas encore aussi performante que les humains.
Il craint toutefois que « le système de publication scientifique n’ait pas été conçu pour soutenir des auteurs alimentés par l’IA, écrivant pour des évaluateurs alimentés par l’IA, afin d’obtenir des avis alimentés par l’IA pour des articles qui seront ensuite résumés par l’IA ».
Nous sommes plus pessimistes. Ce n’est pas seulement que les modèles de langage à grande échelle (LLM) risquent de se montrer très inefficaces, par exemple pour identifier des travaux véritablement novateurs, mais que leur déploiement pourrait perturber les ententes sociales implicites et les attentes sur lesquelles repose le système. Ces systèmes fonctionnent parce qu’ils sont perçus comme légitimes, et leur légitimité repose sur l’hypothèse que l’évaluateur a pris grand soin de prendre ses décisions. Comme nous le disons dans The Economist :
Une mauvaise évaluation de rendement est une chose si l’on pense que le gestionnaire s’est donné beaucoup de mal pour la réaliser, mais c’en est une autre si l’on soupçonne qu’il l’a confiée à un algorithme. … Les lettres de recommandation, les évaluations par les pairs et même les articles scientifiques eux-mêmes perdront en crédibilité.
Il y a quelques jours, Ted Underwood nous a signalé cet excellent article de Zachary Wojtowicz et Simon DeDeo, qui développe un argument similaire en s’appuyant à la fois sur la théorie des jeux et sur des résultats issus de l’informatique. Nous pensons que la sociologie des organisations (le domaine d’expertise de Marion) a également beaucoup à apporter, et espérons mener davantage de travaux universitaires pour approfondir ces intuitions dans un avenir proche.
* La mécanisation des rites n’est pas un phénomène nouveau. Les moulins à prières ont très probablement inspiré l’histoire de Clarke : son monastère bouddhiste tibétain imaginaire utilisait déjà un générateur diesel pour les rendre plus efficaces. Et le christianisme a ses propres tendances fordistes visant à réaliser des gains d’efficacité. Adolescent, dans la campagne irlandaise, je me souviens avoir trouvé à la maison une brochure (mes parents avaient dû la ramasser quelque part) contenant une prière pour les âmes du purgatoire. Elle mettait beaucoup l’accent sur le fait qu’il s’agissait d’une courte prière : le préambule promettait que l’on pouvait racheter cinq (ou un nombre similaire) d’âmes des rigueurs douloureuses du purgatoire en l’espace de temps nécessaire pour faire bouillir un œuf
Fichier Excel des traductions par Gilles en vrac
Fiches avec les premières phrases (et non seulement les titres)
Les caractères gras dans le texte sont de Gilles.