Les grands modèles linguistiques sont-ils mathématiquement rationnels ?
Traduction de The Rationality of the Language Machines par Ben Recht, publié sur Substack, le 7 mai 2026.
Ce que j’aime le moins dans l’écriture de livres, c’est leur caractère définitif. À peine ai-je pris le temps de feuilleter un exemplaire papier que je commence à repérer une foule de choses que j’aurais dû ajouter, supprimer ou modifier. Je ne parle pas de fautes de frappe — je m’attends à ce qu’il y en ait beaucoup et je l’accepte — mais plutôt de la façon dont j’aurais écrit le livre différemment si je pouvais le refaire. En particulier, cette dernière semaine d’événements autour de Irrational Decision a mis en évidence quelques points sur lesquels j’aurais aimé m’exprimer, mais que je n’aurais peut-être pas pu aborder.
Je consacrerai mes prochains articles de blog à passer en revue les questions soulevées que j’aurais aimé aborder dans le livre. Je n’étais pas satisfait de mes réponses improvisées, et j’espère que le fait d’écrire sur mon blog me permettra d’apporter des réponses plus satisfaisantes.
Je commencerai par l’éléphant de la pièce qui vaut des milliards de dollars : les machines linguistiques. Lors de notre conversation de mardi, Lily Hu m’a demandé en quoi les LLM marquent un éloignement de la rationalité mathématique de The Irrational Decision. Pendant longtemps, les systèmes d’intelligence artificielle ont été conçus pour résoudre des problèmes différemment de la manière dont les humains les résolvaient. Par exemple, les ordinateurs sont meilleurs aux échecs que les humains, mais ils ne se rapprochent pas de la façon dont jouent les maîtres. Or, les LLM, en particulier le modèle d’interaction par chatbot qui a capté l’attention mondiale et propulsé la valorisation de ces entreprises dans la stratosphère, semblent agir et répondre de manière étrangement similaire à nous. Cela semble marquer une rupture avec la froide rationalité du calcul.
L’interface de chat s’appuie sur l’ambiguïté du langage pour offrir une expérience interactive satisfaisante. Joseph Weizenbaum a déploré, dans une phrase restée célèbre, que lorsque ses collègues tentaient de faire passer un ordinateur pour intelligent, ils recouraient à des tours de passe-passe psychologiques. Une machine qui résume en pentamètre iambique semble intelligente. Une machine qui résout un programme linéaire comportant des millions de variables ne fait que calculer mécaniquement.
Alors, que signifie s’appuyer sur des machines linguistiques pour la prise de décision ? C’est une question délicate, car les LLM sont des artefacts logiciels d’une complexité insondable. Si vous les utilisez sous le contrôle d’un agent de codage, vous pouvez les amener à optimiser toutes sortes de choses. Par exemple, ils sont incroyablement efficaces pour accélérer le code, surpassant tous les outils d’autotuning que j’ai jamais essayés. Vous pouvez facilement les amener à implémenter un moteur de choix rationnel bayésien pour vous.
Certes, les excentriques rationalistes à la tête d’Anthropic ont exigé que Claude soit entraîné à réciter des résumés de dogmes tirés de la section commentaires de lesswrong.com. Les LLM peuvent donc vous répéter comme des perroquets les principes de la rationalité mathématique, et ils le feront. Mais le langage naturel n’est pas un langage rationnel. En effet, le langage de la rationalité mathématique est un jeu de langage bayésien, qui s’efforce toujours d’écarter l’incommensurable et l’inquantifiable. Il exige un langage sans ambiguïté, mais bien sûr, le langage est toujours ambigu, fluide et en constante évolution.
Vous pouvez essayer d’éliminer l’ambiguïté en incitant les machines à répondre dans un langage logiquement structuré, comme celui des logiciels ou des mathématiques. Pourtant, même lorsque vous essayez d’obtenir des réponses rationnelles des interfaces de chat, vous tombez encore sur des erreurs déconcertantes qui ne sont même pas logiques, et encore moins rationnelles. J’ai bien aimé celle-ci, flagrante, datant de la semaine dernière.
Ce genre d’erreurs reste malheureusement courant, mais devient de plus en plus difficile à repérer.
Les machines de codage que j’ai mentionnées plus haut, avec leur capacité à exécuter, vérifier les erreurs et optimiser, semblent plus rationnelles. Cependant, elles obligent les programmeurs à se glisser dans la peau de chefs de projet. Les ingénieurs logiciels doivent formuler des invites en langage naturel qui soient aimables, inspirantes et encourageantes. Il existe des dépôts GitHub extrêmement populaires qui vous aident à trouver la bonne formulation pour vous assurer que vos agents zélés adoptent le bon état d’esprit artificiel afin de ne pas commettre d’erreurs. Cela ne semble pas non plus très rationnel d’un point de vue mathématique.
De plus, dans le contexte plus large de la prise de décision, la grande majorité des gens ne demandent pas à des LLM d’écrire du code d’optimisation pour calculer les décisions à leur place. Au lieu de cela, ils traitent le chat comme un consultant et obtiennent en retour un texte interactif, parfois accompagné de graphiques et de chiffres pour un confort quantifié. Se faire conseiller par ces résultats sur la manière de structurer sa vie ou son entreprise s’apparente davantage à une boule magique qu’à un programme linéaire. Écrire dans un langage imprécis et disposer d’un système formé pour répondre gentiment n’est certainement pas de la rationalité mathématique. C’est ce que les premiers mathématiciens ont tenté d’éliminer de la prise de décision. Quel revirement étrange.
Mais si l’on prend du recul par rapport à la boîte de discussion, il n’est pas difficile de placer les LLM sur un axe linéaire de rationalité mathématique. Les personnes qui construisent ces systèmes croient religieusement en la rationalité mathématique. Elles adhèrent à l’absurdité de Bostrom-Russell selon laquelle l’intelligence est liée à des fonctions objectives singulières, et que nos robots tueront nos chiens pour nous faire du café. Les chercheurs en alignement affirment qu’il suffit de trouver la bonne fonction objective pour l’après-entraînement, et nous aurons alors des compagnons humains parfaits pour nous construire une utopie d’abondance.
De même, les entrailles des LLM reposent sur les mêmes piliers computationnels que je décris dans le livre. Les LLM nous ressemblent, mais ils sont toujours construits sur le modèle très peu naturel consistant à résumer statistiquement le langage et le code via l’estimation du maximum de vraisemblance. Les humains ne font pas cela.
Les machines linguistiques fonctionnent sur des infrastructures logicielles, matérielles et réseau complexes, mais rien de tout cela ne paraîtrait étrange à un ingénieur en informatique de 2006. Tout comme tous les systèmes informatiques des deux dernières décennies, ils sont réglés en optimisant l’engagement, en maximisant les préférences de la base d’utilisateurs dans le cadre de tests A/B glorifiés. Les progrès sont mesurés par le même type d’évaluation rationnelle et standard que nous pratiquons depuis des décennies en apprentissage automatique. Nous les améliorons en optimisant aveuglément, sans comprendre.
Et n’oublions pas que ces produits ont été construits sur la fraude, le vol et l’extraction de rente. Ils enrichissent un petit groupe de personnes incroyablement agaçantes qui se drapent dans la rationalité mathématique et promettent de nous asservir tous dans des camps de travail pour chômeurs. Bien que j’aie commencé ce billet en déplorant ce que je n’avais pas couvert dans The Irrational Decision, j’ai peut-être vu juste sur ce point : le fait que nous ayons construit cette technologie follement irrationnelle avec une rationalité mathématique corrobore mon argument.
Fichier Excel des traductions par Gilles en vrac
Fiches avec les premières phrases (et non seulement les titres)
Les caractères gras dans le texte sont de Gilles.