L’autonomisation, la corrigibilité, etc. ne sont que de simples abstractions (issues d’une ontologie bancale)

Traduction de Empowerment, corrigibility, etc. are simple abstractions (of a messed-up ontology) par Steven Byrnes, 11 mai 2026

Forum sur l’alignement de l’IA

1.1 Tl;dr

L’alignement est souvent conceptualisé comme le fait que les IA aident les humains à atteindre leurs objectifs : des IA qui renforcent l’autonomie et l’autodétermination des personnes ; des IA qui sont utiles, corrigibles et/ou obéissantes ; des IA qui évitent de manipuler les gens. Mais ce dernier point — la manipulation — met en évidence un défi pour tous ces desiderata : les objectifs d’un humain sont eux-mêmes sous-déterminés et manipulables, et il est extrêmement difficile d’établir une distinction de principe entre le fait de modifier les objectifs des gens de manière positive (« donner des conseils », « fournir des informations », « partager des idées ») et de manière négative (« manipuler », « faire un lavage de cerveau »).

La manipulabilité des désirs humains n’est certes pas une observation nouvelle dans la littérature sur l’alignement, mais elle reste sans solution (voir la revue de la littérature au §3 ci-dessous).

Dans cet article, je proposerai une explication de la façon dont nous, les humains, conceptualisons intuitivement la distinction entre l’orientation (bonne) et la manipulation (mauvaise), au cas où cela nous aiderait à réfléchir à la manière dont nous pourrions intégrer cette distinction dans l’IA.

…Mais (alerte spoiler) il s’avère que cela n’aide pas vraiment, car je soutiendrai que nous, les humains, y réfléchissons d’une manière profondément incohérente, intimement liée à nos intuitions scientifiquement inexactes concernant le libre arbitre.

Je passe ensuite à un examen plus large de toutes les approches auxquelles je peux penser pour définir un « vrai nom » de la manipulation ou des concepts qui y sont liés (autonomisation, capacité d’agir, corrigibilité, culpabilité, etc.), ou même pour toute autre méthode permettant de faire en sorte que les futures IGA soient capables de communiquer avec les gens sans tenter de manipuler leurs désirs. Je soutiens qu’aucune d’entre elles n’offre de véritable voie à suivre concernant le problème d’alignement technique particulier sur lequel je travaille. En effet, mon hypothèse actuelle est qu’aucune de ces choses n’a de « vrai nom » du tout, ou du moins pas un qui soit utile pour le problème d’alignement technique.

1.2 Contexte général : pourquoi cette question est-elle si importante pour moi ?

J’ai étudié des plans de sécurité pour une IAG de type cérébral qui impliqueraient de créer une IAG dotée d’un système de motivation vaguement inspiré des aspects prosociaux de la motivation humaine. Pour simplifier un peu, ce type de système de motivation inclurait un aspect impersonnel-conséquentialiste (lié à ce que j’appelle « la récompense de la sympathie ») qui conduirait à vouloir que les humains (et peut-être les animaux, etc.) ressentent plus de plaisir et moins de déplaisir. Mais en soi, cette partie créerait une sorte de ASI sociopathe impitoyable qui maximiserait le bonheur, par exemple en attachant tout le monde à des tables sous perfusion d’héroïne. Ou peut-être qu’elle nous tuerait simplement tous et recouvrirait l’univers d’hédonium. Certes, la maximisation du bonheur n’est pas le pire avenir possible, vu comment les choses tournent. Mais nous devrions viser plus haut !

Le deuxième ingrédient du système de motivation serait donc une sorte de concept d’éthique de la vertu, lié à ce que j’appelle « la récompense par l’approbation », qui a davantage à voir avec la fierté, l’image de soi, le respect des préférences d’autrui et l’internalisation fière des normes sociales.

Hélas, ma réflexion actuelle s’apparente un peu au problème de la « stratégie non bloquée la plus proche ». Si l’on combine ces deux éléments — un désir conséquentialiste et un ensemble de motivations de type éthique de la vertu —, je crains que le désir conséquentialiste ne finisse par « l’emporter » . Par exemple, si l’AGI souhaite atteindre l’hédonisme à terme et qu’elle souhaite également respecter les normes sociales, elle pourrait trouver le chemin vers l’hédonisme par une voie plus progressive, qui impliquerait de modifier progressivement et involontairement, mais inexorablement, les normes sociales dans le sens de l’hédonisme. [1] La motivation d’inspiration éthique des vertus semble tout simplement plus floue et insaisissable que le désir conséquentialiste, surtout lorsqu’elle passe par des désirs humains manipulables, à tel point que je crains qu’elle ne constitue pas un rempart suffisant contre un conséquentialisme impitoyable.

… Ou peut-être que cela suffirait ? Je n’en suis pas sûr. Mais je suis vraiment à la recherche d’une approche différente ou complémentaire de la motivation de l’IA, une approche sur laquelle je puisse raisonner plus facilement et en laquelle j’aie davantage confiance.

Dans ce contexte, il serait donc utile de cerner de manière solide et bien définie certaines notions telles que la « manipulation », le « respect des préférences » et d’autres concepts connexes, de façon à ce qu’elles résistent aux manipulations de spécifications et surtout aux crises ontologiques.

Pour une discussion connexe, voir celle de @johnswentworth sur les « noms véritables » à l’adresse « Why Agent Foundations? An Overly Abstract Explanation » (2022), ou mon propre article « Perils of under- vs over-sculpting AGI desires » (2025), en particulier §8.2.2 : « The hope of pinning down non-fuzzy concepts for the AGI to desire ».

2. Comment les humains définissent-ils intuitivement l’autonomisation, l’agentivité, la manipulation, etc. ?

2.1 Contexte : les intuitions humaines sur le « libre arbitre »

Voici un extrait modifié de ma série Intuitive Self Models (ISM), résumant quelques points clés de l’article ISM n° 3 : The Active Self :

  • Parfois, nous traitons nos propres sentiments comme des propriétés intrinsèques des choses qui existent dans le monde — Arthur est beau, les anniversaires sont excitants, le capitalisme est mauvais, les couches sont dégoûtantes, etc. (ISM §3.3.2, voir aussi Yudkowsky 2008). Lorsque nous appliquons ce principe général au « sentiment d’être surpris », nous avons l’intuition que les objets peuvent être intrinsèquement imprévisibles. Ce concept intuitif est ce que j’appelle la force vitaliste (ISM §3.3), et nous l’appliquons aux animaux, aux personnes, aux personnages de dessins animés et aux machines qui « semblent vivants » (par opposition à ceux qui semblent « inanimés »). Il ne correspond pas véridiquement à quoi que ce soit dans le monde réel (ISM §3.3.3). Cela revient à dire que quelque chose présente une imprévisibilité intrinsèque importante dans son comportement. En d’autres termes, la chose semble imprévisible non pas parce que nous ne savons pas comment elle fonctionne en coulisses, ni parce que nous disposons d’informations limitées, ni parce que nous ne prêtons pas attention, etc. Au contraire, l’imprévisibilité semble être un élément central de la nature de la chose elle-même (ISM §3.3.6).
  • Vouloir (ISM §3.3.4) est une autre intuition, étroitement liée et corrélée à la force vitaliste, qui apparaît lorsqu’une entité porteuse de force vitaliste présente une imprévisibilité intrinsèque dans son comportement, mais que nous pouvons néanmoins prédire que ce comportement mènera d’une manière ou d’une autre à un résultat final se produisant systématiquement. Et ce résultat final est décrit comme « ce qu’elle veut ». Par exemple, si j’observe quelqu’un en train de siroter son café, je serai surpris par les mouvements corporels détaillés qu’il effectue pour attraper la tasse et la porter à sa bouche, mais je serai moins surpris par le fait qu’il finisse par siroter le café. Tout comme la force vitaliste, le « vouloir » est conceptualisé comme étant acausal, c’est-à-dire une propriété intrinsèque d’une entité sans cause en amont.
  • Le Soi actif (ISM §3.3.5) est un concept intuitif, au cœur du sentiment de soi (mais peut-être plus restreint que celui-ci). Il découle du fait que l’algorithme cérébral lui-même présente des comportements qui semblent caractéristiques de la « force vitaliste » et du « vouloir ». Ainsi, nous pressentons qu’il existe une entité qui contient cette « force vitaliste » et qui est à l’origine de ce « vouloir » ; cette entité est ce que j’appelle le « Soi actif », le vouloir correspond à ce que nous appelons les « désirs ego-syntoniques », et les actions imprévisibles menées pour satisfaire ces désirs sont ce que nous appelons les « exercices du libre arbitre ». Ainsi, par exemple, si « j’exerce mon libre arbitre » pour faire X, alors le Soi actif est conceptualisé comme la cause fondamentale de X. De même, chaque fois qu’une planification ou un remue-méninges a lieu dans le cerveau en vue d’accomplir X, nous « expliquons » ce fait en disant que le Soi actif effectue cette planification ou ce remue-méninges parce qu’il veut X. Une fois encore, le modèle intuitif exige que le Soi actif soit acausal, c’est-à-dire une cause première ultime sans rien en amont.

Plus précisément : s’il existe des explications déterministes en amont de ce que fait le Soi actif et pourquoi, par exemple via des mécanismes algorithmiques ou autres se déroulant en arrière-plan, cela donne l’impression d’une remise en cause totale de son libre arbitre et de son pouvoir d’agir. Et s’il existe des explications probabilistes en amont de ce que fait le Soi actif et pourquoi, par exemple « si mon estomac est vide, alors je vais commencer à avoir envie de manger », cela revient alors à une atteinte partielle au libre arbitre et à l’autonomie, proportionnellement au degré de certitude de ces prédictions. Par exemple, je pourrais me percevoir comme étant en quelque sorte « manipulé » par l’hormone ghréline que mon estomac vide libère dans mon sang.

… Inutile de dire que toute cette ontologie intuitive est assez bancale, en ce sens que rien en son sein ne constitue une description véridique, indépendante de l’observateur, de ce qui se passe dans le monde réel (ISM §3.3.3). Et en effet, elle est quelque peu spécifique à la culture occidentale dominante (ISM §3.2). En dehors de la « culture occidentale dominante », on constate que d’autres ontologies intuitives existent également ; je ne les aborderai pas dans cet article car je ne les comprends pas très bien, mais je suis actuellement pessimiste quant à leur capacité à résoudre mes problèmes liés à l’alignement de l’IA.[2]

2.2 Nos notions intuitives imprégnées de libre arbitre concernant l’autonomisation, l’agentivité, la manipulation, la corrigibilité, la responsabilité, etc.

Je pense que nos notions de bon sens concernant l’autonomisation, l’agentivité, la manipulation, la corrigibilité, etc. sont intimement liées à cette ontologie intuitive liée au libre arbitre. En particulier, j’affirme :

Notre notion intuitive d’autonomisation est liée au libre arbitre acausal d’une personne, capable d’accomplir tout ce qu’elle souhaite accomplir. Notre notion intuitive d’action (dans le contexte, par exemple, de « l’IA renforcera l’action humaine ») est assez similaire.

Notre notion intuitive d’être manipulé est liée au fait qu’une personne (appelons-la Ahmed) accomplisse une action A avec la propriété suivante : dans nos modèles causaux intuitifs du monde, la chaîne de causalité menant à A ne remonte pas en fin de compte à la force acausale du libre arbitre d’Ahmed, mais plutôt au libre arbitre d’un tiers qui a manipulé Ahmed.

(Par exemple, si Bob me trompe sur la fonction d’un bouton, et que j’appuie ensuite sur ce bouton, notre conceptualisation intuitive de la situation indique que le bouton a été en fin de compte actionné en raison du libre arbitre acausal de Bob, qui agit en fonction de ses désirs, et non en raison de mon libre arbitre acausal, qui agit en fonction de mes désirs. J’ai été un instrument au service de Bob.)

Nos notions intuitives de corrigibilité, d’utilité et d’obéissance ont chacune leurs propres nuances, mais elles recoupent toutes largement les idées ci-dessus : elles impliquent une augmentation de l’autonomie et de la capacité d’agir du superviseur, et une diminution de la mesure dans laquelle le superviseur est manipulé. En d’autres termes : elles suggèrent que les événements importants se produisent davantage en raison du libre arbitre du superviseur agissant selon sa volonté, et moins en raison du libre arbitre d’autres personnes (ou d’IA) agissant selon leur volonté par le biais des propres actions du superviseur.

Par exemple, si un humain veut éteindre une IA, celle-ci pourrait l’en empêcher en désactivant le bouton d’arrêt, ou elle pourrait l’en empêcher en utilisant son éloquence pour convaincre l’humain de ne pas vouloir l’éteindre. Ces deux cas seraient contraires à ce que les gens entendent normalement par « corrigibilité », et dans le second cas, nous considérons cela comme une atteinte au libre arbitre du superviseur.

Nos notions intuitives de culpabilité et de responsabilité, comme dans « Joe est responsable de l’échec », impliquent de remonter la chaîne de causalité pour voir à quelle force acausale de libre arbitre elle remonte en fin de compte. C’est en quelque sorte le revers de la manipulation (ci-dessus) : si je trompe quelqu’un pour qu’il vole une banque à son insu, ou si je lui fais un lavage de cerveau pour qu’il veuille voler la banque, je serais au moins partiellement, voire entièrement, responsable du vol de la banque, car celle-ci a finalement été volée à cause de mon libre arbitre acausal, qui voulait que la banque soit volée.

2.3 Une autre dimension : « conseil » vs « manipulation » en tant que conjugaison émotionnelle

Il existe une autre dimension dans la façon dont nous concevons intuitivement ces concepts : celle des vibrations positives ou négatives. Par exemple, si une interaction semble positive,[3] nous serons plus enclins à la qualifier de « conseil », et si elle semble négative, nous serons plus enclins à la qualifier de « tentative de manipulation ». La vibration est importante en soi, au-delà de tout aspect particulier de l’interaction.

Je ne pense pas que cette dimension soit distincte de la discussion sur le « libre arbitre » ci-dessus, mais plutôt complémentaire et compatible, car en général, si j’ai une motivation qui me réjouit, j’aurai tendance à la conceptualiser comme une composante ego-syntonique de mon libre arbitre, tandis que si j’ai une motivation qui me déplaît, j’aurai tendance à la conceptualiser comme une pulsion ego-dystonique qui sape mon libre arbitre. Voir ISM §3.5.4 pour plus de détails.

3. Si les définitions intuitives de « manipulation », etc., reposent sur une ontologie bancale, la littérature sur l’alignement a-t-elle trouvé une autre façon, meilleure, de définir ces concepts ?

Par analogie, je pense que la physique intuitive est une ontologie bancale à certains égards (bien mineurs), et pourtant de nombreux concepts de physique intuitive peuvent être (imparfaitement) mis en correspondance avec des concepts rigoureusement définissables en physique réelle. Pouvons-nous trouver quelque chose de similaire pour la « manipulation », l’« autonomisation », etc., puis intégrer ces concepts dans les motivations de l’IA ?

Hélas, pour autant que je sache, c’est un problème non résolu, et il se peut qu’il n’y ait pas de solution du tout. Voici une brève revue de la littérature :

3.1 Comparer ce que l’humain veut à ce que l’humain voudrait sous la politique nulle ?

Tout d’abord, @Max Harms, dans « Formal Faux Corrigibility » (2024), reconnaît qu’il ne sait pas comment définir formellement la distinction entre le conseil (bon) et la manipulation (mauvais), et suggère, à titre de solution provisoire, de simplement pénaliser l’IA pour avoir fait l’un ou l’autre. (« Cela semble être un mauvais choix dans la mesure où cela décourage l’IA de prendre des mesures qui nous aident à évoluer de la manière que nous souhaitons de façon réfléchie, même lorsque ces mesures sont aussi inoffensives que de parler de l’histoire de la philosophie. Hélas, je ne connais pas actuellement de meilleur formalisme. Des travaux supplémentaires sont certainement nécessaires pour développer une bonne mesure du type de modification de valeur que nous n’aimons pas, tout en laissant de la place pour le type de croissance et d’évolution que nous apprécions. » )

Le plan provisoire de Max consisterait à comparer les valeurs de l’humain à ce qu’elles seraient si l’IA ne faisait rien. Je pense qu’il sous-estime à quel point ce plan provisoire est mauvais. Même fournir des informations factuelles tout à fait vraies peut changer ce qu’une personne veut, n’est-ce pas ? (Mise à jour : c’est peut-être exagéré, voir la réponse de Max dans les commentaires.)

Sinon, on pourrait prendre comme référence ce que l’humain finirait par découvrir par lui-même, si on lui accordait un temps infini et de bonnes conditions pour réfléchir. Autrement dit, on pourrait dire qu’une IA « manipule » si elle éloigne la personne des conclusions de sa copie idéalisée imaginaire avec un temps infini, et que l’IA « donne des conseils » si elle la pousse vers cela. J’ai quelques réserves,[4] mais oui, bien sûr, cela semble valoir la peine d’être envisagé. Hélas, cela ne résout pas mon problème, car je n’ai aucune idée de quelle fonction de récompense, de quel environnement d’entraînement, etc., pourrait mener directement à une IAG de type cérébral avec cette motivation (plutôt abstraite).

3.2 L’IA apprend l’autonomisation et généralise vers l’autonomisation des autres ?

Un autre exemple est celui de @jacob_cannell dans Empowerment is (almost) All We Need (2022). À son crédit, il soulève la question de la manipulabilité des désirs humains dans la section « Objections cartésiennes potentielles ». Mais il balaye ensuite cette question d’une brève phrase : « Ces objections cartésiennes sont pertinentes pour l’avenir, mais en fin de compte, elles n’ont pas beaucoup d’importance pour la sécurité de l’IA, car les systèmes d’IA puissants — même ceux dotés d’une intelligence de niveau humain — devront probablement surmonter ces problèmes de toute façon. »

Je pense que Jacob suggère que l’AGI développera de manière autonome une notion solide d’auto-autonomisation, y compris « ce que cela signifie pour moi (l’AGI) de ne pas être manipulé », et qu’elle pourra ensuite (d’une manière ou d’une autre ?) transférer cette notion aux humains.

Si c’est le cas, je suis sceptique. Le principal scénario de défaillance auquel je m’attends est celui d’une « IGA conséquentialiste impitoyable », et ce scénario ne s’applique vraiment pas dans ce cas. Si l’IGA veut qu’il y ait des trombones, alors elle voudra de manière instrumentale éviter d’être « manipulée », au sens trivial où si elle cesse de vouloir des trombones, il y aura moins de trombones. Cette IGA ne serait confrontée à rien qui s’apparente de près ou de loin au dilemme selon lequel les humains ne savent pas vraiment ce qu’ils veulent pour l’avenir à long terme, et sont en train de le découvrir, et quand ils disent « la manipulation, c’est mal », ils expriment une préférence difficile à cerner quant à la façon dont ce processus de découverte de soi se déroule. Comparez cela à l’IGA, qui ne veut pas de découverte de soi, elle veut juste des trombones. Voir aussi : §0.3 de mon article « 6 raisons pour lesquelles le discours selon lequel « l’alignement est difficile » semble étranger aux intuitions humaines, et vice-versa ».

(Mise à jour : Voir la réponse de Jacob dans les commentaires.)

3.3 « L’agentivité vingeenne » ?

Un autre exemple encore est celui de @abramdemski avec son « L’agentivité vingeenne » (2022) (s’inspirant d’un travail antérieur de Yudkowsky). Il part d’un point de vue très proche des intuitions humaines évoquées au §2 ci-dessus, c’est-à-dire que l’« agency » correspond à une situation où l’on peut prédire le résultat, mais pas les actions menant à ce résultat. Il suggère ensuite une idée intrigante selon laquelle on pourrait peut-être simplement formaliser cela ! C’est-à-dire que j’ai peut-être été trop prompt à rejeter ce genre de chose plus haut en utilisant des termes comme « ontologie bancale ». (Comme l’écrit Abram : « Je pense aussi qu’il est possible que l’agence vingeane puisse être étendue pour devenir “la” définition de l’agence, si l’on considère que l’agence n’est que de l’agence vingeane sous un certain angle… »)

Par analogie, pour emprunter un exemple à @johnswentworth, les concepts thermodynamiques comme la « température » sont liés à une capacité de modélisation imparfaite (puisqu’un observateur omniscient suivrait plutôt la vitesse de chaque particule). Alors pourquoi l’« agency » ne pourrait-elle pas être liée elle aussi à une capacité de modélisation imparfaite ?

Mais hélas, même si nous pouvions définir rigoureusement l’agentivité vingeenne, je ne pense pas que cela aiderait vraiment à résoudre le problème que je souhaite voir résolu ici, c’est-à-dire établir une distinction entre un bon « conseil » et une mauvaise « manipulation ». L’agentivité vingeenne semble résoudre le problème de l’identification d’un agent qui tente de faire quelque chose, en remarquant que des fins plus faciles à prédire se produisent par des moyens plus difficiles à prédire. Mais le concept de « manipulation » s’inquiète de la possibilité d’une intervention en amont des désirs ego-syntoniques d’une personne. Si l’IA peut me laver le cerveau pour que je désire profondément maximiser le nombre de trombones, et que je mets ensuite en œuvre un plan astucieux pour maximiser ce nombre, je resterais alors un agent vinguien, tant que mon plan astucieux serait suffisamment astucieux (d’un certain point de vue). Ainsi, le lavage de cerveau me priverait de mon intuitiveagency, mais pas de mon agency vingeenne.

3.4 L’IA se fiche de (n’optimise pas en fonction de) ce que l’humain finit par vouloir ?

Une autre approche potentielle consisterait à définir l’optimisation de manière plus large (par exemple « The Ground of Optimization », @Alex Flint 2020), et à se demander s’il y a une optimisation au sein de l’IA en fonction de ce que l’humain finit par décider ou vouloir. L’idée serait la suivante : nous voulons que l’IA nous fournisse des informations pertinentes, mais qu’elle n’ait aucune opinion quant à ce que nous finirons par vouloir. Nous pourrions finir par changer nos désirs à la suite de ces informations, mais (selon cette histoire) il vaut mieux que ces informations n’aient pas été optimisées pour nous faire changer d’avis d’une manière spécifique.

Cette approche correspond assez bien aux intuitions humaines évoquées au §2.2 ci-dessus, et présente globalement de nombreux avantages ! Mais hélas, je pense actuellement que le cas d’utilisation le plus important de l’AGI est de découvrir les choses véritablement importantes concernant le monde (en particulier en lien avec l’alignement et la stratégie de l’ASI) et d’expliquer ces choses à l’humain. Pour que ce processus soit efficace, nous ne pouvonspas avoir une IAG qui se moque de ce que nous finirons par croire après la discussion — c’est la recette du chaos et de la catastrophe, ou tout simplement d’une IA incompréhensible et inutile. Je veux plutôt que l’IA soit comme un intello désagréable qui veut que nous ayons une bonne compréhension, qui remarque les points où nous sommes confus, et qui réfléchit et élabore des stratégies pour nous aider à y voir plus clair en améliorant sa clarté et sa pédagogie. Cette élaboration de stratégies est clairement une forme d’optimisation, et la cible de cette optimisation est liée aux désirs ultimes de l’humain (enfin, il s’agit nominalement des croyances de l’humain, mais croyances et désirs sont intimement liés), et je pense vraiment que nous avons besoin de ce genre d’optimisation pour survivre à la transition vers l’ASI.

En d’autres termes, je ne pense pas qu’une IAG de type cérébral puisse réussir à expliquer quelque chose de nouveau et de contre-intuitif à quelqu’un, sans se soucier de savoir si cette personne finira par le comprendre.

Ce plan est donc également exclu.

3.5 Minimisation de l’impact ?

Idée suivante : pourrions-nous peut-être nous appuyer sur une notion de minimisation de l’impact (1,2), en partant du principe que changer les objectifs d’un humain a des répercussions en aval exceptionnellement importantes ? Par exemple, je classerais « Les objectifs instrumentaux sont une catégorie différente et plus bienveillante que les objectifs finaux » (2025) de @johnswentworth et @David Lorell dans cette catégorie générale.

Mais hélas, cela ne permet pas de distinguer un bon conseil d’une mauvaise manipulation, puisque les deux affectent les objectifs de l’humain. Comme mentionné au §3.1 ci-dessus, le simple fait de dire à une personne des faits vrais et directs peut changer ce qu’elle essaie de faire, d’une manière qui a un fort impact.

3.6 Préservation de l’utilité atteignable ?

« La préservation de l’utilité réalisable » et les idées connexes semblent toutes trouver leur origine dans une ontologie bancale où les agents sont libres de choisir ce qu’ils font, plutôt que d’avoir des causes en amont à leurs décisions. Cela ne me semble donc pas utile ici.

4. Encore plus d’idées (qui ne résolvent pas vraiment mon problème)

C’est tout ce qui me vient à l’esprit directement dans la littérature sur l’alignement, mais continuons à réfléchir !

4.1 Théorie des jeux et conception des incitatifs ?

Au moins certaines des intuitions sociales dont il est question peuvent être justifiées dans un cadre d’équilibres de théorie des jeux. Par exemple, notre concept de « culpabilité » recoupe « un système de sanctions qui mettra en place des incitatifs de sorte que le résultat final soit globalement positif » . Hélas, la théorie des jeux a tendance à tenir pour acquis que les gens ont des objectifs finaux, et ne semble pas offrir de cadre utile pour réfléchir à la manière dont les gens modifient les objectifs finaux les uns des autres, pour le meilleur ou pour le pire.

4.2 Les jugements de la personne sur les types d’interactions qui sont bonnes ou mauvaises ?

Au §2.3, j’ai mentionné qu’une grande partie de notre réflexion sur la « conseil vs manipulation » repose simplement sur un sentiment global selon lequel certaines interactions sont bonnes ou mauvaises.

Cela suggère une approche où les IA apprendraient simplement à faire une évaluation globale, à la manière des humains, de ce qui est bon ou mauvais (selon les humains en général, et selon cet humain en particulier), puis à faire les bonnes choses et à ne pas faire les mauvaises. Ne pas manipuler les gens viendrait, imaginons-nous, naturellement avec le reste.

Si nous faisons quelque chose de ce genre, je ne considérerais pas cela comme une solution au problème du « vrai nom », mais plutôt comme un abandon de ce problème au profit d’une approche entièrement différente, qui s’appuie plus directement sur le jugement humain (réel ou simulé). Voir par exemple « Agents orientés vers l’approbation et basés sur l’action », pour les sceptiques de l’IDA.

Ce genre d’approche semblera probablement être la solution la plus évidente pour les lecteurs qui travaillent sur les LLM. Je ne ferai aucun commentaire sur les LLM, mais pour le problème sur lequel je travaille (l’AGI de type cérébral), cela me ramène tout simplement là où j’ai commencé au §1.2 : si nous apprenons ce qui est bon à travers la gestalt du jugement et de la culture humains, et si le jugement et la culture humains peuvent eux-mêmes évoluer progressivement au fil du temps, alors cela pourrait ne pas constituer un rempart adéquat contre les désirs conséquentialistes de l’AGI. (Et je pense effectivement que nous avons besoin que l’AGI ait certains désirs conséquentialistes.)

4.3 « C’est une ontologie bancale, mais qu’importe ? »

Moi, ça m’importe ! Le problème que je vois est le suivant : nous devrions généralement nous attendre à ce que l’AGI (et plus encore l’ASI) finisse par aboutir à des croyances vraies, et à des concepts qui reflètent fidèlement le monde tel qu’il est réellement. Et ses désirs seront liés au fait que ces concepts semblent bons ou mauvais.

En gros, mieux on est capable de modéliser quelqu’un, moins l’idée selon laquelle cette personne exprime son libre arbitre, qu’elle est autonome, qu’on la manipule ou non, etc., est cohérente. Pourquoi ? Parce que ses décisions, et même ses désirs les plus profonds et les plus sincères, découlent réellement de son environnement, de sa situation, de sa biologie, etc., qui sont tous manipulables.

Par analogie, lorsque vous écrivez du code d’interface utilisateur traditionnel ou que vous équilibrez un tas de pierres, il n’y a pas vraiment de notion de « laisser le système s’épanouir » ou quoi que ce soit de ce genre. Vous pouvez choisir de ne pas réfléchir aux conséquences de vos activités de codage ou d’équilibrage de pierres, mais c’est différent (voir §3.4 ci-dessus). Et je soupçonne que des IGA de plus en plus compétentes verront de plus en plus les humains de la même manière : eux, y compris leur « libre arbitre », ne sont qu’un autre système du monde réel qui est ballotté par les circonstances, et qui réagira de manière prévisible aux interventions comme n’importe quoi d’autre.

5. … Mais cette analyse ne « réfute-t-elle » pas également la possibilité d’une utilité humaine ?

Et pourtant ! Les humains peuvent être d’une grande utilité, n’est-ce pas ? Pouvons-nous nous en inspirer ?

Eh bien, une proposition porteuse d’espoir serait de dire : nous, les humains, utilisons encore généralement cette « ontologie bancale » qui contient des intuitions de libre arbitre ! Même si certains d’entre nous reconnaissent intellectuellement que cette ontologie est bancale… nous continuons à l’utiliser quand même ! Et bon sang, regardez tout ce que nous, les humains, avons accompli, en termes de science, de technologie, de gouvernance, de philosophie, etc. Peut-être qu’une « mini-AGI » développera des intuitions sur le libre arbitre pour les mêmes raisons que nous, et pourrait de même aller assez loin au sein de cette ontologie bancale, sans rencontrer de problèmes. Peut-être pourrait-elle aller assez loin pour mettre fin à la « période de risque aigu ».

Plus généralement, je ne vois pas vraiment en quoi des intuitions farfelues sont si graves. Dans ISM §1.3.2.1, je cite l’exemple de la façon dont la lune semble me suivre la nuit, ce qui implique que mon modèle intuitif visuel du monde place la lune à une distance erronée de la Terre. Mais qu’importe ? Cette « erreur » ne m’empêche pas de faire quoi que ce soit d’important. Je pourrais même aller travailler à la NASA et optimiser les trajectoires lunaires le jour tout en regardant la Lune qui semble me suivre la nuit.

Comment cela fonctionne-t-il ? Eh bien, dans le cas de la Lune, si j’optimisais des trajectoires lunaires, cette activité serait presque totalement dissociée de mon modèle visuel intuitif de la Lune ; je m’appuierais plutôt sur des intuitions développées grâce à mon éducation en physique, à des schémas sur papier, à d’autres trajectoires simulées que j’ai vues, et ainsi de suite.

Cependant, si l’on transpose cette « solution » à la situation de l’AGI, cela semble de mauvais augure ; cela suggère qu’à mesure que la sophistication de l’AGI dans la modélisation des humains augmente, elle s’éloignera de plus en plus de ses modèles intuitifs erronés liés au libre arbitre. Or, c’est dans ces derniers modèles que réside le concept de « manipulation ». Dans ce scénario, je ne pense donc pas que nous devrions nous attendre à ce que le concept de « manipulation » limite efficacement le processus de planification de l’AGI.

Bon, revenons-en aux humains. Il est possible pour les humains de développer de bons modèles prédictifs sur la manière d’influencer les désirs egosyntoniques d’autrui. Et ensuite ? Eh bien, dans l’ensemble, ils en tirent pleinement parti, tout en conceptualisant leurs actions comme relevant du côté positif (« conseil », « inspiration », « leadership charismatique », etc.), plutôt que du côté négatif (« manipulation »), de la conjugaison émotionnelle pertinente. C’est ainsi que l’on voit des livres avec des titres comme Comment se faire des amis et influencer les autres, et non Comment manipuler les gens pour qu’ils vous aiment et servent vos intérêts.

Si l’on transpose à nouveau cette « solution » à la situation de l’AGI, cela augure encore une fois de mauvais augure ; cela suggère que le « désir de ne pas manipuler les gens » d’une AGI ne constituera aucune contrainte. Si une IGA a le désir de suivre les normes, ainsi que le désir de ne pas manipuler les gens, mais aussi un désir conséquentialiste de maximiser les trombones, alors elle manipulerait progressivement les gens pour faire évoluer les normes dans le sens de la maximisation des trombones, tout en se disant qu’elle ne « manipule » pas mais qu’elle « donne plutôt des conseils utiles ».

Une autre approche inspirée de l’humain consisterait à essayer d’esquiver complètement la question, en rendant l’AGI incapable de manipuler même si elle le voulait — tout comme un humain peut être un ingénieur hors pair mais socialement inepte. J’ai des idées sur la façon dont cela pourrait fonctionner, mais les faire fonctionner de manière stable et robuste semble terriblement difficile. Une ASI compétente finira par trouver la solution. On peut endiguer une rivière, mais elle finira par trouver son chemin vers la mer.

Enfin, il y a une question plus profonde et plus philosophique : si la façon intuitive dont nous pensons à éviter la manipulation, etc., fait partie d’une ontologie bancale, alors… pourquoi est-ce que je tiens pour acquis que c’est une bonne chose que je souhaite (pour les humains et/ou pour les IGA) en premier lieu ? Ne devrais-je pas, tu sais, vouloir des choses sensées, plutôt que des choses absurdes et confuses ?

Je dis parfois : « Heureusement, nous, les humains, ne sommes pas assez doués en philosophie pour devenir fous. » C’est un peu une blague, mais ce n’est pas tout à fait une blague non plus. L’ancien billet de @Wei Dai intitulé « Ontological Crisis in Humans » (2012) aborde (sans y répondre) cette question. (Et bien sûr, certaines personnes deviennent bel et bien folles !) J’ai quelques idées à ce sujet, mais leur conclusion semble être en quelque sorte « tout cela revient à la normalité », je vais donc remettre cela à un (espérons-le) futur billet.

6. Conclusion

Mon hypothèse actuelle est qu’aucun de ces concepts liés à l’alignement — autonomisation, capacité d’agir, manipulation, corrigibilité, serviabilité, obéissance, culpabilité, responsabilité — n’a de « vrais noms », ou du moins, pas de noms qui seront utiles en pratique pour l’alignement de l’IA.

Je suppose donc que je dois continuer à explorer d’autres approches, y compris celles que je trouve actuellement plus difficiles à raisonner.

Merci à Seth Herd pour ses commentaires critiques sur une version préliminaire.

62 commentaires ont été faits sur ce post.

Fichier Excel des traductions par Gilles en vrac
Fiches avec les premières phrases (et non seulement les titres)
Les caractères gras dans le texte sont de Gilles.