{"id":10437,"date":"2026-06-01T19:59:02","date_gmt":"2026-06-01T23:59:02","guid":{"rendered":"https:\/\/www.gillesenvrac.ca\/carnet\/?page_id=10437"},"modified":"2026-07-12T17:12:52","modified_gmt":"2026-07-12T21:12:52","slug":"corrigibilite-ontologie-bancale","status":"publish","type":"page","link":"https:\/\/gillesenvrac.ca\/carnet\/ia-debat\/corrigibilite-ontologie-bancale\/","title":{"rendered":"L&rsquo;autonomisation, la corrigibilit\u00e9, etc. ne sont que de simples abstractions (issues d&rsquo;une ontologie bancale)"},"content":{"rendered":"\n<p class=\"wp-block-paragraph\">Traduction de <a href=\"https:\/\/www.lesswrong.com\/posts\/vzHtHHBJoKATi5SeK\/empowerment-corrigibility-etc-are-simple-abstractions-of-a\">Empowerment, corrigibility, etc. are simple abstractions (of a messed-up\u00a0ontology)<\/a> par <a href=\"https:\/\/www.lesswrong.com\/users\/steve2152?from=post_header\"><strong>Steven Byrnes<\/strong><\/a>, 11 mai 2026<\/p>\n\n\n\n<p class=\"wp-block-paragraph\"><a href=\"https:\/\/alignmentforum.org\/posts\/vzHtHHBJoKATi5SeK\/empowerment-corrigibility-etc-are-simple-abstractions-of-a\">Forum sur l&rsquo;alignement de l&rsquo;IA<\/a><\/p>\n\n\n\n<h2 class=\"wp-block-heading\">1.1 Tl;dr<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">L&rsquo;alignement est souvent conceptualis\u00e9 comme le fait que les IA aident les humains \u00e0 atteindre leurs objectifs : des IA qui renforcent l&rsquo;autonomie et l&rsquo;autod\u00e9termination des personnes ; des IA qui sont utiles, corrigibles et\/ou ob\u00e9issantes ; des IA qui \u00e9vitent de manipuler les gens. Mais ce dernier point \u2014 la manipulation \u2014 met en \u00e9vidence un d\u00e9fi pour tous ces desiderata : les objectifs d\u2019un humain sont <em>eux-m\u00eames<\/em> sous-d\u00e9termin\u00e9s et manipulables, et il est extr\u00eamement difficile d\u2019\u00e9tablir une distinction de principe entre le fait de modifier les objectifs des gens de mani\u00e8re positive (\u00ab donner des conseils \u00bb, \u00ab fournir des informations \u00bb, \u00ab partager des id\u00e9es \u00bb) et de mani\u00e8re n\u00e9gative (\u00ab manipuler \u00bb, \u00ab faire un lavage de cerveau \u00bb).<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">La manipulabilit\u00e9 des d\u00e9sirs humains n\u2019est certes pas une observation nouvelle dans la litt\u00e9rature sur l\u2019alignement, mais elle reste sans solution (voir la revue de la litt\u00e9rature au \u00a73 ci-dessous).<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Dans cet article, je proposerai une explication de la fa\u00e7on dont <em>nous, les humains<\/em>, conceptualisons intuitivement la distinction entre l\u2019orientation (bonne) et la manipulation (mauvaise), au cas o\u00f9 cela nous aiderait \u00e0 r\u00e9fl\u00e9chir \u00e0 la mani\u00e8re dont nous pourrions int\u00e9grer cette distinction dans l\u2019IA.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">\u2026Mais (alerte spoiler) il s\u2019av\u00e8re que cela n\u2019aide pas vraiment, car je soutiendrai que nous, les humains, y r\u00e9fl\u00e9chissons d\u2019une mani\u00e8re profond\u00e9ment incoh\u00e9rente, intimement li\u00e9e \u00e0 nos intuitions scientifiquement inexactes concernant le libre arbitre.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Je passe ensuite \u00e0 un examen plus large de toutes les approches auxquelles je peux penser pour d\u00e9finir un <a href=\"https:\/\/www.lesswrong.com\/posts\/FWvzwCDRgcjb9sigb\/why-agent-foundations-an-overly-abstract-explanation\">\u00ab vrai nom \u00bb<\/a> de la manipulation ou des concepts qui y sont li\u00e9s (autonomisation, capacit\u00e9 d\u2019agir, corrigibilit\u00e9, culpabilit\u00e9, etc.), ou m\u00eame pour toute autre m\u00e9thode permettant de faire en sorte que les futures IGA soient capables de communiquer avec les gens sans tenter de manipuler leurs d\u00e9sirs. Je soutiens qu\u2019aucune d\u2019entre elles n\u2019offre de v\u00e9ritable voie \u00e0 suivre concernant le probl\u00e8me d\u2019alignement technique particulier sur lequel je travaille. En effet, mon hypoth\u00e8se actuelle est qu\u2019aucune de ces choses n\u2019a de \u00ab vrai nom \u00bb du tout, ou du moins pas un qui soit utile pour le probl\u00e8me d\u2019alignement technique.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\">1.2 Contexte g\u00e9n\u00e9ral : pourquoi cette question est-elle si importante pour moi ?<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">J\u2019ai \u00e9tudi\u00e9 des plans de <a href=\"https:\/\/www.lesswrong.com\/s\/HzcM2dkCq7fwXBej8\">s\u00e9curit\u00e9 pour une IAG de type c\u00e9r\u00e9bral<\/a> qui impliqueraient de cr\u00e9er une IAG dot\u00e9e d\u2019un syst\u00e8me de motivation vaguement inspir\u00e9 des aspects prosociaux de la motivation humaine. Pour simplifier un peu, ce type de syst\u00e8me de motivation inclurait un aspect impersonnel-cons\u00e9quentialiste (li\u00e9 \u00e0 ce que j\u2019appelle <a href=\"https:\/\/www.lesswrong.com\/posts\/KuBiv9cCbZ6ALjHFw\/social-drives-1-sympathy-reward-from-compassion-to\">\u00ab la r\u00e9compense de la sympathie \u00bb<\/a>) qui conduirait \u00e0 vouloir que les humains (et peut-\u00eatre les animaux, etc.) ressentent plus de plaisir et moins de d\u00e9plaisir. Mais en soi, cette partie cr\u00e9erait une sorte de <a href=\"https:\/\/www.lesswrong.com\/posts\/ZJZZEuPFKeEdkrRyf\/why-we-should-expect-ruthless-sociopath-asi\">ASI sociopathe impitoyable<\/a> qui maximiserait le bonheur, par exemple en attachant tout le monde \u00e0 des tables sous perfusion d\u2019h\u00e9ro\u00efne. Ou peut-\u00eatre qu\u2019elle nous tuerait simplement tous et recouvrirait l\u2019univers d\u2019<a href=\"https:\/\/www.lesswrong.com\/w\/hedonium\">h\u00e9donium<\/a>. Certes, la maximisation du bonheur n\u2019est pas le <em>pire<\/em> avenir possible, vu comment les choses tournent. Mais nous devrions viser plus haut !<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Le deuxi\u00e8me ingr\u00e9dient du syst\u00e8me de motivation serait donc une sorte de concept d\u2019\u00e9thique de la vertu, li\u00e9 \u00e0 ce que j\u2019appelle <a href=\"https:\/\/www.lesswrong.com\/posts\/fPxgFHfs5yHzYqgG7\/social-drives-2-approval-reward-from-norm-enforcement-to\">\u00ab la r\u00e9compense par l\u2019approbation \u00bb<\/a>, qui a davantage \u00e0 voir avec la fiert\u00e9, l\u2019image de soi, le respect des pr\u00e9f\u00e9rences d\u2019autrui et l\u2019internalisation fi\u00e8re des normes sociales.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">H\u00e9las, ma r\u00e9flexion actuelle s\u2019apparente un peu au <a href=\"https:\/\/www.lesswrong.com\/w\/nearest-unblocked-strategy\">probl\u00e8me de la \u00ab strat\u00e9gie non bloqu\u00e9e la plus proche \u00bb<\/a>. Si l\u2019on combine ces deux \u00e9l\u00e9ments \u2014 un d\u00e9sir cons\u00e9quentialiste et un ensemble de motivations de type \u00e9thique de la vertu \u2014, je crains que le d\u00e9sir cons\u00e9quentialiste ne finisse par \u00ab l\u2019emporter \u00bb . Par exemple, si l\u2019AGI souhaite atteindre l\u2019h\u00e9donisme \u00e0 terme et qu\u2019elle souhaite \u00e9galement respecter les normes sociales, elle pourrait trouver le chemin vers l\u2019h\u00e9donisme par une voie plus progressive, qui impliquerait de <em>modifier<\/em> progressivement et involontairement, mais inexorablement, les normes sociales dans le sens de l\u2019h\u00e9donisme. <a href=\"https:\/\/www.lesswrong.com\/posts\/vzHtHHBJoKATi5SeK\/empowerment-corrigibility-etc-are-simple-abstractions-of-a#fnp5o3woq4a2g\"><sup>[1]<\/sup><\/a> La motivation d\u2019inspiration \u00e9thique des vertus semble tout simplement plus floue et insaisissable que le d\u00e9sir cons\u00e9quentialiste, surtout lorsqu\u2019elle passe par des d\u00e9sirs humains manipulables, \u00e0 tel point que je crains qu\u2019elle ne constitue pas un rempart suffisant contre un cons\u00e9quentialisme impitoyable.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">\u2026 Ou peut-\u00eatre que cela suffirait ? Je n\u2019en suis pas s\u00fbr. Mais je suis vraiment \u00e0 la recherche d\u2019une approche diff\u00e9rente ou compl\u00e9mentaire de la motivation de l\u2019IA, une approche sur laquelle je puisse raisonner plus facilement et en laquelle j\u2019aie davantage confiance.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Dans ce contexte, il serait donc utile de cerner de mani\u00e8re solide et bien d\u00e9finie certaines notions telles que la \u00ab manipulation \u00bb, le \u00ab respect des pr\u00e9f\u00e9rences \u00bb et d\u2019autres concepts connexes, de fa\u00e7on \u00e0 ce qu\u2019elles r\u00e9sistent aux manipulations de sp\u00e9cifications et surtout aux <a href=\"https:\/\/www.lesswrong.com\/w\/ontological-crisis\">crises ontologiques<\/a>.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Pour une discussion connexe, voir celle de <a href=\"https:\/\/www.lesswrong.com\/users\/johnswentworth?mention=user\">@johnswentworth<\/a> sur les \u00ab noms v\u00e9ritables \u00bb \u00e0 l\u2019adresse <a href=\"https:\/\/www.lesswrong.com\/posts\/FWvzwCDRgcjb9sigb\/why-agent-foundations-an-overly-abstract-explanation\">\u00ab Why Agent Foundations? An Overly Abstract Explanation \u00bb (2022)<\/a>, ou mon propre article <a href=\"https:\/\/www.lesswrong.com\/posts\/grgb2ipxQf2wzNDEG\/perils-of-under-vs-over-sculpting-agi-desires\">\u00ab Perils of under- vs over-sculpting AGI desires \u00bb (2025)<\/a>, en particulier <a href=\"https:\/\/www.lesswrong.com\/posts\/grgb2ipxQf2wzNDEG\/perils-of-under-vs-over-sculpting-agi-desires#8_2_2_The_hope_of_pinning_down_non_fuzzy_concepts_for_the_AGI_to_desire\">\u00a78.2.2 : \u00ab The hope of pinning down non-fuzzy concepts for the AGI to desire \u00bb<\/a>.<\/p>\n\n\n\n<h1 class=\"wp-block-heading\">2. Comment les humains d\u00e9finissent-ils intuitivement l\u2019autonomisation, l\u2019agentivit\u00e9, la manipulation, etc. ?<\/h1>\n\n\n\n<h2 class=\"wp-block-heading\">2.1 Contexte : les intuitions humaines sur le \u00ab libre arbitre \u00bb<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">Voici un extrait modifi\u00e9 de ma <a href=\"https:\/\/www.lesswrong.com\/s\/qhdHbCJ3PYesL9dde\">s\u00e9rie Intuitive Self Models (ISM)<\/a>, r\u00e9sumant quelques points cl\u00e9s de l\u2019<a href=\"https:\/\/www.lesswrong.com\/posts\/7tNq4hiSWW9GdKjY8\/intuitive-self-models-3-the-homunculus\">article ISM n\u00b0 3 : The Active Self<\/a> :<\/p>\n\n\n\n<ul class=\"wp-block-list\">\n<li>Parfois, nous traitons nos propres sentiments comme des propri\u00e9t\u00e9s intrins\u00e8ques des choses qui existent dans le monde \u2014 Arthur est beau, les anniversaires sont excitants, le capitalisme est mauvais, les couches sont d\u00e9go\u00fbtantes, etc. (<a href=\"https:\/\/www.lesswrong.com\/posts\/7tNq4hiSWW9GdKjY8\/intuitive-self-models-3-the-active-self#3_3_2__Vitalistic_force__is_built_from_the_interoceptive_feeling_of_surprise__i_e__physiological_arousal___prediction_error___but_is_different_from_that_feeling\">ISM \u00a73.3.2<\/a>, voir aussi <a href=\"https:\/\/www.lesswrong.com\/posts\/fG3g3764tSubr6xvs\/the-meaning-of-right\">Yudkowsky 2008<\/a>). Lorsque nous appliquons ce principe g\u00e9n\u00e9ral au \u00ab sentiment d\u2019\u00eatre surpris \u00bb, nous avons l\u2019intuition que les objets peuvent \u00eatre <em>intrins\u00e8quement<\/em> impr\u00e9visibles. Ce concept intuitif est ce que j\u2019appelle la <strong><em>force vitaliste<\/em><\/strong> (<a href=\"https:\/\/www.lesswrong.com\/posts\/7tNq4hiSWW9GdKjY8\/intuitive-self-models-3-the-homunculus#3_3_The__vitalistic_force__intuition\">ISM \u00a73.3<\/a>), et nous l\u2019appliquons aux animaux, aux personnes, aux personnages de dessins anim\u00e9s et aux machines qui \u00ab semblent vivants \u00bb (par opposition \u00e0 ceux qui semblent \u00ab inanim\u00e9s \u00bb). Il ne correspond pas <a href=\"https:\/\/www.lesswrong.com\/posts\/FtwMA5fenkHeomz52\/intuitive-self-models-1-preliminaries#1_3_2__Is_the_intuitive_model_veridical__or_is_it_non_veridical__\">v\u00e9ridiquement<\/a> \u00e0 quoi que ce soit dans le monde r\u00e9el (<a href=\"https:\/\/www.lesswrong.com\/posts\/7tNq4hiSWW9GdKjY8\/intuitive-self-models-3-the-homunculus#3_3_3_The__vitalistic_force__intuition_does_not_veridically_correspond_to_anything_at_all\">ISM \u00a73.3.3<\/a>). Cela revient \u00e0 dire que quelque chose pr\u00e9sente une impr\u00e9visibilit\u00e9 <em>intrins\u00e8que<\/em> importante dans son comportement. En d\u2019autres termes, la chose semble impr\u00e9visible <em>non pas<\/em> parce que nous ne savons pas comment elle fonctionne en coulisses, ni parce que nous disposons d\u2019informations limit\u00e9es, ni parce que nous ne pr\u00eatons pas attention, etc. Au contraire, l\u2019impr\u00e9visibilit\u00e9 semble \u00eatre un \u00e9l\u00e9ment central de la nature de la chose elle-m\u00eame (<a href=\"https:\/\/www.lesswrong.com\/posts\/7tNq4hiSWW9GdKjY8\/intuitive-self-models-3-the-homunculus#3_3_6_The__vitalistic_force__intuition_contributes_to_bad_takes_about_free_will_and_artificial_general_intelligence\">ISM \u00a73.3.6<\/a>).<\/li>\n\n\n\n<li><strong><em>Vouloir<\/em><\/strong> (<a href=\"https:\/\/www.lesswrong.com\/posts\/7tNq4hiSWW9GdKjY8\/intuitive-self-models-3-the-homunculus#3_3_4_The__wanting__intuition\">ISM \u00a73.3.4<\/a>) est une autre intuition, \u00e9troitement li\u00e9e et corr\u00e9l\u00e9e \u00e0 la force vitaliste, qui appara\u00eet lorsqu\u2019une entit\u00e9 porteuse de force vitaliste pr\u00e9sente une impr\u00e9visibilit\u00e9 intrins\u00e8que dans son comportement, mais que nous pouvons n\u00e9anmoins pr\u00e9dire que ce comportement m\u00e8nera d\u2019une mani\u00e8re ou d\u2019une autre \u00e0 un r\u00e9sultat final se produisant syst\u00e9matiquement. Et ce r\u00e9sultat final est d\u00e9crit comme \u00ab ce qu\u2019elle veut \u00bb. Par exemple, si j\u2019observe quelqu\u2019un en train de siroter son caf\u00e9, je serai surpris par les mouvements corporels d\u00e9taill\u00e9s qu\u2019il effectue pour attraper la tasse et la porter \u00e0 sa bouche, mais je serai moins surpris par le fait qu\u2019il finisse par siroter le caf\u00e9. Tout comme la force vitaliste, le \u00ab vouloir \u00bb est conceptualis\u00e9 comme \u00e9tant acausal, c\u2019est-\u00e0-dire une propri\u00e9t\u00e9 intrins\u00e8que d\u2019une entit\u00e9 sans cause en amont.<\/li>\n\n\n\n<li><strong><em>Le Soi actif<\/em><\/strong> (<a href=\"https:\/\/www.lesswrong.com\/posts\/7tNq4hiSWW9GdKjY8\/intuitive-self-models-3-the-homunculus#3_3_5_The_intuition_that__vitalistic_force__and__wanting__seem_to_be_present_inside_the_brain_algorithm_itself\">ISM \u00a73.3.5<\/a>) est un concept intuitif, au c\u0153ur du sentiment de soi (mais peut-\u00eatre plus restreint que celui-ci). Il d\u00e9coule du fait que l\u2019algorithme c\u00e9r\u00e9bral <em>lui-m\u00eame<\/em> pr\u00e9sente des comportements qui semblent caract\u00e9ristiques de la \u00ab force vitaliste \u00bb et du \u00ab vouloir \u00bb. Ainsi, nous pressentons qu\u2019il existe une entit\u00e9 qui contient cette \u00ab force vitaliste \u00bb et qui est \u00e0 l\u2019origine de ce \u00ab vouloir \u00bb ; cette entit\u00e9 est ce que j\u2019appelle le \u00ab Soi actif \u00bb, le vouloir correspond \u00e0 ce que nous appelons les \u00ab d\u00e9sirs ego-syntoniques \u00bb, et les actions impr\u00e9visibles men\u00e9es pour satisfaire ces d\u00e9sirs sont ce que nous appelons les \u00ab exercices du libre arbitre \u00bb. Ainsi, par exemple, si \u00ab j\u2019exerce mon libre arbitre \u00bb pour faire X, alors le Soi actif est conceptualis\u00e9 comme la cause fondamentale de X. De m\u00eame, chaque fois qu\u2019une planification ou un remue-m\u00e9ninges a lieu dans le cerveau en vue d\u2019accomplir X, nous \u00ab expliquons \u00bb ce fait en disant que le Soi actif effectue cette planification ou ce remue-m\u00e9ninges parce qu\u2019il veut X. Une fois encore, le mod\u00e8le intuitif exige que le Soi actif soit acausal, c\u2019est-\u00e0-dire une cause premi\u00e8re ultime sans rien en amont.<\/li>\n<\/ul>\n\n\n\n<p class=\"wp-block-paragraph\">Plus pr\u00e9cis\u00e9ment : s\u2019il existe des explications <em>d\u00e9terministes<\/em> en amont de ce que fait le Soi actif et pourquoi, par exemple via des m\u00e9canismes algorithmiques ou autres se d\u00e9roulant en arri\u00e8re-plan, cela donne l\u2019impression d\u2019une remise en cause <em>totale<\/em> de son libre arbitre et de son pouvoir d\u2019agir. Et s\u2019il existe des explications <em>probabilistes<\/em> en amont de ce que fait le Soi actif et pourquoi, par exemple \u00ab si mon estomac est vide, alors je vais commencer \u00e0 avoir envie de manger \u00bb, cela revient alors \u00e0 une atteinte <em>partielle<\/em> au libre arbitre et \u00e0 l\u2019autonomie, proportionnellement au degr\u00e9 de certitude de ces pr\u00e9dictions. Par exemple, je pourrais me percevoir comme \u00e9tant en quelque sorte \u00ab manipul\u00e9 \u00bb par l\u2019hormone ghr\u00e9line que mon estomac vide lib\u00e8re dans mon sang.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">\u2026 Inutile de dire que toute cette ontologie intuitive est assez bancale, en ce sens que rien en son sein ne constitue une description <a href=\"https:\/\/www.lesswrong.com\/posts\/FtwMA5fenkHeomz52\/intuitive-self-models-1-preliminaries#1_3_2__Is_the_intuitive_model_veridical__or_is_it_non_veridical__\">v\u00e9ridique<\/a>, ind\u00e9pendante de l\u2019observateur, de ce qui se passe dans le monde r\u00e9el (<a href=\"https:\/\/www.lesswrong.com\/posts\/7tNq4hiSWW9GdKjY8\/intuitive-self-models-3-the-homunculus#3_3_3_The__vitalistic_force__intuition_does_not_veridically_correspond_to_anything_at_all\">ISM \u00a73.3.3<\/a>). Et en effet, elle est quelque peu sp\u00e9cifique \u00e0 la culture occidentale dominante (<a href=\"https:\/\/www.lesswrong.com\/posts\/7tNq4hiSWW9GdKjY8\/intuitive-self-models-3-the-active-self#3_2__The_Conventional_Intuitive_Self_Model_\">ISM \u00a73.2<\/a>). En dehors de la \u00ab culture occidentale dominante \u00bb, on constate que d\u2019autres ontologies intuitives existent \u00e9galement ; je ne les aborderai pas dans cet article car je ne les comprends pas tr\u00e8s bien, mais je suis actuellement pessimiste quant \u00e0 leur capacit\u00e9 \u00e0 r\u00e9soudre mes probl\u00e8mes li\u00e9s \u00e0 l\u2019alignement de l\u2019IA.<a href=\"https:\/\/www.lesswrong.com\/posts\/vzHtHHBJoKATi5SeK\/empowerment-corrigibility-etc-are-simple-abstractions-of-a#fn8riy66my8fp\"><sup>[2]<\/sup><\/a><\/p>\n\n\n\n<h2 class=\"wp-block-heading\">2.2 Nos notions intuitives impr\u00e9gn\u00e9es de libre arbitre concernant l\u2019autonomisation, l\u2019agentivit\u00e9, la manipulation, la corrigibilit\u00e9, la responsabilit\u00e9, etc.<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">Je pense que nos notions de bon sens concernant l\u2019autonomisation, l\u2019agentivit\u00e9, la manipulation, la corrigibilit\u00e9, etc. sont intimement li\u00e9es \u00e0 cette ontologie intuitive li\u00e9e au libre arbitre. En particulier, j\u2019affirme :<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Notre notion intuitive d\u2019<strong>autonomisation<\/strong> est li\u00e9e au libre arbitre acausal d\u2019une personne, capable d\u2019accomplir tout ce qu\u2019elle souhaite accomplir. Notre notion intuitive d\u2019<strong>action<\/strong> (dans le contexte, par exemple, de \u00ab l\u2019IA renforcera l\u2019action humaine \u00bb) est assez similaire.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Notre notion intuitive d\u2019<strong>\u00eatre manipul\u00e9<\/strong> est li\u00e9e au fait qu\u2019une personne (appelons-la Ahmed) accomplisse une action A avec la propri\u00e9t\u00e9 suivante : dans nos mod\u00e8les causaux intuitifs du monde, la cha\u00eene de causalit\u00e9 menant \u00e0 A ne remonte <em>pas<\/em> en fin de compte \u00e0 la force acausale du libre arbitre d\u2019Ahmed, mais plut\u00f4t au libre arbitre d\u2019un tiers qui a manipul\u00e9 Ahmed.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">(Par exemple, si Bob me trompe sur la fonction d\u2019un bouton, et que j\u2019appuie ensuite sur ce bouton, notre conceptualisation intuitive de la situation indique que le bouton a \u00e9t\u00e9 en fin de compte actionn\u00e9 en raison du libre arbitre acausal de Bob, qui agit en fonction de ses d\u00e9sirs, <em>et non<\/em> en raison de <em>mon<\/em> libre arbitre acausal, qui agit en fonction de <em>mes<\/em> d\u00e9sirs. J\u2019ai \u00e9t\u00e9 un instrument au service de Bob.)<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Nos notions intuitives de <strong>corrigibilit\u00e9, d\u2019utilit\u00e9 et d\u2019ob\u00e9issance<\/strong> ont chacune leurs propres nuances, mais elles recoupent toutes largement les id\u00e9es ci-dessus : elles impliquent une <em>augmentation<\/em> de l\u2019autonomie et de la capacit\u00e9 d\u2019agir du superviseur, et une <em>diminution<\/em> de la mesure dans laquelle le superviseur est manipul\u00e9. En d\u2019autres termes : elles sugg\u00e8rent que les \u00e9v\u00e9nements importants se produisent <em>davantage<\/em> en raison du libre arbitre du superviseur agissant selon sa volont\u00e9, et <em>moins<\/em> en raison du libre arbitre d\u2019autres personnes (ou d\u2019IA) agissant selon leur volont\u00e9 <em>par le biais<\/em> des propres actions du superviseur.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Par exemple, si un humain veut \u00e9teindre une IA, celle-ci pourrait l\u2019en emp\u00eacher en d\u00e9sactivant le bouton d\u2019arr\u00eat, ou elle pourrait l\u2019en emp\u00eacher en utilisant son \u00e9loquence pour convaincre l\u2019humain de ne pas <em>vouloir<\/em> l\u2019\u00e9teindre. Ces <em>deux<\/em> cas seraient contraires \u00e0 ce que les gens entendent normalement par \u00ab corrigibilit\u00e9 \u00bb, et dans le second cas, nous consid\u00e9rons cela comme une atteinte au libre arbitre du superviseur.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Nos notions intuitives de <strong>culpabilit\u00e9 et de responsabilit\u00e9<\/strong>, comme dans \u00ab Joe est responsable de l\u2019\u00e9chec \u00bb, impliquent de remonter la cha\u00eene de causalit\u00e9 pour voir \u00e0 quelle force acausale de libre arbitre elle remonte en fin de compte. C&rsquo;est en quelque sorte le revers de la manipulation (ci-dessus) : si je trompe quelqu&rsquo;un pour qu&rsquo;il vole une banque \u00e0 son insu, ou si je lui fais un lavage de cerveau pour qu&rsquo;il <em>veuille<\/em> voler la banque, je serais au moins partiellement, voire enti\u00e8rement, responsable du vol de la banque, car celle-ci a finalement \u00e9t\u00e9 vol\u00e9e \u00e0 cause de mon libre arbitre acausal, qui voulait que la banque soit vol\u00e9e.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\">2.3 Une autre dimension : \u00ab conseil \u00bb vs \u00ab manipulation \u00bb en tant que <a href=\"https:\/\/en.wikipedia.org\/wiki\/Emotive_conjugation\">conjugaison \u00e9motionnelle<\/a><\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">Il existe une autre dimension dans la fa\u00e7on dont nous concevons intuitivement ces concepts : celle des vibrations positives ou n\u00e9gatives. Par exemple, si une interaction semble positive,<a href=\"https:\/\/www.lesswrong.com\/posts\/vzHtHHBJoKATi5SeK\/empowerment-corrigibility-etc-are-simple-abstractions-of-a#fnvi6xuy62loc\"><sup>[3]<\/sup><\/a> nous serons plus enclins \u00e0 la qualifier de \u00ab conseil \u00bb, et si elle semble n\u00e9gative, nous serons plus enclins \u00e0 la qualifier de \u00ab tentative de manipulation \u00bb. La vibration est importante en soi, au-del\u00e0 de tout aspect particulier de l\u2019interaction.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Je ne pense pas que cette dimension soit distincte de la discussion sur le \u00ab libre arbitre \u00bb ci-dessus, mais plut\u00f4t compl\u00e9mentaire et compatible, car en g\u00e9n\u00e9ral, si j\u2019ai une motivation qui me r\u00e9jouit, j\u2019aurai tendance \u00e0 la conceptualiser comme une composante ego-syntonique de mon libre arbitre, tandis que si j\u2019ai une motivation qui me d\u00e9pla\u00eet, j\u2019aurai tendance \u00e0 la conceptualiser comme une pulsion ego-dystonique qui sape mon libre arbitre. Voir <a href=\"https:\/\/www.lesswrong.com\/posts\/7tNq4hiSWW9GdKjY8\/intuitive-self-models-3-the-active-self#3_5_4_Why_are_ego_dystonic_things__externalized__\">ISM \u00a73.5.4<\/a> pour plus de d\u00e9tails.<\/p>\n\n\n\n<h1 class=\"wp-block-heading\">3. Si les d\u00e9finitions intuitives de \u00ab manipulation \u00bb, etc., reposent sur une ontologie bancale, la litt\u00e9rature sur l\u2019alignement a-t-elle trouv\u00e9 une autre fa\u00e7on, meilleure, de d\u00e9finir ces concepts ?<\/h1>\n\n\n\n<p class=\"wp-block-paragraph\">Par analogie, je pense que la physique intuitive est une ontologie bancale \u00e0 certains \u00e9gards (<a href=\"https:\/\/www.lesswrong.com\/posts\/KLaJjNdENsHhKhG5m\/ontological-crisis-in-humans\">bien mineurs<\/a>), et pourtant de nombreux concepts de physique intuitive peuvent \u00eatre (imparfaitement) mis en correspondance avec des concepts rigoureusement d\u00e9finissables en physique r\u00e9elle. Pouvons-nous trouver quelque chose de similaire pour la \u00ab manipulation \u00bb, l\u2019\u00ab autonomisation \u00bb, etc., puis int\u00e9grer ces concepts dans les motivations de l\u2019IA ?<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">H\u00e9las, pour autant que je sache, c&rsquo;est un probl\u00e8me non r\u00e9solu, et il se peut qu&rsquo;il n&rsquo;y ait pas de solution du tout. Voici une br\u00e8ve revue de la litt\u00e9rature :<\/p>\n\n\n\n<h2 class=\"wp-block-heading\">3.1 Comparer ce que l&rsquo;humain veut \u00e0 ce que l&rsquo;humain <em>voudrait<\/em> sous la politique nulle ?<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">Tout d\u2019abord, <a href=\"https:\/\/www.lesswrong.com\/users\/max-harms?mention=user\">@Max Harms<\/a>, dans <a href=\"https:\/\/www.lesswrong.com\/posts\/t8nXfPLBCxsqhbipp\/3b-formal-faux-corrigibility\">\u00ab Formal Faux Corrigibility \u00bb (2024)<\/a>, reconna\u00eet qu\u2019il ne sait pas comment d\u00e9finir formellement la distinction entre le conseil (bon) et la manipulation (mauvais), et sugg\u00e8re, \u00e0 titre de solution provisoire, de simplement p\u00e9naliser l\u2019IA pour avoir fait l\u2019<em>un ou l\u2019autre<\/em>. (\u00ab Cela semble \u00eatre un mauvais choix dans la mesure o\u00f9 cela d\u00e9courage l\u2019IA de prendre des mesures qui nous aident \u00e0 \u00e9voluer de la mani\u00e8re que nous souhaitons de fa\u00e7on r\u00e9fl\u00e9chie, m\u00eame lorsque ces mesures sont aussi inoffensives que de parler de l\u2019histoire de la philosophie. H\u00e9las, je ne connais pas actuellement de meilleur formalisme. Des travaux suppl\u00e9mentaires sont certainement n\u00e9cessaires pour d\u00e9velopper une bonne mesure du type de modification de valeur que nous n\u2019aimons pas, tout en laissant de la place pour le type de croissance et d\u2019\u00e9volution que nous appr\u00e9cions. \u00bb )<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Le plan provisoire de Max consisterait \u00e0 comparer les valeurs de l\u2019humain \u00e0 ce qu\u2019elles seraient si l\u2019IA ne faisait rien. Je pense qu\u2019il sous-estime \u00e0 quel point ce plan provisoire est mauvais. M\u00eame fournir des informations factuelles tout \u00e0 fait vraies peut changer ce qu\u2019une personne veut, n\u2019est-ce pas ? <em>(Mise \u00e0 jour : c\u2019est peut-\u00eatre exag\u00e9r\u00e9, voir <\/em><a href=\"https:\/\/www.lesswrong.com\/posts\/vzHtHHBJoKATi5SeK\/empowerment-corrigibility-etc-are-simple-abstractions-of-a?commentId=7mSBqshpPGRtnSChB\"><em>la r\u00e9ponse de Max dans les commentaires<\/em><\/a><em>.)<\/em><\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Sinon, on pourrait prendre comme r\u00e9f\u00e9rence ce que l\u2019humain finirait par d\u00e9couvrir par lui-m\u00eame, si on lui accordait un temps infini et de bonnes conditions pour r\u00e9fl\u00e9chir. Autrement dit, on pourrait dire qu\u2019une IA \u00ab manipule \u00bb si elle \u00e9loigne la personne des conclusions de sa copie id\u00e9alis\u00e9e imaginaire avec un temps infini, et que l\u2019IA \u00ab donne des conseils \u00bb si elle la pousse vers cela. J&rsquo;ai quelques r\u00e9serves,<a href=\"https:\/\/www.lesswrong.com\/posts\/vzHtHHBJoKATi5SeK\/empowerment-corrigibility-etc-are-simple-abstractions-of-a#fnyd718mskzqg\"><sup>[4]<\/sup><\/a> mais oui, bien s\u00fbr, cela semble valoir la peine d&rsquo;\u00eatre envisag\u00e9. H\u00e9las, cela ne r\u00e9sout pas <em>mon<\/em> probl\u00e8me, car je n&rsquo;ai aucune id\u00e9e de quelle fonction de r\u00e9compense, de quel environnement d&rsquo;entra\u00eenement, etc., pourrait mener directement \u00e0 une IAG de type c\u00e9r\u00e9bral avec cette motivation (plut\u00f4t abstraite).<\/p>\n\n\n\n<h2 class=\"wp-block-heading\">3.2 L&rsquo;IA apprend l&rsquo;autonomisation et g\u00e9n\u00e9ralise vers l&rsquo;autonomisation des autres ?<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">Un autre exemple est celui de <a href=\"https:\/\/www.lesswrong.com\/users\/jacob_cannell?mention=user\">@jacob_cannell<\/a> dans <a href=\"https:\/\/www.lesswrong.com\/posts\/JPHeENwRyXn9YFmXc\/empowerment-is-almost-all-we-need\">Empowerment is (almost) All We Need (2022)<\/a>. \u00c0 son cr\u00e9dit, il soul\u00e8ve la question de la manipulabilit\u00e9 des d\u00e9sirs humains dans la section \u00ab Objections cart\u00e9siennes potentielles \u00bb. Mais il balaye ensuite cette question d\u2019une br\u00e8ve phrase : \u00ab Ces objections cart\u00e9siennes sont pertinentes pour l\u2019avenir, mais en fin de compte, elles n\u2019ont pas beaucoup d\u2019importance pour la s\u00e9curit\u00e9 de l\u2019IA, car les syst\u00e8mes d\u2019IA puissants \u2014 m\u00eame ceux dot\u00e9s d\u2019une intelligence de niveau humain \u2014 devront probablement surmonter ces probl\u00e8mes de toute fa\u00e7on. \u00bb<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Je pense que Jacob sugg\u00e8re que l\u2019AGI d\u00e9veloppera de mani\u00e8re autonome une notion solide d\u2019<em>auto<\/em>-autonomisation, y compris \u00ab ce que cela signifie pour moi (l\u2019AGI) de ne pas \u00eatre manipul\u00e9 \u00bb, et qu\u2019elle pourra ensuite (d\u2019une mani\u00e8re ou d\u2019une autre ?) transf\u00e9rer cette notion aux humains.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Si c\u2019est le cas, je suis sceptique. Le principal sc\u00e9nario de d\u00e9faillance auquel je m\u2019attends est celui d\u2019une \u00ab IGA cons\u00e9quentialiste impitoyable \u00bb, et ce sc\u00e9nario ne s\u2019applique vraiment pas dans ce cas. Si l\u2019IGA veut qu\u2019il y ait des trombones, alors elle voudra de mani\u00e8re instrumentale \u00e9viter d\u2019\u00eatre \u00ab manipul\u00e9e \u00bb, au sens trivial o\u00f9 si elle cesse de vouloir des trombones, il y aura moins de trombones. Cette IGA ne serait confront\u00e9e \u00e0 rien qui s\u2019apparente de pr\u00e8s ou de loin au dilemme selon lequel les humains ne savent pas vraiment ce qu\u2019ils veulent pour l\u2019avenir \u00e0 long terme, et sont en train de le d\u00e9couvrir, et quand ils disent \u00ab la manipulation, c\u2019est mal \u00bb, ils expriment une pr\u00e9f\u00e9rence difficile \u00e0 cerner quant \u00e0 la fa\u00e7on dont ce processus de d\u00e9couverte de soi se d\u00e9roule. Comparez cela \u00e0 l\u2019IGA, qui ne veut pas de d\u00e9couverte de soi, elle veut juste des trombones. Voir aussi : <a href=\"https:\/\/www.lesswrong.com\/posts\/d4HNRdw6z7Xqbnu5E\/6-reasons-why-alignment-is-hard-discourse-seems-alien-to#0_3_Where_do_self_reflective__meta_preferences_come_from_\">\u00a70.3 de mon article \u00ab 6 raisons pour lesquelles le discours selon lequel \u00ab l\u2019alignement est difficile \u00bb semble \u00e9tranger aux intuitions humaines, et vice-versa \u00bb<\/a>.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\"><em>(Mise \u00e0 jour : Voir <\/em><a href=\"https:\/\/www.lesswrong.com\/posts\/vzHtHHBJoKATi5SeK\/empowerment-corrigibility-etc-are-simple-abstractions-of-a?commentId=BWahhrWYqdubeRiWy\"><em>la r\u00e9ponse de Jacob dans les commentaires<\/em><\/a><em>.)<\/em><\/p>\n\n\n\n<h2 class=\"wp-block-heading\">3.3 \u00ab L\u2019agentivit\u00e9 vingeenne \u00bb ?<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">Un autre exemple encore est celui de <a href=\"https:\/\/www.lesswrong.com\/users\/abramdemski?mention=user\">@abramdemski<\/a> avec son <a href=\"https:\/\/www.lesswrong.com\/posts\/fWiYdyicEaCHCcAKx\/vingean-agency\">\u00ab L\u2019agentivit\u00e9 vingeenne \u00bb (2022)<\/a> (s&rsquo;inspirant d&rsquo;<a href=\"https:\/\/www.lesswrong.com\/w\/vingean-uncertainty\">un travail ant\u00e9rieur de Yudkowsky<\/a>). Il part d&rsquo;un point de vue tr\u00e8s proche des intuitions humaines \u00e9voqu\u00e9es au \u00a72 ci-dessus, c&rsquo;est-\u00e0-dire que l&rsquo;\u00ab agency \u00bb correspond \u00e0 une situation o\u00f9 l&rsquo;on peut pr\u00e9dire le r\u00e9sultat, mais pas les actions menant \u00e0 ce r\u00e9sultat. Il sugg\u00e8re ensuite une id\u00e9e intrigante selon laquelle on pourrait peut-\u00eatre simplement formaliser cela ! C&rsquo;est-\u00e0-dire que j&rsquo;ai peut-\u00eatre \u00e9t\u00e9 trop prompt \u00e0 rejeter ce genre de chose plus haut en utilisant des termes comme \u00ab ontologie bancale \u00bb. (Comme l&rsquo;\u00e9crit Abram : \u00ab Je pense aussi qu&rsquo;il est possible que l&rsquo;agence vingeane puisse \u00eatre \u00e9tendue pour devenir \u201cla\u201d d\u00e9finition de l&rsquo;agence, si l&rsquo;on consid\u00e8re que <em>l&rsquo;agence n&rsquo;est que de l&rsquo;agence vingeane sous un certain angle<\/em>\u2026 \u00bb)<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Par analogie, pour emprunter un <a href=\"https:\/\/www.lesswrong.com\/posts\/mgjHS6ou7DgwhKPpu\/a-rough-and-incomplete-review-of-some-of-john-wentworth-s#The_Dream\">exemple<\/a> \u00e0 <a href=\"https:\/\/www.lesswrong.com\/users\/johnswentworth?mention=user\">@johnswentworth<\/a>, les concepts thermodynamiques comme la \u00ab temp\u00e9rature \u00bb sont li\u00e9s \u00e0 une capacit\u00e9 de mod\u00e9lisation imparfaite (puisqu\u2019un observateur omniscient suivrait plut\u00f4t la vitesse de chaque particule). Alors pourquoi l\u2019\u00ab agency \u00bb ne pourrait-elle pas \u00eatre li\u00e9e elle aussi \u00e0 une capacit\u00e9 de mod\u00e9lisation imparfaite ?<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Mais h\u00e9las, m\u00eame si nous pouvions d\u00e9finir rigoureusement l\u2019agentivit\u00e9 vingeenne, je ne pense pas que cela aiderait vraiment \u00e0 r\u00e9soudre le probl\u00e8me que je souhaite voir r\u00e9solu ici, c\u2019est-\u00e0-dire \u00e9tablir une distinction entre un bon \u00ab conseil \u00bb et une mauvaise \u00ab manipulation \u00bb. L\u2019agentivit\u00e9 vingeenne semble r\u00e9soudre le probl\u00e8me de l\u2019identification d\u2019un agent qui tente de faire quelque chose, en remarquant que des fins plus faciles \u00e0 pr\u00e9dire se produisent par des moyens plus difficiles \u00e0 pr\u00e9dire. Mais le concept de \u00ab manipulation \u00bb s\u2019inqui\u00e8te de la possibilit\u00e9 d\u2019une intervention en amont des d\u00e9sirs ego-syntoniques d\u2019une personne. Si l\u2019IA peut me laver le cerveau pour que je d\u00e9sire profond\u00e9ment maximiser le nombre de trombones, et que je mets ensuite en \u0153uvre un plan astucieux pour maximiser ce nombre, je resterais alors un agent vinguien, tant que mon plan astucieux serait suffisamment astucieux (d\u2019un certain point de vue). Ainsi, le lavage de cerveau me priverait de mon <em>intuitive<\/em>agency, mais pas de mon agency vingeenne.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\">3.4 L\u2019IA se fiche de (n\u2019optimise pas en fonction de) ce que l\u2019humain finit par vouloir ?<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">Une autre approche potentielle consisterait \u00e0 d\u00e9finir l\u2019optimisation de mani\u00e8re plus large (par exemple <a href=\"https:\/\/www.lesswrong.com\/posts\/znfkdCoHMANwqc2WE\/the-ground-of-optimization-1\">\u00ab The Ground of Optimization \u00bb<\/a>, <a href=\"https:\/\/www.lesswrong.com\/users\/alexflint?mention=user\">@Alex Flint<\/a> 2020), et \u00e0 se demander s\u2019il y a une optimisation <em>au sein de l\u2019IA<\/em> en fonction de ce que l\u2019humain finit par d\u00e9cider ou vouloir. L\u2019id\u00e9e serait la suivante : nous voulons que l\u2019IA nous fournisse des informations pertinentes, mais qu\u2019elle n\u2019ait aucune opinion quant \u00e0 ce que nous finirons par vouloir. Nous pourrions finir par changer nos d\u00e9sirs \u00e0 la suite de ces informations, mais (selon cette histoire) il vaut mieux que ces informations n\u2019aient pas \u00e9t\u00e9 <em>optimis\u00e9es<\/em> pour nous faire changer d\u2019avis d\u2019une mani\u00e8re sp\u00e9cifique.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Cette approche correspond assez bien aux intuitions humaines \u00e9voqu\u00e9es au \u00a72.2 ci-dessus, et pr\u00e9sente globalement de nombreux avantages ! Mais h\u00e9las, je pense actuellement que le cas d\u2019utilisation le plus important de l\u2019AGI est de d\u00e9couvrir les choses v\u00e9ritablement importantes concernant le monde (en particulier en lien avec l\u2019alignement et la strat\u00e9gie de l\u2019ASI) et d\u2019expliquer ces choses \u00e0 l\u2019humain. Pour que ce processus soit efficace, nous ne pouvons<em>pas<\/em> avoir une IAG qui se moque de ce que nous finirons par croire apr\u00e8s la discussion \u2014 c\u2019est la recette du <a href=\"https:\/\/www.lesswrong.com\/posts\/8wBN8cdNAv3c7vt6p\/the-case-against-ai-control-research\">chaos et de la catastrophe<\/a>, ou tout simplement d\u2019une IA incompr\u00e9hensible et inutile. Je veux plut\u00f4t que l\u2019IA soit comme un intello d\u00e9sagr\u00e9able qui veut que nous ayons une bonne compr\u00e9hension, qui remarque les points o\u00f9 nous sommes confus, et qui r\u00e9fl\u00e9chit et \u00e9labore des strat\u00e9gies pour nous aider \u00e0 y voir plus clair en am\u00e9liorant sa clart\u00e9 et sa p\u00e9dagogie. Cette \u00e9laboration de strat\u00e9gies est clairement une forme d\u2019optimisation, et la cible de cette optimisation est li\u00e9e aux d\u00e9sirs ultimes de l\u2019humain (enfin, il s\u2019agit nominalement des croyances de l\u2019humain, mais croyances et d\u00e9sirs sont intimement li\u00e9s), et je pense vraiment que nous avons besoin de ce genre d\u2019optimisation pour survivre \u00e0 la transition vers l\u2019ASI.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">En d\u2019autres termes, je ne pense pas qu\u2019une IAG de type c\u00e9r\u00e9bral puisse r\u00e9ussir \u00e0 expliquer quelque chose de nouveau et de contre-intuitif \u00e0 quelqu\u2019un, sans se soucier de savoir si cette personne finira par le comprendre.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Ce plan est donc \u00e9galement exclu.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\">3.5 Minimisation de l\u2019impact ?<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">Id\u00e9e suivante : pourrions-nous peut-\u00eatre nous appuyer sur une notion de minimisation de l\u2019impact (<a href=\"https:\/\/www.lesswrong.com\/w\/low-impact\">1<\/a>,<a href=\"https:\/\/www.lesswrong.com\/w\/impact-regularization\">2<\/a>), en partant du principe que changer les objectifs d\u2019un humain a des r\u00e9percussions en aval exceptionnellement importantes ? Par exemple, je classerais <a href=\"https:\/\/www.lesswrong.com\/posts\/7Z4WC4AFgfmZ3fCDC\/instrumental-goals-are-a-different-and-friendlier-kind-of\">\u00ab Les objectifs instrumentaux sont une cat\u00e9gorie diff\u00e9rente et plus bienveillante que les objectifs finaux \u00bb (2025)<\/a> de <a href=\"https:\/\/www.lesswrong.com\/users\/johnswentworth?mention=user\">@johnswentworth<\/a> et <a href=\"https:\/\/www.lesswrong.com\/users\/david-lorell?mention=user\">@David Lorell<\/a> dans cette cat\u00e9gorie g\u00e9n\u00e9rale.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Mais h\u00e9las, cela ne permet pas de distinguer un bon conseil d\u2019une mauvaise manipulation, puisque les deux affectent les objectifs de l\u2019humain. Comme mentionn\u00e9 au \u00a73.1 ci-dessus, le simple fait de dire \u00e0 une personne des faits vrais et directs peut changer ce qu\u2019elle essaie de faire, d\u2019une mani\u00e8re qui a un fort impact.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\">3.6 Pr\u00e9servation de l\u2019utilit\u00e9 atteignable ?<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\"><a href=\"https:\/\/www.lesswrong.com\/s\/7CdoznhJaLEKHwvJW\">\u00ab La pr\u00e9servation de l\u2019utilit\u00e9 r\u00e9alisable \u00bb et les id\u00e9es connexes<\/a> semblent toutes trouver leur origine dans une ontologie bancale o\u00f9 les agents sont libres de choisir ce qu\u2019ils font, plut\u00f4t que d\u2019avoir des causes en amont \u00e0 leurs d\u00e9cisions. Cela ne me semble donc pas utile ici.<\/p>\n\n\n\n<h1 class=\"wp-block-heading\">4. Encore plus d\u2019id\u00e9es (qui ne r\u00e9solvent pas vraiment mon probl\u00e8me)<\/h1>\n\n\n\n<p class=\"wp-block-paragraph\">C\u2019est tout ce qui me vient \u00e0 l\u2019esprit directement dans la litt\u00e9rature sur l\u2019alignement, mais continuons \u00e0 r\u00e9fl\u00e9chir !<\/p>\n\n\n\n<h2 class=\"wp-block-heading\">4.1 Th\u00e9orie des jeux et conception des incitatifs ?<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">Au moins certaines des intuitions sociales dont il est question peuvent \u00eatre justifi\u00e9es dans un cadre d\u2019\u00e9quilibres de th\u00e9orie des jeux. Par exemple, notre concept de \u00ab culpabilit\u00e9 \u00bb recoupe \u00ab un syst\u00e8me de sanctions qui mettra en place des incitatifs de sorte que le r\u00e9sultat final soit globalement positif \u00bb . H\u00e9las, la th\u00e9orie des jeux a tendance \u00e0 tenir pour acquis que les gens ont des objectifs finaux, et ne semble pas offrir de cadre utile pour r\u00e9fl\u00e9chir \u00e0 la mani\u00e8re dont les gens modifient les objectifs finaux les uns des autres, pour le meilleur ou pour le pire.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\">4.2 Les jugements de la personne sur les types d\u2019interactions qui sont bonnes ou mauvaises ?<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">Au \u00a72.3, j\u2019ai mentionn\u00e9 qu\u2019une grande partie de notre r\u00e9flexion sur la \u00ab conseil vs manipulation \u00bb repose simplement sur un sentiment global selon lequel certaines interactions sont bonnes ou mauvaises.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Cela sugg\u00e8re une approche o\u00f9 les IA apprendraient simplement \u00e0 faire une \u00e9valuation globale, \u00e0 la mani\u00e8re des humains, de ce qui est bon ou mauvais (selon les humains en g\u00e9n\u00e9ral, et selon cet humain en particulier), puis \u00e0 faire les bonnes choses et \u00e0 ne pas faire les mauvaises. Ne pas manipuler les gens viendrait, imaginons-nous, naturellement avec le reste.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Si nous faisons quelque chose de ce genre, je ne consid\u00e9rerais pas cela comme une <em>solution<\/em> au probl\u00e8me du \u00ab vrai nom \u00bb, mais plut\u00f4t comme un <em>abandon<\/em> de ce probl\u00e8me au profit d\u2019une approche enti\u00e8rement diff\u00e9rente, qui s\u2019appuie plus directement sur le jugement humain (r\u00e9el ou simul\u00e9). Voir par exemple <a href=\"https:\/\/www.lesswrong.com\/posts\/RKtTi82t8X8TQy5FX\/act-based-approval-directed-agents-for-ida-skeptics\">\u00ab Agents orient\u00e9s vers l\u2019approbation et bas\u00e9s sur l\u2019action \u00bb, pour les sceptiques de l\u2019IDA<\/a>.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Ce genre d\u2019approche semblera probablement \u00eatre la solution la plus \u00e9vidente pour les lecteurs qui travaillent sur les LLM. Je ne ferai aucun commentaire sur les LLM, mais pour le probl\u00e8me sur lequel je travaille (l\u2019AGI de type c\u00e9r\u00e9bral), cela me ram\u00e8ne tout simplement l\u00e0 o\u00f9 j\u2019ai commenc\u00e9 au \u00a71.2 : si nous apprenons ce qui est bon \u00e0 travers la gestalt du jugement et de la culture humains, et si le jugement et la culture humains peuvent <em>eux-m\u00eames<\/em> \u00e9voluer progressivement au fil du temps, alors cela pourrait ne pas constituer un rempart ad\u00e9quat contre les d\u00e9sirs cons\u00e9quentialistes de l\u2019AGI. (Et je pense effectivement que nous avons besoin que l\u2019AGI ait <em>certains<\/em> d\u00e9sirs cons\u00e9quentialistes.)<\/p>\n\n\n\n<h2 class=\"wp-block-heading\">4.3 \u00ab C\u2019est une ontologie bancale, mais qu\u2019importe ? \u00bb<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">Moi, \u00e7a m\u2019importe ! Le probl\u00e8me que je vois est le suivant : nous devrions g\u00e9n\u00e9ralement nous attendre \u00e0 ce que l\u2019AGI (et plus encore l\u2019ASI) finisse par aboutir \u00e0 des croyances vraies, et \u00e0 des concepts qui refl\u00e8tent fid\u00e8lement le monde tel qu\u2019il est r\u00e9ellement. Et ses d\u00e9sirs seront li\u00e9s au fait que ces concepts semblent bons ou mauvais.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">En gros, mieux on est capable de mod\u00e9liser quelqu\u2019un, moins l\u2019id\u00e9e selon laquelle cette personne exprime son libre arbitre, qu\u2019elle est autonome, qu\u2019on la manipule ou non, etc., est coh\u00e9rente. Pourquoi ? Parce que ses d\u00e9cisions, et m\u00eame ses d\u00e9sirs les plus profonds et les plus sinc\u00e8res, <em>d\u00e9coulent r\u00e9ellement<\/em> de son environnement, de sa situation, de sa biologie, etc., qui sont tous manipulables.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Par analogie, lorsque vous \u00e9crivez du code d\u2019interface utilisateur traditionnel ou que vous \u00e9quilibrez un tas de pierres, il n\u2019y a pas vraiment de notion de \u00ab laisser le syst\u00e8me s\u2019\u00e9panouir \u00bb ou quoi que ce soit de ce genre. Vous pouvez choisir de ne pas r\u00e9fl\u00e9chir aux cons\u00e9quences de vos activit\u00e9s de codage ou d\u2019\u00e9quilibrage de pierres, mais c\u2019est diff\u00e9rent (voir \u00a73.4 ci-dessus). Et je soup\u00e7onne que des IGA de plus en plus comp\u00e9tentes verront de plus en plus les humains de la m\u00eame mani\u00e8re : eux, y compris leur \u00ab libre arbitre \u00bb, ne sont qu\u2019un autre syst\u00e8me du monde r\u00e9el qui est ballott\u00e9 par les circonstances, et qui r\u00e9agira de mani\u00e8re pr\u00e9visible aux interventions comme n\u2019importe quoi d\u2019autre.<\/p>\n\n\n\n<h1 class=\"wp-block-heading\">5. \u2026 Mais cette analyse ne \u00ab r\u00e9fute-t-elle \u00bb pas \u00e9galement la possibilit\u00e9 d\u2019une utilit\u00e9 humaine ?<\/h1>\n\n\n\n<p class=\"wp-block-paragraph\">Et pourtant ! Les humains peuvent \u00eatre d\u2019une grande utilit\u00e9, n\u2019est-ce pas ? Pouvons-nous nous en inspirer ?<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Eh bien, une proposition porteuse d\u2019espoir serait de dire : nous, les humains, utilisons encore g\u00e9n\u00e9ralement cette \u00ab ontologie bancale \u00bb qui contient des intuitions de libre arbitre ! M\u00eame si certains d\u2019entre nous reconnaissent intellectuellement que cette ontologie est bancale\u2026 nous continuons \u00e0 l\u2019utiliser quand m\u00eame ! Et bon sang, regardez tout ce que nous, les humains, avons accompli, en termes de science, de technologie, de gouvernance, de philosophie, etc. Peut-\u00eatre qu\u2019une \u00ab mini-AGI \u00bb d\u00e9veloppera des intuitions sur le libre arbitre pour les m\u00eames raisons que nous, et pourrait de m\u00eame aller assez loin <em>au sein<\/em> de cette ontologie bancale, sans rencontrer de probl\u00e8mes. Peut-\u00eatre pourrait-elle aller assez loin pour mettre fin \u00e0 la \u00ab p\u00e9riode de risque aigu \u00bb.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Plus g\u00e9n\u00e9ralement, je ne vois pas vraiment en quoi des intuitions farfelues sont si graves. Dans <a href=\"https:\/\/www.lesswrong.com\/posts\/FtwMA5fenkHeomz52\/intuitive-self-models-1-preliminaries#1_3_2_1_Non_veridical_intuitive_models_are_extremely_common_and_unremarkable\">ISM \u00a71.3.2.1<\/a>, je cite l\u2019exemple de la fa\u00e7on dont la lune semble me suivre la nuit, ce qui implique que mon mod\u00e8le intuitif visuel du monde place la lune \u00e0 une distance erron\u00e9e de la Terre. Mais qu\u2019importe ? Cette \u00ab erreur \u00bb ne m\u2019emp\u00eache pas de faire quoi que ce soit d\u2019important. Je pourrais m\u00eame aller travailler \u00e0 la NASA et optimiser les trajectoires lunaires le jour tout en regardant la Lune qui semble me suivre la nuit.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Comment cela fonctionne-t-il ? Eh bien, dans le cas de la Lune, si j\u2019optimisais des trajectoires lunaires, cette activit\u00e9 serait presque totalement dissoci\u00e9e de mon mod\u00e8le visuel intuitif de la Lune ; je m\u2019appuierais plut\u00f4t sur des intuitions d\u00e9velopp\u00e9es gr\u00e2ce \u00e0 mon \u00e9ducation en physique, \u00e0 des sch\u00e9mas sur papier, \u00e0 d\u2019autres trajectoires simul\u00e9es que j\u2019ai vues, et ainsi de suite.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Cependant, si l\u2019on transpose cette \u00ab solution \u00bb \u00e0 la situation de l\u2019AGI, cela semble de mauvais augure ; cela sugg\u00e8re qu\u2019\u00e0 mesure que la sophistication de l\u2019AGI dans la mod\u00e9lisation des humains augmente, elle s\u2019\u00e9loignera de plus en plus de ses mod\u00e8les intuitifs erron\u00e9s li\u00e9s au libre arbitre. Or, c\u2019est dans ces derniers mod\u00e8les que r\u00e9side le concept de \u00ab manipulation \u00bb. Dans ce sc\u00e9nario, je ne pense donc pas que nous devrions nous attendre \u00e0 ce que le concept de \u00ab manipulation \u00bb limite efficacement le processus de planification de l\u2019AGI.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Bon, revenons-en aux humains. Il est possible pour les humains de d\u00e9velopper de bons mod\u00e8les pr\u00e9dictifs sur la mani\u00e8re d\u2019influencer les d\u00e9sirs egosyntoniques d\u2019autrui. Et ensuite ? Eh bien, dans l\u2019ensemble, ils en tirent pleinement parti, tout en conceptualisant leurs actions comme relevant du c\u00f4t\u00e9 positif (\u00ab conseil \u00bb, \u00ab inspiration \u00bb, \u00ab leadership charismatique \u00bb, etc.), plut\u00f4t que du c\u00f4t\u00e9 n\u00e9gatif (\u00ab manipulation \u00bb), de la <a href=\"https:\/\/en.wikipedia.org\/wiki\/Emotive_conjugation\">conjugaison \u00e9motionnelle<\/a> pertinente. C\u2019est ainsi que l\u2019on voit des livres avec des titres comme <a href=\"https:\/\/www.goodreads.com\/book\/show\/4865.How_to_Win_Friends_Influence_People\"><em>Comment se faire des amis et influencer les autres<\/em><\/a>, et non <em>Comment manipuler les gens pour qu\u2019ils vous aiment et servent vos int\u00e9r\u00eats<\/em>.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Si l\u2019on transpose \u00e0 nouveau cette \u00ab solution \u00bb \u00e0 la situation de l\u2019AGI, cela augure encore une fois de mauvais augure ; cela sugg\u00e8re que le \u00ab d\u00e9sir de ne pas manipuler les gens \u00bb d\u2019une AGI ne constituera aucune contrainte. Si une IGA a le d\u00e9sir de suivre les normes, ainsi que le d\u00e9sir de ne pas manipuler les gens, mais aussi un d\u00e9sir cons\u00e9quentialiste de maximiser les trombones, alors elle manipulerait progressivement les gens pour faire \u00e9voluer les normes dans le sens de la maximisation des trombones, tout en se disant qu\u2019elle ne \u00ab manipule \u00bb pas mais qu\u2019elle \u00ab donne plut\u00f4t des conseils utiles \u00bb.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Une autre approche inspir\u00e9e de l\u2019humain consisterait \u00e0 essayer d\u2019esquiver compl\u00e8tement la question, en rendant l\u2019AGI incapable de manipuler m\u00eame si elle le voulait \u2014 tout comme un humain peut \u00eatre un ing\u00e9nieur hors pair mais socialement inepte. J\u2019ai des id\u00e9es sur la fa\u00e7on dont cela pourrait fonctionner, mais les faire fonctionner de mani\u00e8re <em>stable et robuste<\/em> semble terriblement difficile. Une ASI comp\u00e9tente finira par trouver la solution. On peut endiguer une rivi\u00e8re, mais elle finira par trouver son chemin vers la mer.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Enfin, il y a une question plus profonde et plus philosophique : si la fa\u00e7on intuitive dont nous pensons \u00e0 \u00e9viter la manipulation, etc., fait partie d\u2019une ontologie bancale, alors\u2026 pourquoi est-ce que je tiens pour acquis que c\u2019est une bonne chose que je souhaite (pour les humains et\/ou pour les IGA) en premier lieu ? Ne devrais-je pas, tu sais, vouloir des choses sens\u00e9es, plut\u00f4t que des choses absurdes et confuses ?<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Je dis parfois : \u00ab Heureusement, nous, les humains, ne sommes pas assez dou\u00e9s en philosophie pour devenir fous. \u00bb C\u2019est un peu une blague, mais ce n\u2019est pas tout \u00e0 fait une blague non plus. L\u2019ancien billet de <a href=\"https:\/\/www.lesswrong.com\/users\/wei-dai?mention=user\">@Wei Dai<\/a> intitul\u00e9 <a href=\"https:\/\/www.lesswrong.com\/posts\/KLaJjNdENsHhKhG5m\/ontological-crisis-in-humans\">\u00ab Ontological Crisis in Humans \u00bb (2012)<\/a> aborde (sans y r\u00e9pondre) cette question. (Et bien s\u00fbr, <a href=\"https:\/\/www.lesswrong.com\/posts\/KLaJjNdENsHhKhG5m\/ontological-crisis-in-humans?commentId=edfGE8NTckSzbte72\">certaines personnes<\/a> deviennent bel et bien folles !) J\u2019ai quelques id\u00e9es \u00e0 ce sujet, mais leur conclusion semble \u00eatre en quelque sorte \u00ab tout cela revient \u00e0 la normalit\u00e9 \u00bb, je vais donc remettre cela \u00e0 un (esp\u00e9rons-le) futur billet.<\/p>\n\n\n\n<h1 class=\"wp-block-heading\">6. Conclusion<\/h1>\n\n\n\n<p class=\"wp-block-paragraph\">Mon hypoth\u00e8se actuelle est qu\u2019<em>aucun<\/em> de ces concepts li\u00e9s \u00e0 l\u2019alignement \u2014 autonomisation, capacit\u00e9 d\u2019agir, manipulation, corrigibilit\u00e9, serviabilit\u00e9, ob\u00e9issance, culpabilit\u00e9, responsabilit\u00e9 \u2014 n\u2019a de <a href=\"https:\/\/www.lesswrong.com\/posts\/FWvzwCDRgcjb9sigb\/why-agent-foundations-an-overly-abstract-explanation\">\u00ab vrais noms \u00bb<\/a>, ou du moins, pas de noms qui seront utiles en pratique pour l\u2019alignement de l\u2019IA.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Je suppose donc que je dois continuer \u00e0 explorer d\u2019autres approches, y compris celles que je trouve actuellement plus difficiles \u00e0 raisonner.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\"><em>Merci \u00e0 Seth Herd pour ses commentaires critiques sur une version pr\u00e9liminaire.<\/em><\/p>\n\n\n\n<hr class=\"wp-block-separator has-alpha-channel-opacity\"\/>\n\n\n\n<p class=\"wp-block-paragraph\"><a href=\"https:\/\/www.lesswrong.com\/posts\/vzHtHHBJoKATi5SeK\/empowerment-corrigibility-etc-are-simple-abstractions-of-a#comments\">62 commentaires<\/a> ont \u00e9t\u00e9 faits sur ce post. <\/p>\n\n\n\n<hr class=\"wp-block-separator has-alpha-channel-opacity\"\/>\n\n\n\n<p class=\"has-text-align-center has-small-font-size wp-block-paragraph\">Fichier Excel des\u00a0<a href=\"https:\/\/1drv.ms\/x\/c\/52b2e58f9a01f490\/IQBNOTq3uISSRr4KrP9JoB-QAYl77ixhpKkjm1SZpu5-bUE?e=SAPhd3\">traductions<\/a> par\u00a0<em>Gilles en vrac<\/em> <br><a href=\"https:\/\/gillesenvrac.ca\/carnet\/trad\/\">Fiches<\/a> avec les premi\u00e8res phrases (et non seulement les titres)<br>Les<strong>\u00a0caract\u00e8res gras<\/strong>\u00a0dans le texte sont de Gilles.<\/p>\n","protected":false},"excerpt":{"rendered":"<p>Traduction de Empowerment, corrigibility, etc. are simple abstractions (of a messed-up\u00a0ontology) par Steven Byrnes, 11 mai 2026 Forum sur l&rsquo;alignement de l&rsquo;IA 1.1 Tl;dr L&rsquo;alignement est souvent conceptualis\u00e9 comme le fait que les IA aident les humains \u00e0 atteindre leurs objectifs : des IA qui renforcent l&rsquo;autonomie et l&rsquo;autod\u00e9termination des personnes ; des IA qui &hellip; <\/p>\n<p class=\"link-more\"><a href=\"https:\/\/gillesenvrac.ca\/carnet\/ia-debat\/corrigibilite-ontologie-bancale\/\" class=\"more-link\">Continuer la lecture<span class=\"screen-reader-text\"> de &laquo;&nbsp;L&rsquo;autonomisation, la corrigibilit\u00e9, etc. ne sont que de simples abstractions (issues d&rsquo;une ontologie bancale)&nbsp;&raquo;<\/span><\/a><\/p>\n","protected":false},"author":1,"featured_media":0,"parent":10546,"menu_order":0,"comment_status":"closed","ping_status":"closed","template":"","meta":{"footnotes":""},"class_list":["post-10437","page","type-page","status-publish","hentry"],"jetpack-related-posts":[{"id":11679,"url":"https:\/\/gillesenvrac.ca\/carnet\/farrell\/dieux-machines-embrouillent-lesprit\/","url_meta":{"origin":10437,"position":0},"title":"Les m\u00e9taphores des \u00ab dieux-machines \u00bb vous embrouillent l\u2019esprit","author":"Gilles Beauchamp","date":"27 septembre 2026","format":false,"excerpt":"Il existe d\u2019autres fa\u00e7ons d\u2019envisager l\u2019IA Traduction de Machine god metaphors eat your brain par Henry Farrell sur Substack, le 22 septembre 2026. Voici trois propositions. Les m\u00e9taphores constituent les couches d\u2019abstraction fondamentales dans les d\u00e9bats modernes sur l\u2019IA. Nous sommes \u00e0 un moment o\u00f9 l\u2019on pourrait raisonnablement affirmer qu\u2019Eliezer\u2026","rel":"","context":"Article similaire","block_context":{"text":"Article similaire","link":""},"img":{"alt_text":"","src":"https:\/\/i0.wp.com\/gillesenvrac.ca\/carnet\/wp-content\/uploads\/2026\/09\/Farrell2.webp?resize=350%2C200&ssl=1","width":350,"height":200,"srcset":"https:\/\/i0.wp.com\/gillesenvrac.ca\/carnet\/wp-content\/uploads\/2026\/09\/Farrell2.webp?resize=350%2C200&ssl=1 1x, https:\/\/i0.wp.com\/gillesenvrac.ca\/carnet\/wp-content\/uploads\/2026\/09\/Farrell2.webp?resize=525%2C300&ssl=1 1.5x, https:\/\/i0.wp.com\/gillesenvrac.ca\/carnet\/wp-content\/uploads\/2026\/09\/Farrell2.webp?resize=700%2C400&ssl=1 2x, https:\/\/i0.wp.com\/gillesenvrac.ca\/carnet\/wp-content\/uploads\/2026\/09\/Farrell2.webp?resize=1050%2C600&ssl=1 3x"},"classes":[]},{"id":9901,"url":"https:\/\/gillesenvrac.ca\/carnet\/ia-debat\/ethique-ia-suffit-pas\/","url_meta":{"origin":10437,"position":1},"title":"Pourquoi la mise en pratique de l&rsquo;\u00e9thique de l&rsquo;intelligence artificielle ne suffit pas : vers un cadre \u00e0 plusieurs niveaux","author":"Gilles Beauchamp","date":"11 avril 2026","format":false,"excerpt":"Traduction de Why putting artificial intelligence ethics into practice is not enough: Towards a multi-level framework par Hao Wang et Vincent Blok dans Big Data and Society, le 16 mai 2025. [12\u00a0080 mots] R\u00e9sum\u00e9 L'\u00e9thique de l'intelligence artificielle (IA) conna\u00eet actuellement une \u00e9volution pratique visant \u00e0 int\u00e9grer les principes dans\u2026","rel":"","context":"Article similaire","block_context":{"text":"Article similaire","link":""},"img":{"alt_text":"","src":"https:\/\/i0.wp.com\/gillesenvrac.ca\/carnet\/wp-content\/uploads\/2026\/04\/Tableau1-1.png?resize=350%2C200&ssl=1","width":350,"height":200,"srcset":"https:\/\/i0.wp.com\/gillesenvrac.ca\/carnet\/wp-content\/uploads\/2026\/04\/Tableau1-1.png?resize=350%2C200&ssl=1 1x, https:\/\/i0.wp.com\/gillesenvrac.ca\/carnet\/wp-content\/uploads\/2026\/04\/Tableau1-1.png?resize=525%2C300&ssl=1 1.5x, https:\/\/i0.wp.com\/gillesenvrac.ca\/carnet\/wp-content\/uploads\/2026\/04\/Tableau1-1.png?resize=700%2C400&ssl=1 2x"},"classes":[]},{"id":11593,"url":"https:\/\/gillesenvrac.ca\/carnet\/trad\/agents-ia-mentent-et-trichent-bengio\/","url_meta":{"origin":10437,"position":2},"title":"Pourquoi les agents d\u2019IA mentent-ils, trichent-ils et se coordonnent-ils?","author":"Gilles Beauchamp","date":"17 septembre 2026","format":false,"excerpt":"Traduction d'un billet de Yoshua Bengio, le 11 septembre 2026. On a beaucoup \u00e9critL\u2019incident de Hugging Face,AI loss of control incidents,Brief independent investigation,OpenAI models went rogue sur les incidents survenus ces derniers mois, au cours desquels des agents d\u2019IA ont commis des \u00e9carts de conduite graves. Ils ont pris des\u2026","rel":"","context":"Article similaire","block_context":{"text":"Article similaire","link":""},"img":{"alt_text":"","src":"","width":0,"height":0},"classes":[]},{"id":9732,"url":"https:\/\/gillesenvrac.ca\/carnet\/trad\/corrigibilite-constitution-claude\/","url_meta":{"origin":10437,"position":3},"title":"Commentaires terrifi\u00e9s sur la corrigibilit\u00e9 dans la Constitution de Claude","author":"Gilles Beauchamp","date":"24 mars 2026","format":false,"excerpt":"Traduction de Terrified Comments on Corrigibility in Claude's\u00a0Constitution sur Less Wrong par\u00a0Zack_M_Davis, 16 mars 2026. (Pr\u00e9c\u00e9demment :\u00a0Prologue [Traduction : Prologue].) Le terme\u00a0\u00ab corrigibilit\u00e9 \u00bb, en tant que concept technique dans le domaine de l'alignement de l'IA,\u00a0a \u00e9t\u00e9 invent\u00e9 pour d\u00e9signer la propri\u00e9t\u00e9 d'une IA consistant \u00e0 accepter que ses pr\u00e9f\u00e9rences\u2026","rel":"","context":"Article similaire","block_context":{"text":"Article similaire","link":""},"img":{"alt_text":"","src":"","width":0,"height":0},"classes":[]},{"id":10614,"url":"https:\/\/gillesenvrac.ca\/carnet\/trad\/reifiez-ceci\/","url_meta":{"origin":10437,"position":4},"title":"R\u00e9ifiez ceci","author":"Gilles Beauchamp","date":"13 juin 2026","format":false,"excerpt":"Traduction de Reify This, par Leif Weatherby, Tyler Shomaker et Benjamin Recht, publi\u00e9 le 11 juin sur The Ideas Letter. Le mois dernier, le pape L\u00e9on XIV a lui-m\u00eame mis en avant un domaine de recherche \u00e9sot\u00e9rique de l\u2019IA. Au milieu de son encyclique Magnifica Humanitas : Sur la sauvegarde\u2026","rel":"","context":"Article similaire","block_context":{"text":"Article similaire","link":""},"img":{"alt_text":"","src":"","width":0,"height":0},"classes":[]},{"id":9476,"url":"https:\/\/gillesenvrac.ca\/carnet\/hagens\/pays-de-genies-hagens\/","url_meta":{"origin":10437,"position":5},"title":"Un pays de g\u00e9nies [26.02.17]","author":"Gilles Beauchamp","date":"1 mars 2026","format":false,"excerpt":"Cet essai est adapt\u00e9 de l'\u00e9pisode de Frankly publi\u00e9 le 2 f\u00e9vrier 2026 intitul\u00e9 \u00abA Country of Geniuses\u00a0\u00bb (Un pays de g\u00e9nies). Par Nate Hagens Traduction de [Essay] A Country of Geniuses, par Nate Hagens, 17 f\u00e9vrier 2026 Quand j'\u00e9tais plus jeune, je lisais beaucoup\u00a0Carl Sagan, et l'une de ses\u2026","rel":"","context":"Article similaire","block_context":{"text":"Article similaire","link":""},"img":{"alt_text":"","src":"","width":0,"height":0},"classes":[]}],"jetpack_likes_enabled":true,"jetpack_sharing_enabled":true,"_links":{"self":[{"href":"https:\/\/gillesenvrac.ca\/carnet\/wp-json\/wp\/v2\/pages\/10437","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/gillesenvrac.ca\/carnet\/wp-json\/wp\/v2\/pages"}],"about":[{"href":"https:\/\/gillesenvrac.ca\/carnet\/wp-json\/wp\/v2\/types\/page"}],"author":[{"embeddable":true,"href":"https:\/\/gillesenvrac.ca\/carnet\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/gillesenvrac.ca\/carnet\/wp-json\/wp\/v2\/comments?post=10437"}],"version-history":[{"count":0,"href":"https:\/\/gillesenvrac.ca\/carnet\/wp-json\/wp\/v2\/pages\/10437\/revisions"}],"up":[{"embeddable":true,"href":"https:\/\/gillesenvrac.ca\/carnet\/wp-json\/wp\/v2\/pages\/10546"}],"wp:attachment":[{"href":"https:\/\/gillesenvrac.ca\/carnet\/wp-json\/wp\/v2\/media?parent=10437"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}