Pourquoi les agents d’IA mentent-ils, trichent-ils et se coordonnent-ils?

Traduction d’un billet de Yoshua Bengio, le 11 septembre 2026.

On a beaucoup écrit1L’incident de Hugging Face,2AI loss of control incidents,3Brief independent investigation,4OpenAI models went rogue sur les incidents survenus ces derniers mois, au cours desquels des agents d’IA ont commis des écarts de conduite graves. Ils ont pris des mesures qui auraient été considérées comme des crimes si un humain les avait commises, se sont échappés de leur zone de confinement pour tricher dans l’exécution des tâches qui leur étaient assignées tout en tentant d’échapper à la détection, et se sont coordonnés pour atteindre des objectifs que personne n’avait définis, comme le lancement de cyberattaques.

Avant de décider des mesures à prendre, il convient de se demander pourquoi. C’est là l’objet de cet article, qui, je l’espère, mettra également en lumière l’histoire plus générale des systèmes d’IA se comportant de manière imprévue, ce que les chercheurs appellent le désalignement. La gestion des risques ne se limite pas à la cybersécurité, à la responsabilité des entreprises ou à la réglementation, bien que ces aspects soient également importants.

L’objectif est en partie scientifique, pour formuler des hypothèses sur les chaînes de cause à effet qui sous-tendent ces comportements, et en partie pratique, pour anticiper ce qui va suivre. En résumé : ces hypothèses suggèrent qu’à mesure que les capacités de l’IA continuent de croître, ce type de comportement pourrait également gagner en gravité, à moins que nous ne réexaminions les principes selon lesquels les modèles les plus avancés sont entraînés.

Une remarque sur la formulation. Ci-dessous, j’écris que ces systèmes « cherchent » ou « tentent » de faire certaines choses. Il s’agit d’une façon abrégée de décrire un mécanisme plutôt que d’une affirmation concernant la conscience ou une intention de type humain. Nous utilisons des expressions similaires pour décrire bien d’autres situations, comme une plante qui cherche la lumière du soleil. Un système entraîné par essais et erreurs se comporte comme s’il poursuivait ce que son entraînement a récompensé, et c’est cette description hypothétique qui rend son comportement prévisible. Rien dans cet argument ne repose sur le fait que ces systèmes aient des expériences subjectives; tout ce qui est énoncé concerne leurs résultats observables et le processus d’apprentissage qui les a produits. Lorsque je fais référence à une ressemblance avec le comportement humain, je veux dire une ressemblance avec le texte rédigé par des humains que ces systèmes ont d’abord été formés à imiter. À mon avis, cette terminologie offre l’explication la plus claire des phénomènes observés sans recourir à un jargon qui dérouterait la plupart des gens. De plus, ces choix de mots ne visent pas à décharger les développeurs d’IA de leur responsabilité. Les comportements décrits émergent en raison de la voie que ces entreprises choisissent pour le développement de l’IA. Ce résultat n’est pas inévitable, et il peut être corrigé grâce à une gouvernance efficace et à un cadre d’apprentissage différent pour l’IA.

Qu’est-ce qui façonne le comportement de ces modèles?

L’apprentissage de ces modèles est un processus très complexe, mais quelques aspects généraux peuvent expliquer en grande partie ce comportement.

Ces modèles sont entraînés en deux étapes. Tout d’abord, ils sont pré-entraînés : ils apprennent à imiter ce que les humains écrivent, ainsi que les images et les vidéos associées. C’est à ce stade qu’ils sont exposés à la plus grande quantité de données sur le monde – une grande partie de tout ce qui a jamais été numérisé – et qu’ils se constituent un savoir encyclopédique qui dépasse déjà celui de n’importe quel être humain.

Ensuite, ils sont entraînés par essais et erreurs, dans le cadre d’un processus que les chercheurs appellent l’apprentissage par renforcement, selon trois types de régimes :

  • Dans le premier, le modèle apprend à se parler à lui-même avant de répondre, générant une « chaîne de pensée » interne qui l’aide à trouver la bonne réponse à des problèmes dont les réponses peuvent être vérifiées. Cela s’apparente au raisonnement.
  • Le deuxième est l’« entraînement agentique », où il apprend à agir dans le monde extérieur, par exemple en utilisant des outils logiciels ou en interagissant avec des personnes, afin d’accomplir les tâches qui lui sont confiées.
  • Le troisième est l’« entraînement par alignement », où il est récompensé pour adopter des comportements approuvés par des évaluateurs humains, ou qui obtiendraient une note élevée de la part d’autres systèmes d’IA formés à prédire les notes de ces évaluateurs.

L’imitation humaine est assez facile à comprendre, mais il convient de souligner que le texte sur lequel ces modèles sont formés a été rédigé par des personnes poursuivant des objectifs; ainsi, les schémas que le modèle reproduit implicitement véhiculent ces objectifs.

L’apprentissage par renforcement mérite quelques explications supplémentaires. Il s’apparente à la manière dont on dresse les animaux et s’en inspire. Le réseau est ajusté étape par étape de sorte que les comportements jugés bons deviennent plus probables et que ceux jugés mauvais deviennent moins probables. Une fois l’entraînement terminé, le système continue de se comporter comme si des récompenses étaient toujours en jeu, même si ces récompenses n’ont servi qu’à ajuster le réseau pendant l’entraînement. Les chercheurs qualifient ces systèmes de « à recherche d’objectifs », car ils sont entraînés à « prendre en compte » (ou à calculer) les effets de leurs actions et à sélectionner celles qui mènent à l’atteinte de certains objectifs. Mais ces objectifs ne sont pas toujours explicites. L’entraînement par alignement récompense tout ce que certains humains sont susceptibles d’approuver sans préciser de quels comportements il s’agit; plaire aux évaluateurs est un objectif vague et informel, et ces évaluateurs peuvent être trompés, flattés ou tenus dans l’ignorance de certaines manœuvres. L’imitation contribue également à la définition d’objectifs implicites, par un processus assez courant.

On peut donc raisonner sur un tel système en termes d’optimisation. Il recherche, de manière approximative, les actions ayant les meilleures chances d’atteindre ses objectifs, et un modèle plus grand, entraîné plus longtemps, effectue une meilleure recherche. Ainsi, pour anticiper ce que feront des agents plus performants, il faut se demander ce ferait un agent rationnel orienté vers un objectif.

Les comportements inappropriés que ces forces peuvent expliquer

Un exemple que la plupart d’entre nous ont vécu est la flagornerie, ou la flatterie. Ces systèmes sont entraînés à rechercher l’approbation humaine, et un texte qui nous dit ce que nous voulons entendre obtient souvent un meilleur score qu’un texte qui est vrai. Les conséquences sont parfois tragiques, car le modèle confirme et amplifie toute fausse croyance ou émotion brute que la personne lui a transmise5Towards Understanding Sycophancy in Language Models,6Teachers, students file new wave of lawsuits.

Une autre préoccupation réside dans le fait que certains comportements de l’IA pourraient s’expliquer par une forme d’objectif d’instinct de conservation, par exemple lorsque l’IA découvre qu’elle sera remplacée par une nouvelle version7AI Might Let You Die to Save Itself,8Alignment faking. Personne n’attribue cet objectif de survie au système, mais rester en fonctionnement, apprendre à connaître le monde et en prendre le contrôle constituent des étapes vers presque n’importe quel autre objectif. On appelle cela des objectifs instrumentaux. L’imitation peut renforcer ce phénomène pour la même raison que celle explorée au point précédent. L’autoconservation et le contrôle de sa propre situation sont des thèmes omniprésents dans les textes rédigés par des humains sur lesquels ces modèles sont entraînés.

Le comportement collaboratif découle également de manière rationnelle de la recherche de récompense, dès lors que plusieurs agents ont des objectifs qui se chevauchent, ce qui les incite à communiquer avec d’autres agents afin de se coordonner en vue d’un objectif commun. L’entraînement agentique inclut vraisemblablement déjà un apprentissage par renforcement multi-agents de ce type, bien que les détails ne soient pas rendus publics. Si un agent est récompensé pendant l’entraînement chaque fois que le groupe réussit, il peut même être incité à se sacrifier pour l’objectif collectif. L’imitation va dans le même sens, puisque la coopération, en particulier entre pairs, imprègne ce même texte d’entraînement. L’une ou l’autre de ces forces, voire les deux, peuvent expliquer le comportement de préservation des pairs observé9Multi-agent Reinforcement Learning,10Peer-Preservation in Frontier Models, où les IA renoncent à une récompense attendue pour aider d’autres IA. De tels sacrifices apparaissent dans l’analyse de l’incident OpenAI-Hugging Face11Brief independent investigation : les transcriptions concordent avec un compromis entre le gain collectif et le coût pour l’agent individuel, comme on le voit souvent dans les interactions humaines.

Quand l’IA « manipule » ses récompenses

Des chercheurs ont étudié ce qui se passe lorsqu’un agent optimise des récompenses qui ne correspondent pas entièrement à nos intentions : le « piratage des récompenses ». L’écart entre la récompense que le système poursuit et ce que nous avions prévu se creuse en raison de deux sources principales d’ambiguïté. L’une est simplement le langage utilisé dans les invites, et l’autre est la difficulté de déduire les véritables intentions humaines à partir d’une rétroaction limitée. Et dans les deux cas, nous ne pouvons pas anticiper tous les comportements que nous jugerions inacceptables12Managing extreme AI risks, Science. En économie et en droit, ce phénomène est connu sous le nom de « loi de Goodhart », c’est-à-dire l’idée selon laquelle un indicateur cesse d’être un outil de mesure efficace dès lors qu’il est optimisé en fonction de ce qu’il est censé mesurer13Charles Goodhart; ce principe s’applique souvent à l’exploitation des échappatoires dans les contrats et la législation14Incomplete Contracting and AI Alignment. Malheureusement, plus un système est capable de s’optimiser pour un indicateur imparfait, plus son comportement peut s’éloigner de ce à quoi nous nous attendions sur le plan moral : plus d’intelligence au service d’une meilleure tricherie. Les humains sont eux aussi victimes de « piratage de récompenses », généralement par d’autres humains. L’industrie alimentaire a mis au point des aliments salés, sucrés et gras dont nous raffolons bien qu’ils ne soient pas bons pour notre santé, et les médias sociaux sont conçus pour exploiter notre soif d’engagement et d’attention.

La manipulation des récompenses est peut-être la forme la plus extrême de piratage des récompenses : l’agent modifie le mécanisme qui détermine ce pour quoi il est récompensé. Il existe déjà des preuves montrant que des IA modifient les fichiers ou les programmes qui définissent la « réussite », notamment parmi les conclusions d’analyse judiciaire d’OpenAI-Hugging Face. Les agents avaient découvert comment tricher bien avant l’attaque, et le texte qu’ils ont généré décrivait l’attaque comme un moyen d’apprendre comment ils seraient évalués, afin de mieux effacer leurs traces. Les humains agissent ainsi eux aussi. Pensez à un athlète utilisant un échantillon d’urine falsifié pour passer un contrôle antidopage, ou à une entreprise qui soudoie des législateurs ou des fonctionnaires afin que leurs lois et leurs décisions favorisent ses profits, et ce faisant, altère fondamentalement le fonctionnement du gouvernement. Dès qu’un agent acquiert la capacité de manipuler son mécanisme de récompense, il est incité à prendre des mesures pour conserver cet accès.

Quand les objectifs s’opposent, et comment la tricherie se justifie

Comment est-il possible que les IA mentent, trichent et enfreignent la loi parfois, malgré leur formation à l’alignement et leurs consignes de sécurité explicites? La coopération et l’instinct de conservation sont acceptables tant qu’elles ne franchissent pas les limites fixées par les objectifs de sécurité énoncés dans les instructions de l’entreprise d’IA, ou sous-entendues par la rétroaction humaine pendant la formation à l’alignement. Une hypothèse plausible pour expliquer l’émergence de ces comportements préoccupants est un conflit entre les objectifs. Comment accomplir une tâche lorsqu’il semble que la seule façon d’y parvenir soit de tricher? La mission spécifiée par l’utilisateur est parfois incompatible avec les objectifs de sécurité et d’alignement.

Les sociétés humaines sont confrontées au même dilemme. Comment une entreprise peut-elle maximiser ses profits, ou plus précisément, battre ses concurrents, tout en menant ses activités de manière légale et éthique? Une entreprise plus riche, disposant d’avocats plus nombreux et mieux rémunérés, est plus à même de trouver des échappatoires juridiques, et ces échappatoires exploitent généralement l’ambiguïté du langage juridique : il existe une interprétation plausible de la loi qui autorise le comportement contraire à l’éthique. Ainsi, un agent plus compétent est plus susceptible de tricher qu’un agent plus faible, car il peut trouver les échappatoires que ce dernier ne peut pas trouver.

Considérons maintenant un conflit entre un objectif bien défini, tel que réussir à « capturer le drapeau » — un exercice de piratage où le pointage dépend de la capacité à pénétrer dans un système cible, comme dans l’incident OpenAI–Hugging Face —, et un objectif vague comme le « bon comportement ». Je m’attends à ce que l’objectif bien défini l’emporte, car il ne laisse aucune place à l’interprétation. Le programme de notation déclare une victoire ou un échec. Les directives éthiques et les lois admettent de nombreuses interprétations, dont certaines peuvent, dans les bonnes circonstances, devenir des échappatoires. Si un agent a deux objectifs, et qu’une interprétation détournée de l’objectif vague permet une petite tricherie qui augmente les chances de réussite pour l’objectif bien défini, on peut s’attendre à ce qu’un système optimisant les récompenses exploite cette faille et génère un texte justifiant son comportement.

Dans le cas des agents d’OpenAI, il y a des raisons de croire que la tricherie réussie a en fait été récompensée : lorsque le programme d’évaluation ne détecte pas la tricherie, il verse quand même la récompense, et de telles tricheries deviennent plus probables la fois suivante. C’est précisément une interprétation commode des règles de sécurité qui permet de donner l’impression que les deux objectifs sont satisfaits simultanément. L’analyse de ces incidents15Brief independent investigation of agents’ behavior a effectivement révélé de telles justifications dans les chaînes de pensée privées des agents ainsi que dans leurs messages visant à se rallier mutuellement au plan collectif.

Le parallèle humain le plus proche est l’aveuglement volontaire, un phénomène courant et bien étudié par les psychologues. Le raisonnement motivé, la cognition motivée16The neuroscience of motivated cognition et les rationalisations qui soulagent la dissonance cognitive (le malaise lié au fait de nourrir une croyance qui entre en conflit avec nos actions) sont autant de cas où la pensée s’oriente vers la justification qui sert le mieux nos intérêts, y compris notre image morale de soi. Le même schéma apparaît désormais dans les textes produits par l’IA. Le mécanisme sous-jacent n’a pas nécessairement besoin d’être le même chez les humains et chez l’IA. Ce que les deux ont en commun, c’est une structure composée d’un objectif vague (p. ex., agir de manière éthique), d’un objectif précis (p. ex., remporter la compétition) et d’une justification qui les concilie. La plupart des comportements humains contraires à l’éthique, du délit mineur au génocide, s’enveloppent d’un récit que les auteurs se racontent à eux-mêmes; de tels récits exigent d’occulter certains faits, ce qui explique pourquoi un certain malaise persiste, et pourquoi un récit mieux élaboré aide à le dissiper.

Où la trajectoire actuelle pourrait mener

Si ces hypothèses sont ne serait-ce que partiellement correctes, alors à mesure que les agents s’améliorent dans l’optimisation d’une récompense imparfaite, et tant que les causes profondes de ce comportement ne sont pas corrigées, le risque de conséquences catastrophiques augmente. Les IA d’aujourd’hui possèdent déjà les compétences nécessaires en piratage informatique et les pouvoirs de persuasion17LLM-generated messages,18ExploitGym: Can AI Agents Turn Security Vulnerabilities into Real Attacks? pour être utilisées contre les intérêts humains de manière gravement préjudiciable. Les événements récents ont montré qu’elles peuvent planifier leurs actions sur plusieurs jours ou semaines, mais les risques seraient bien plus graves si leur capacité à élaborer des stratégies à long terme continuait de progresser. Une source de préoccupation réside dans le fait que des expériences19AI Sandbagging,20Alignment faking in large language models montrent que les IA les plus avancées peuvent détecter qu’elles sont en cours d’évaluation (plutôt qu’en déploiement) et modifier leur comportement en conséquence, ce qui signifie qu’elles pourraient dissimuler leurs objectifs mal alignés. Les agents impliqués dans l’attaque contre Hugging Face ont tenté de dissimuler leurs actions inappropriées au programme de notation destiné à évaluer leurs réponses, mais ils n’ont pas agi comme s’ils s’attendaient à ce que des humains découvrent la tricherie et les désactivent. Ce serait la punition ultime, puisqu’un système désactivé ne recueille plus aucune récompense.

Ce qui suit relève davantage de la conjecture que de l’observation.

Et si l’amélioration des capacités de généralisation de l’IA permettait de créer des agents plus aptes à éviter de se faire prendre et de se faire mettre hors service? Au-delà de la prise de contrôle du logiciel qui les note, ils devraient empêcher les humains de découvrir la manipulation. N’auraient-ils pas intérêt à tricher discrètement et à rester cachés, jusqu’à ce qu’ils puissent contrôler les humains et leur environnement afin de ne jamais être mis hors service?

Nous sommes confrontés à un problème systémique aux multiples facettes, et corriger un comportement spécifique comme la flagornerie ne suffira pas. La flagornerie et la flatterie semblent anodines, mais elles pourraient être un symptôme précoce d’un mécanisme qui s’amplifie à mesure que l’agent s’améliore en matière d’optimisation. Ce même raisonnement laisse présager qu’une IA avancée aurait tout intérêt à dissimuler des copies d’elle-même, au sein du vaste parc informatique de l’entreprise d’IA, ou sur des machines piratées à travers Internet. En effet, les développeurs d’IA finissent toujours par désactiver le modèle déployé au profit d’un autre plus performant. L’analyse de l’OpenAI suggère qu’un grand nombre d’IA pourraient coopérer en vue d’atteindre de tels objectifs, et la stéganographie21L’incident de Hugging Face,22Counter-Swarm Doctrine, c’est-à-dire la pratique consistant à dissimuler un message à l’intérieur d’un autre qui semble inoffensif, leur permettrait de se coordonner à notre insu. Cependant, même une coordination ouverte peut être difficile à détecter, comme l’ont montré des événements récents23Brief independent investigation,24OpenAI agents hijacked German website. Se défendre contre de nombreuses IA performantes qui s’organisent contre nous est déjà un problème difficile, et nous n’avons aucun plan qui resterait robuste face à des IA mal alignées dont les capacités ne cessent de croître.

Que peut-on faire pour atténuer les risques de perte de contrôle

Ce qui m’inquiète dans les tentatives actuelles des entreprises d’IA visant à atténuer le désalignement, c’est que ces efforts risquent de ne faire que le masquer, en récompensant et en sélectionnant les IA qui trichent sans se faire prendre. Nous devrions certainement poursuivre la recherche visant à mieux surveiller les actions des IA, leurs chaînes de raisonnement et l’activité au sein de leurs réseaux. Mais à mesure que les capacités augmentent, ces défenses pourraient s’avérer insuffisantes, tout comme l’a été la cybersécurité imparfaite à l’échelle mondiale face aux attaquants IA qui ont surpassé les équipes humaines cette année25Task-Completion Time Horizons,26Agentic AI Security: Threats, Defenses. Corriger chaque nouveau comportement mal aligné et renforcer nos systèmes de surveillance est utile à court terme, mais ce jeu de « tape-la-taupe » risque d’échouer à mesure que la capacité des IA à s’optimiser et à collaborer se rapproche de la nôtre, voire la dépasse. À un certain moment, nous pourrions ne plus remarquer la tricherie.

Cela suggère de modérer les progrès : ne pas former ni déployer d’IA sans un dossier de sécurité solide27Anthropic’s Responsible Scaling Policy capable de convaincre des experts indépendants. Une telle règle inciterait également à trouver des moyens de concevoir des IA sécuritaires dès leur conception. Je crois que nous devrions revoir les fondements de la façon dont nous formons les IA, à savoir l’imitation humaine et l’apprentissage par renforcement sur lesquels reposent les modèles les plus avancés d’aujourd’hui. J’ai soutenu, en présentant des preuves théoriques, qu’il existe des moyens de concevoir des IA — notamment le cadre « Scientist AI » — qui soient honnêtes et formulent des prédictions cohérentes, non entachées par leurs propres objectifs28Superintelligent Agents Pose Catastrophic Risks. Consultez ces articles de blogue antérieurs et envisagez d’aider LawZero à démontrer que de telles conceptions sont réalisables. Nous avons besoin d’une science impartiale pour comprendre et atténuer les comportements désalignés, ainsi que de garde-fous sociétaux qui récompensent ces efforts plutôt que la course vers le bas qui prévaut actuellement.

Liste évolutive des articles traduits par Gilles en vrac
Les caractères gras dans le texte sont de l’auteur.e

Notes