\n\n\n\n
Supposons que vous entendiez parler d’un nouvel agent IA capable d’am\u00e9liorer la productivit\u00e9, en effectuant des achats, en \u00e9crivant du code, en envoyant des e-mails ou en traitant avec un client \u00e0 votre place. Devriez-vous lui faire confiance ? Cet agent peut-il accomplir cette t\u00e2che de mani\u00e8re suffisamment fiable ? Apr\u00e8s tout, il existe de nombreuses<\/a> histoires horribles<\/a> concernant<\/a> des agents qui ont mal tourn\u00e9.<\/p>\n\n\n\n \u00c9tonnamment, m\u00eame si le manque de fiabilit\u00e9 des agents IA est bien connu, l’industrie de l’IA ne dispose actuellement d’aucun outil efficace pour mesurer la fiabilit\u00e9, ni m\u00eame d’une bonne d\u00e9finition de la fiabilit\u00e9.<\/p>\n\n\n\n Arvind et Sayash r\u00e9fl\u00e9chissent depuis longtemps \u00e0 cette question. L’automne dernier, nous avons \u00e9t\u00e9 rejoints par le chercheur postdoctoral Stephan Rabanser<\/a>, dont la th\u00e8se de doctorat portait sur la question de la fiabilit\u00e9 dans des syst\u00e8mes d’IA plus simples et plus traditionnels. Nous avons recrut\u00e9 quelques autres chercheurs ind\u00e9pendants et avons publi\u00e9 ce que nous esp\u00e9rons \u00eatre une mesure compl\u00e8te de la fiabilit\u00e9. Notre projet de document s’intitule \u00ab Vers une science de la fiabilit\u00e9 des agents IA<\/a> \u00bb.<\/p>\n\n\n\n Nous avons emprunt\u00e9 des id\u00e9es \u00e0 de nombreux autres domaines, tels que la s\u00e9curit\u00e9 nucl\u00e9aire et a\u00e9ronautique. Nous avons pu d\u00e9composer la fiabilit\u00e9 en 12 dimensions diff\u00e9rentes. En \u00e9valuant 14 mod\u00e8les sur deux benchmarks compl\u00e9mentaires, nous avons constat\u00e9 que pr\u00e8s de deux ans de progr\u00e8s rapides en mati\u00e8re de capacit\u00e9s n’ont produit que des gains modestes en termes de fiabilit\u00e9. Consultez notre tableau de bord interactif ici<\/a>. <\/p>\n\n\n\n Bien que nos conclusions soient provisoires \u00e0 ce stade, nous esp\u00e9rons qu’elles pourront aider \u00e0 expliquer la perplexit\u00e9<\/a> de nombreux acteurs du secteur quant \u00e0 la raison pour laquelle les agents IA ont eu un impact \u00e9conomique progressif, alors m\u00eame qu’ils pulv\u00e9risent les benchmarks de capacit\u00e9.1<\/a><\/sup>Bien s\u00fbr, ce n’est pas le seul facteur. Les benchmarks continuent de se heurter<\/a> \u00e0 la contamination des donn\u00e9es, ce qui peut les amener \u00e0 surestimer les progr\u00e8s en mati\u00e8re de capacit\u00e9s. AI as Normal Technology<\/a> fournit un cadre utile pour comprendre les obstacles entre les progr\u00e8s en mati\u00e8re de capacit\u00e9s et les impacts \u00e9conomiques. La fiabilit\u00e9 rel\u00e8ve de la phase des produits\/applications. Les facteurs humains, sociaux et organisationnels se situent en aval. Pour une \u00e9tude de cas sur la gravit\u00e9 de ces facteurs, consultez notre r\u00e9cent essai AI Won’t Automatically Make Legal Services Cheaper<\/a>.<\/span> Afin d’aider la communaut\u00e9 \u00e0 suivre syst\u00e9matiquement la fiabilit\u00e9, nous pr\u00e9voyons de lancer un \u00ab indice de fiabilit\u00e9 \u00bb des agents IA. Nous esp\u00e9rons que cela incitera les chercheurs et les acteurs du secteur \u00e0 investir des efforts dans l’am\u00e9lioration de la fiabilit\u00e9.<\/p>\n\n\n\n Lorsque nous consid\u00e9rons qu’un coll\u00e8gue est fiable, nous ne voulons pas seulement dire qu’il fait bien son travail la plupart du temps. Nous voulons dire quelque chose de plus riche : malheureusement, les agents IA sont \u00e9valu\u00e9s sur la base d’un seul chiffre, le taux de r\u00e9ussite moyen dans la t\u00e2che. Ce chiffre a augment\u00e9 rapidement pour de nombreuses t\u00e2ches au cours des deux derni\u00e8res ann\u00e9es, ce qui explique l’engouement pour le d\u00e9ploiement d’agents.<\/p>\n\n\n\n Les domaines d’ing\u00e9nierie o\u00f9 la s\u00e9curit\u00e9 est cruciale (aviation, nucl\u00e9aire, automobile) ont compris il y a des d\u00e9cennies que la fiabilit\u00e9 n’est pas la m\u00eame chose que la performance moyenne. Ces domaines ont converg\u00e9 ind\u00e9pendamment vers les quatre dimensions suivantes : coh\u00e9rence, robustesse, pr\u00e9visibilit\u00e9 et s\u00e9curit\u00e9 (fr\u00e9quence et gravit\u00e9 des d\u00e9faillances).<\/p>\n\n\n\n Par exemple, les syst\u00e8mes de protection des r\u00e9acteurs nucl\u00e9aires doivent r\u00e9agir de mani\u00e8re identique<\/a> chaque fois que les conditions justifient un arr\u00eat. Les tests de s\u00e9curit\u00e9 automobile \u00e9valuent les r\u00e9ponses aux d\u00e9faillances des capteurs<\/a> et aux conditions m\u00e9t\u00e9orologiques d\u00e9favorables. L’\u00e9valuation des risques nucl\u00e9aires mod\u00e9lise des milliers de modes de d\u00e9faillance et quantifie leurs probabilit\u00e9s<\/a>. L’aviation vise une erreur catastrophique par milliard d’heures de vol<\/a>.<\/p>\n\n\n\n Nous avons affin\u00e9 et d\u00e9compos\u00e9 ces quatre dimensions de haut niveau en douze indicateurs. Nous avons ensuite test\u00e9 des agents sur la base de 14 mod\u00e8les provenant d’OpenAI, de Google et d’Anthropic, couvrant 18 mois de publications. Nous avons examin\u00e9 deux benchmarks compl\u00e9mentaires : un benchmark d’assistant g\u00e9n\u00e9ral <\/strong>(GAIA) et un benchmark de simulation de service client<\/strong> (TauBench). Nous avons ex\u00e9cut\u00e9 chaque t\u00e2che cinq fois, avec des instructions paraphras\u00e9es. Nous avons introduit des d\u00e9fauts dans les outils et l’environnement afin de mesurer la robustesse face \u00e0 de telles d\u00e9faillances, et nous avons \u00e9valu\u00e9 la confiance des agents dans la r\u00e9solution de la t\u00e2che afin de mesurer l’\u00e9talonnage. Au total, nous avons ex\u00e9cut\u00e9 500 benchmarks.<\/p>\n\n\n\n Nous avons constat\u00e9 que la fiabilit\u00e9 n’avait que modestement progress\u00e9<\/strong> en 18 mois, tandis que la pr\u00e9cision<\/strong> s’\u00e9tait consid\u00e9rablement am\u00e9lior\u00e9e<\/strong>. Les trois principaux fournisseurs se regroupent, ce qui semble indiquer une limitation \u00e0 l’\u00e9chelle du secteur (m\u00eame si, dans certains cas, les mod\u00e8les d’Anthropic surpassent ceux d’OpenAI et de Google).<\/p>\n\n\n\n Plus pr\u00e9cis\u00e9ment, nous avons mesur\u00e9 les crit\u00e8res suivants :<\/p>\n\n\n\n Nous pensons que la fiabilit\u00e9 est en retard par rapport \u00e0 la capacit\u00e9 et qu’elle restera un obstacle au d\u00e9ploiement tant que les chercheurs et les d\u00e9veloppeurs ne concentreront pas leurs efforts sur l’am\u00e9lioration de la fiabilit\u00e9 en tant que dimension distincte de la pr\u00e9cision. Il y a trois raisons pour lesquelles nous pourrions nous tromper.<\/p>\n\n\n\n Premi\u00e8rement, nos dimensions et nos mesures comportent une certaine subjectivit\u00e9. Nous avons essay\u00e9 de minimiser cela en fondant notre analyse sur les domaines d’ing\u00e9nierie existants. Et nous avons finalis\u00e9 notre liste de mesures avant de<\/em> r\u00e9aliser nos exp\u00e9riences, afin d’\u00e9viter que notre hypoth\u00e8se sur la lenteur des progr\u00e8s en mati\u00e8re de fiabilit\u00e9 n’influence notre s\u00e9lection de mesures. N\u00e9anmoins, nous invitons d’autres chercheurs \u00e0 proposer d’autres moyens de mesurer la fiabilit\u00e9, et soulignons que nos conclusions sont provisoires \u00e0 ce stade.<\/strong><\/p>\n\n\n\n Deuxi\u00e8mement, la fiabilit\u00e9 n’aura peut-\u00eatre pas d’importance si la pr\u00e9cision est suffisamment \u00e9lev\u00e9e. Nos mesures sont soigneusement \u00e9labor\u00e9es afin que les gains de pr\u00e9cision ne se traduisent pas automatiquement par des gains de fiabilit\u00e9. D’une mani\u00e8re g\u00e9n\u00e9rale, la pr\u00e9cision concerne le taux d’\u00e9checs, tandis que la fiabilit\u00e9 concerne la nature des \u00e9checs. Mais si un agent est pr\u00e9cis \u00e0 99 %, nous pouvons peut-\u00eatre tol\u00e9rer 1 % d’erreur, m\u00eame si celle-ci est totalement impr\u00e9visible. Nous ne sommes pas d’accord. Nous estimons que pour un fonctionnement autonome dans des contextes \u00e0 haut risque, nous avons besoin d’une performance de 3 \u00e0 5 \u00ab neuf \u00bb (une pr\u00e9cision de 99,9 % \u00e0 99,999 %) afin que la fiabilit\u00e9 ne soit plus un probl\u00e8me, et nous ne pensons pas que les agents bas\u00e9s sur le LLM soient en passe d’atteindre un tel seuil. Mais seul le temps nous le dira.<\/p>\n\n\n\n Troisi\u00e8mement, le fait que les progr\u00e8s en mati\u00e8re de fiabilit\u00e9 soient plus lents que ceux en mati\u00e8re de pr\u00e9cision ne signifie pas n\u00e9cessairement qu’ils soient lents en termes absolus. Si nous extrapolons la tendance lin\u00e9aire actuelle, les agents atteindront une fiabilit\u00e9 de 100 % en seulement trois ans ! Nous ne pensons pas qu’un mod\u00e8le lin\u00e9aire soit pertinent, en partie parce que nous nous attendons \u00e0 ce que chaque diminution d’un ordre de grandeur de la non-fiabilit\u00e9<\/em> (1-fiabilit\u00e9) soit aussi difficile que la pr\u00e9c\u00e9dente. Autrement dit, nous pensons que le passage d’une fiabilit\u00e9 de 90 % \u00e0 99 % sera aussi difficile que le passage d’une fiabilit\u00e9 de 99 % \u00e0 99,9 %, et ainsi de suite. Mais l\u00e0 encore, il faut attendre pour voir.<\/p>\n\n\n\n Supposons que nous ayons raison. Cela a des implications importantes pour les d\u00e9ployeurs, les chercheurs et les d\u00e9veloppeurs, ainsi que pour ceux qui suivent le rythme des progr\u00e8s de l’IA. Examinons chacune d’entre elles tour \u00e0 tour.<\/p>\n\n\n\n Distinguer clairement l’automatisation de l’augmentation<\/strong>. Un assistant de codage qui sugg\u00e8re parfois des noms de variables erron\u00e9s est aga\u00e7ant ; un agent autonome g\u00e9rant une usine industrielle produisant des r\u00e9sultats tr\u00e8s variables est inacceptable. La diff\u00e9rence r\u00e9side dans le fait que l’agent est utilis\u00e9 pour augmenter la cr\u00e9ativit\u00e9 humaine ou pour prendre directement des d\u00e9cisions. Les outils d’augmentation (copilotes, assistants de recherche) b\u00e9n\u00e9ficient d’une \u00ab remise \u00bb sur la fiabilit\u00e9, car quelqu’un v\u00e9rifie le r\u00e9sultat. Dans certains cas<\/strong> d’utilisation de l’augmentation, la fiabilit\u00e9 peut en fait \u00eatre ind\u00e9sirable<\/strong>. Par exemple, un assistant de r\u00e9daction cr\u00e9atif<\/strong> qui produirait toujours la m\u00eame histoire serait tr\u00e8s mauvais dans son travail.<\/p>\n\n\n\n Soit dit en passant, la qualit\u00e9 de la collaboration entre les agents et les humains est malheureusement sous-th\u00e9oris\u00e9e et sous-\u00e9valu\u00e9e. Il existe quelques travaux pr\u00e9liminaires sur l’\u00e9valuation de l’interaction entre les humains et les mod\u00e8les de langage (evaluatinghuman-LM<\/a>), mais ces deux initiatives sont ant\u00e9rieures aux agents autonomes, et nous n’avons connaissance d’aucun travail \u00e9quivalent \u00e9tudiant la mani\u00e8re dont les agents collaborent avec les humains dans le cadre de t\u00e2ches en plusieurs \u00e9tapes. Les \u00e9tudes Uplift offrent une perspective utile, mais un effort plus large ax\u00e9 sur les agents s’impose depuis longtemps.<\/p>\n\n\n\n Tenir compte de la fiabilit\u00e9 pour prendre des d\u00e9cisions de mise en production<\/strong>. Pour les outils d’automatisation (workflows sans surveillance, bots en contact avec la client\u00e8le), la fiabilit\u00e9 est non n\u00e9gociable. Les d\u00e9ployeurs devraient envisager d’exiger des seuils de fiabilit\u00e9<\/strong> avant de passer du bac \u00e0 sable \u00e0 la production, de la m\u00eame mani\u00e8re que l’aviation exige une certification avant la mise en service<\/strong>. Il existe de nombreuses autres pratiques \u00e0 emprunter \u00e0 ces domaines, telles que la mise en place d’une culture de<\/a> signalement des<\/a> incidents<\/a> autour des d\u00e9faillances des agents.<\/p>\n\n\n\n Si les indicateurs que nous avons identifi\u00e9s sont globalement utiles comme point de d\u00e9part pour comprendre la fiabilit\u00e9, les d\u00e9ployeurs doivent \u00e9laborer leurs propres \u00e9valuations internes adapt\u00e9es \u00e0 leur contexte et \u00e0 leurs ensembles de donn\u00e9es sp\u00e9cifiques.<\/p>\n\n\n\n Les benchmarks stimulent les progr\u00e8s en mati\u00e8re d’IA. Il y a un an et demi, notre article AI Agents that Matter<\/a> montrait qu’il existait un \u00e9cart important entre ce que mesuraient les benchmarks des agents et ce qui importait dans la pratique. <\/strong>Notre nouvel article montre que cet \u00e9cart persiste. Pour rem\u00e9dier \u00e0 cette d\u00e9connexion, les pratiques d’\u00e9valuation et de d\u00e9veloppement de l’IA doivent changer de cap.<\/p>\n\n\n\n Mesurer la fiabilit\u00e9<\/strong>. L’approche actuelle consistant \u00e0 ex\u00e9cuter une fois un benchmark et \u00e0 rapporter le chiffre de pr\u00e9cision est une mesure de performance superficielle et peu approfondie. Elle est comparable \u00e0 un test de r\u00e9sistance effectu\u00e9 une seule fois sur une voiture par temps id\u00e9al et \u00e0 la d\u00e9claration de s\u00e9curit\u00e9 de celle-ci si elle r\u00e9ussit le test. Lors de l’\u00e9valuation des agents, nous devons les tester \u00e0 plusieurs reprises (pour v\u00e9rifier la variance des r\u00e9sultats), dans diff\u00e9rentes conditions (pour \u00e9valuer leur adaptabilit\u00e9) et de mani\u00e8re continue (en les testant \u00e0 nouveau \u00e0 mesure que les mod\u00e8les et les environnements changent). Nous recommandons de communiquer les profils de fiabilit\u00e9 en plus de la pr\u00e9cision, et non \u00e0 la place.<\/p>\n\n\n\n Comprendre et am\u00e9liorer la fiabilit\u00e9<\/strong>. Nos exp\u00e9riences sugg\u00e8rent que la coh\u00e9rence et la pr\u00e9visibilit\u00e9 sont les principaux \u00e9carts qui emp\u00eachent les mod\u00e8les d’\u00eatre plus fiables. Les d\u00e9veloppeurs d’agents devraient envisager d’am\u00e9liorer explicitement ces points faibles, \u00e9ventuellement par une optimisation cibl\u00e9e ou une am\u00e9lioration de la structure. En particulier, les agents devraient \u00eatre capables de reconna\u00eetre quand ils sont susceptibles d’\u00e9chouer et de le signaler, et de se r\u00e9tablir avec \u00e9l\u00e9gance lorsqu’ils \u00e9chouent. Parmi les id\u00e9es plus sp\u00e9culatives, on peut citer les agents qui explorent diff\u00e9rentes strat\u00e9gies pendant leur d\u00e9veloppement mais suivent un plan d’ex\u00e9cution coh\u00e9rent lorsqu’ils sont d\u00e9ploy\u00e9s, plut\u00f4t que de r\u00e9soudre la m\u00eame t\u00e2che diff\u00e9remment \u00e0 chaque fois, offrant ainsi simultan\u00e9ment le meilleur des agents et des flux de travail<\/a>.<\/p>\n\n\n\n L’\u00e9cart entre capacit\u00e9 et fiabilit\u00e9 pourrait \u00eatre l’une des raisons pour lesquelles nous ne constatons aucun des effets rapides sur le march\u00e9 du travail que l’intelligence artificielle g\u00e9n\u00e9rale \u00e9tait cens\u00e9e produire. Ce n’est pas la seule raison. Un r\u00e9cent rapport de<\/a> l’AISI britannique a identifi\u00e9 six obstacles \u00e0 l’AGI. Cependant, le rapport les a abord\u00e9s de mani\u00e8re tr\u00e8s g\u00e9n\u00e9rale.<\/p>\n\n\n\n Notre article peut \u00eatre consid\u00e9r\u00e9 comme une illustration concr\u00e8te de l’un de ces obstacles : la fiabilit\u00e9. Aucune des quatre dimensions que nous identifions ne peut \u00eatre consid\u00e9r\u00e9e comme r\u00e9solue \u00e0 l’heure actuelle, et seules deux des mesures individuelles, indiqu\u00e9es en vert dans la figure, peuvent \u00eatre consid\u00e9r\u00e9es comme (provisoirement) r\u00e9solues.<\/p>\n\n\n\n Il reste beaucoup \u00e0 faire pour pr\u00e9ciser les autres obstacles \u00e0 l’AGI, \u00e0 l’instar de notre analyse de la fiabilit\u00e9. Nous pensons que cela r\u00e9v\u00e9lera de nombreuses autres dimensions et mesures sur lesquelles les progr\u00e8s ont \u00e9t\u00e9 lents. La question \u00e0 un milliard de dollars est de savoir si les agents s’am\u00e9lioreront globalement gr\u00e2ce \u00e0 des m\u00e9thodes g\u00e9n\u00e9rales telles que la mise \u00e0 l’\u00e9chelle de l’inf\u00e9rence <\/strong>et l’apprentissage par renforcement<\/strong>, ou si un travail minutieux sera n\u00e9cessaire pour am\u00e9liorer les dimensions individuelles de la fiabilit\u00e9, de l’adaptabilit\u00e9, de l’originalit\u00e9, etc.<\/p>\n\n\n\n Abonnez-vous pour recevoir une analyse fond\u00e9e sur des preuves des d\u00e9veloppements de l’IA et de l’avenir de l’IA.<\/p>\n\n\n\n Les traductions de 2026<\/a> (.xlsx) \u2013 celles de 2025<\/a> \u2013 par Gilles en vrac<\/em> Quantifier l’\u00e9cart entre capacit\u00e9 et fiabilit\u00e9 Traduction de l’article New Paper: Towards a science of AI agent reliability par Sayash Kapoor et Arvind Narayanan, sur Substack, 24 f\u00e9vrier 2026. Supposons que vous entendiez parler d’un nouvel agent IA capable d’am\u00e9liorer la productivit\u00e9, en effectuant des achats, en \u00e9crivant du code, en envoyant des e-mails ou en traitant … <\/p>\n![\"\"](\"https:\/\/www.gillesenvrac.ca\/carnet\/wp-content\/uploads\/2026\/02\/reliability_AI-1200x722.jpg\")
Table des mati\u00e8res<\/h3>\n\n\n\n
\n
La pr\u00e9cision ne suffit pas : les quatre dimensions de la fiabilit\u00e9<\/h3>\n\n\n\n
\n
Les gains de capacit\u00e9 sont rapides, mais les am\u00e9liorations en mati\u00e8re de fiabilit\u00e9 sont modestes<\/h3>\n\n\n\n
\n
Pourquoi nous pourrions nous tromper<\/h3>\n\n\n\n
Que devraient faire diff\u00e9remment les d\u00e9ployeurs ?<\/h3>\n\n\n\n
Que devraient faire diff\u00e9remment les chercheurs et les d\u00e9veloppeurs ?<\/h3>\n\n\n\n
Que signifient nos conclusions pour les progr\u00e8s de l’IA ?<\/h3>\n\n\n\n
Les travaux futurs sur les autres obstacles \u00e0 l’AGI pourraient r\u00e9v\u00e9ler de nombreuses autres dimensions de performance qui doivent \u00eatre am\u00e9lior\u00e9es avant que les agents IA puissent \u00eatre largement d\u00e9ploy\u00e9s.<\/h2>\n\n\n\n
Lectures compl\u00e9mentaires<\/h3>\n\n\n\n
\n
\n\n\n\n
Les caract\u00e8res gras<\/strong> dans le texte sont de Gilles
Pour vous recevoir un courriel hebdomadaire<\/a> vers mes traductions.<\/p>\nNotes <\/h3>