Après avoir lu plusieurs articles récents et d’autres moins récents, ce dernier, paru hier, me semble le plus important : Vers une science de la fiabilité des IA, par les auteurs Kapoor et Narayanan d’un papier qui a fait beaucoup parler l’an dernier : AI as normal technology1ma traduction : L’IA, une technologie normale. Voir aussi leur article explicatif publié quelques mois plus tard : Un guide pour comprendre l’IA comme technologie normale
L’évolution de la fiabilité des systèmes IA ne semble pas aussi rapide que l’esbroufe entourant leur déploiement pourrait laisser croire.

À première vue, un indice de fiabilité qui atteint 80% semble intéressant si on n’est pas trop regardant sur la qualité des résultats… Ça me rappelle les résultats de Google quand on le questionnait et qu’il nous proposait un lien « Je suis chanceux »… Mais quand on parle d’utiliser ces outils dans des contextes décisionnels, critiques même, 80% c’est un mauvais résultats une fois sur cinq. Comme disent Kapoor et Narayanan, ce sera difficile d’atteindre les seuils nécessaires pour les contextes risqués :
Nous estimons que pour un fonctionnement autonome dans des contextes à haut risque, nous avons besoin d’une performance de 3 à 5 « neuf » (une précision de 99,9 % à 99,999 %) afin que la fiabilité ne soit plus un problème, et nous ne pensons pas que les agents basés sur le LLM soient en passe d’atteindre un tel seuil. (…) [N]ous pensons que le passage d’une fiabilité de 90 % à 99 % sera aussi difficile que le passage d’une fiabilité de 99 % à 99,9 %, et ainsi de suite.
C’est bien malheureux : nous ne pourrons nous débarrasser des directeurs généraux et des médecins et administrateurs d’hôpitaux de si tôt ! L’article de Leif Weatherby,2directeur du Digital Theory Lab à l’université de New York est rafraichissant par son humour.
L’adoption rapide de l’IA est entreprise dans le but de masquer sa véritable tendance, dans le but d’étendre le contrôle sur les cadres intermédiaires, en traçant la ligne de la prolétarisation juste en dessous de la direction générale, ou juste en dessous du niveau des vice-présidents.
(…) Je ne sais pas si l’automatisation implicite de l’exécutif offre un espoir pour un avenir socialiste, mais à un moment donné, il faut se demander si cela pourrait vraiment être pire que ce que nous avons actuellement. L’automatisation des postes de direction doit être tentante pour ceux d’entre nous qui n’ont jamais cru à la rationalité des managers. [les soulignements sont de Gilles]
Ce que Weatherby met en lumière c’est que ce ne sont pas que les postes de premier niveau qui sont à risque. Déjà certains postes de cadres et de professionnels (médecins, notamment) sont inscrits dans un « pipeline » de processus quasi-numérisés.
Avec l’essor d’un pipeline hautement technique, allant des essais contrôlés randomisés aux équipements de diagnostic, en passant par l’interprétation des données, le diagnostic et le traitement, nous avons atteint un point où un médecin peut être défini comme un interrupteur-humain permettant d’éviter les poursuites [liability-avoiding decision-switch]. (…) Pourquoi ne pas transférer les salaires manifestement absurdes des médecins et des administrateurs aux infirmières et aux assistants médicaux – qui effectuent le travail de soins et le reste du diagnostic pratique – et se débarrasser complètement des médecins humains, et surtout des administrateurs ?
Weatherby n’est pas sérieux quand il dit cela. Mais ça rejoint ce que je disais il y a 8 jours, et non sur un ton humoristique, dans Où nous mène l’IA ? Au ciel ou en enfer ? :
Mais est-ce qu’on n’a pas déjà des robots, comme ces médecins spécialistes concentrés sur des champs très limités et orientés vers la production en quantité de diagnostics et d’interventions ? Déjà le médecin généraliste qui te reçoit sans même te regarder, ni te toucher, et qui n’a d’yeux que pour son écran et ses résultats d’examens… on pourrait tout aussi bien faire affaire avec une machine, non ?
On peut se rassurer en se disant que les professionnels et les administrateurs ne prendront pas le risque de confier des décisions critiques à des machines, avec de telles fiabilités. Mais les machines sont déjà présentes dans les bureaux, cliniques et labos. Et, malheureusement, il semble que les décisions prisent par l’IA seule soient meilleurs que celles de l’humain assisté de l’IA ! L’entretien de Azeem Azhar avec quatre utilisateurs de l’IA dont un médecin est… inquiétante.
Plusieurs études comparent actuellement l’IA seule à l’IA associée à des médecins, sur différents types de performances cliniques. Et l’IA [seule] a obtenu de meilleurs résultats que les médecins associés à l’IA. Ce n’était pas prévu. Tout était censé être hybride.
Alors, si on maintien le professionnel dans l’équation, cela abaisse les résultats ! Ou bien on pousse vers l’acceptabilité de l’interaction directe de l’ordinateur avec le client, sans intermédiaire humain décisionnel, ou bien on abandonne l’usage de l’IA. Que pensez-vous qu’il va se passer ? Azham et ses invités expliquent un tel résultats :
Les moins performants sont plus enclins à accepter les contributions de l’IA, tandis que les experts rejettent les bonnes contributions de l’IA. Et si vous étendez cela à un soutien agentique, c’est peut-être encore plus vrai. Nous ne savons toujours pas. Est-ce parce que les médecins ont un biais d’automatisation ? Est-ce parce qu’ils ne savent pas comment utiliser l’IA ? C’est vraiment flou pour l’instant.
On peut compter sur la capacité des corporations médicales à défendre les privilèges et l’estime, la reconnaissance sociale dont ils jouissent. Ils ne se laisseront pas facilement réduire à assister l’IA plutôt que l’inverse. Est-ce qu’on a notre mot à dire ici, collectivement comme citoyens ou individuellement comme client ? Ou bien ce sont des choses qui se décideront dans les officines de corporations professionnelles, technologiques et financières ?
On peut penser que le contexte, l’écosystème ou le « pipeline technologique » influenceront la manière dont les médecins s’approprieront ou utiliseront l’IA. Déjà le fonctionnement « à l’acte » a réduit la pratique en petites parcelles comptabilisables sans lien apparent avec la condition de vie du patient. Les professions médicales ont bataillé ferme, depuis longtemps, pour conserver ou étendre leur monopole sur certains actes, l’accès à certains traitements ou spécialistes. L’émergence d’un « consultant-IA » ne viendra-t-elle pas niveler le terrain avec d’autres para-professionnels ou professions ? À moins que les corporations médicales ne s’approprient et monopolisent l’usage de ces IA-consultants. Comme elles le font déjà pour les produits pharmaceutiques.
De telles perspectives apparaissent « naturelles ». Elles ne font que suivre le sentier déjà ouvert, reconnaissant les rapports de force établis. Mais poursuivre les tendances actuelles, les usages dominants est-ce vraiment ce que l’on veut ? Il y a une dimension de performance, d’optimisation et d’accélération dans l’arrivée de l’IA qui devrait nous porter à prendre une pause. À en discuter un peu… Peut-être cette technologie nous permettrait-elle de changer de direction plutôt que de faire plus vite et moins cher ce qu’on fait déjà ?
Pour ne pas évaluer, puis implémenter l’IA comme du « business as usual », il faudrait qu’un certain sentiment d’urgence, justifiant une intention réformiste, un désir de changement.
Un changement saisissant l’irruption de l’IA comme une occasion de réviser nos processus, rééquilibrer les chances ou répartir les capitaux. Je n’ai pas encore lu attentivement les deux longs articles de Benanav bourrés de références (+150) mais je les ai parcouru suffisamment pour apprécier la complexité des solutions proposées par l’auteur pour planifier l’économie en fonction de valeurs plus globales que les seuls intérêts financiers des propriétaires des moyens de production. Tenir compte des conditions environnementales, des désirs et besoins des populations grâce à de nouvelles institutions, dont le remplacement de la monnaie par des crédits et des points.
Le débat sur l’utilisation des outils numériques pour planifier et remplacer ou encadrer l’influence du marché ne date pas d’hier. Comment fixer des prix justes ? Je cherche où je peux trouver cette référence aux débats des années 30-40 sur le « calcul socialiste ». Ça y est, c’est dans Digital Socialism de Evgeny Morozov, dans un New Left Review de 2019 (ma traduction : Socialisme numérique ?). Dans un billet de 2020 je disais :
Dans un article de juin 2019, publié par la New Left Review, Digital Socialism, Morozov relate les débats des années 30-40 entre Hayek et les tenants de la planification socialiste… mais aussi met en lumière les possibilités des technologies pour une planification démocratique et décentralisée, chose qui n’était pas possible à l’époque. Déjà, dans Le Monde diplomatique de décembre 2016, avec Pour un populisme numérique (de gauche), Morozov défendait l’idée que les « données personnelles » qu’utilisent à leur profit les Amazon et Facebook de ce monde devraient être du domaine public, et à ce titre être accessibles, utilisables par tous. Avec Digital Socialism, il pousse un peu plus loin en promouvant la « socialisation des moyens de rétroaction ». La planification et la coordination sociales n’ont plus à être soit centralisées ou laissées au marché, elles peuvent être décentralisées grâce aux nouvelles technologies.
Autour de Morozov, 16 janvier 2020
Dans son Socialism after AI (Le socialisme après l’IA) publié en décembre dernier, Morozov répète son mantra de l’expérimentation décentralisée entre les mains des citoyens, des coops, des cliniques :
[Des] projets d’IA municipaux, coopératifs et basés sur des mouvements, chacun avec ses propres priorités. Une administration municipale pourrait maintenir des modèles ouverts formés à partir de documents publics et de connaissances locales, intégrés dans les écoles, les cliniques et les bureaux du logement selon des règles fixées par les résidents.
N’est-ce pas ce que souhaitent les thuriféraires de l’IA, comme le rêve tout haut un des fondateurs d’Anthropic, Jack Clark en conversation avec Ezra Klein : À quelle vitesse les agents IA vont-ils bouleverser l’économie ? Bon, sans doute se pose la question de la propriété de ces modèles d’IA. Je n’ai pas encore entendu les propriétaires de l’IA proposer de donner leurs modèles aux municipalités…3Mais les modèles chinois ne sont-ils pas ouverts ? GB Le monde rêvé par ces vendeurs de quincaillerie IA s’adresse à des clients, individuels ou corporatifs… les outils qu’ils promettent vont leur faciliter la vie, les rendre plus productifs, plus profitables. Et non plus justes ou plus équitables, ce serait changer les règles du jeu !
Ce que Shapiro met en relief dans son texte récent (La prochaine grande transformation) c’est la dimension sociale, l’inscription, le réencastrement dans la société d’une économie saine. L’Occident a « gagné la guerre froide » grâce à ses programmes sociaux et l’État providence. Pourtant la fin de la guerre froide a coïncidé avec le démantèlement ou à tout le moins l’affaiblissement dudit État-providence, au profit d’un capital de moins en moins ancré, de plus en plus volatile… et concentré.
C’était aussi, un peu, ce que soulignait Farrell dans son IA est une technologie sociale, qui répondait à l’assertion de Kapoor et Narayanan qui, quant à eux, défendaient une conception de l’IA comme une technologie normale. Cette technologie n’est pas miraculeuse, et elle aura besoin de s’inscrire dans des contextes technologiques et sociaux particuliers pour être utilisée. Des contextes qui, pour l’instant, sont dominés par une culture compétitive, guerrière et identitaire.
Les mécanismes de rétroaction, que Morozov souhaitait socialiser (en 2019, dans Socialisme numérique ?), en obligeant les Big Data à partager au moins une partie de leurs données et analyses, sont devenus l’IA, en 2025, dont Morozov souhaite décentraliser, démocratiser l’accès (dans Le socialisme après l’IA). Mais pourquoi l’IA serait-elle plus partageable, démocratisable que les infrastructures de rétroaction numériques en 2019 ou encore les centres de données (Socialize the Data Centres), en 2015 ? Les mêmes principes de fonctionnement décentralisé assurant le maximum de liberté aux unités de base traversent les écrits et travaux4Autour de Stafford Beer – The Santiago Boys; Evgeny Morozov: We Need a Nonmarket Modernist Project [Jacobin] de Morozov. Mais la stratégie pour mettre en oeuvre de telles idées généreuses est mince, pour ne pas dire inexistante.
J’ai relu, après l’avoir traduit, le texte de 2019, pour mieux comprendre celui de 2025… Je vais relire la critique menée par Benanav de la position de Morozov (Une véritable économie politique de la technologie – Une réfutation de Morozov), pour déterminer si je dois lire, enfin, les deux longs textes de Benanav (Au delà du capitalisme — 1 et Au delà du capitalisme — 2) dont je n’ai pour l’instant que parcouru les paragraphes pour mieux y insérer les quelques 150 notes de bas de page.
Je n’ai pas l’impression que l’utopie (« au delà ») élaborée par Benanav sera vraiment plus instructive sur les stratégies de mise en oeuvre…
Et puis, il y a le texte avec lequel je commençais ce billet, Vers une science de la fiabilité des IA que je devrais relire pour pondérer l’enthousiasme d’un Morozov.
Billets passés à sujets similaires
- licence de réciprocité et index social – 4 mars 2018
- IA n’est pas conscience – 7 mars 2018
- Autour de Morozov – 16 janvier 2020
Notes
- 1ma traduction : L’IA, une technologie normale. Voir aussi leur article explicatif publié quelques mois plus tard : Un guide pour comprendre l’IA comme technologie normale
- 2directeur du Digital Theory Lab à l’université de New York
- 3Mais les modèles chinois ne sont-ils pas ouverts ? GB
- 4Autour de Stafford Beer – The Santiago Boys; Evgeny Morozov: We Need a Nonmarket Modernist Project [Jacobin]















