Traduction de la conclusion (discussion) de l’article Performance of a large language model on the reasoning tasks of a physician, par Peter Brodeur et al. paru dans Science le 30 avril 2026.
Discussion
Nous avons évalué de manière systématique les capacités de raisonnement médical d’un modèle de langage de grande envergure (LLM) à travers six expériences distinctes, en comparant le modèle à des centaines de médecins experts. Dans l’ensemble, le modèle a surpassé les médecins dans toutes les expériences, y compris dans les cas utilisant des données cliniques réelles et non structurées extraites directement des dossiers médicaux d’un service d’urgence. Ces points de contact diagnostiques reflètent les décisions cruciales prises dans les services d’urgence, où les infirmiers et les cliniciens doivent faire des choix urgents avec des informations limitées. Nos résultats ont montré que les humains, GPT-4o et o1 ont tous amélioré leurs capacités de diagnostic à mesure que davantage d’informations étaient disponibles ; o1 a surpassé les humains à plusieurs points de contact, l‘écart le plus important étant observé lors du triage initial aux urgences, où les informations disponibles sont les plus limitées.
Le rythme rapide des progrès des LLM a des implications considérables pour la science et la pratique de la médecine clinique. Bien que l’utilisation de l’IA pour l’aide à la décision clinique soit parfois considérée comme une entreprise à haut risque, un recours accru à ces outils pourrait contribuer à atténuer les coûts humains et financiers liés aux erreurs de diagnostic, aux retards et au manque d’accès. Nos résultats suggèrent qu’il est urgent de mener des essais prospectifs pour évaluer ces technologies dans des contextes réels de soins aux patients et que les systèmes de santé doivent se préparer à investir dans des infrastructures informatiques et à concevoir des interactions entre cliniciens et IA susceptibles de faciliter l’intégration en toute sécurité des outils d’IA dans les flux de travail des soins aux patients. Cela inclut le développement de cadres de surveillance robustes pour superviser la mise en œuvre à plus grande échelle des systèmes d’aide à la décision clinique basés sur l’IA, en surveillant non seulement la précision du diagnostic final, mais aussi d’autres indicateurs essentiels à un déploiement réussi, notamment la sécurité, l’efficacité et le coût.1Et l’impact sur la compétence du personnel soignant qui risque de « perdre la main » en se fiant trop souvent à la recommandation de l’IA ? GB
Nous soulignons que notre étude porte uniquement sur les performances textuelles, tant pour les humains que pour les machines ; la médecine clinique est multiforme et regorge d’informations non textuelles, notamment auditives (telles que le niveau de détresse du patient) et visuelles (par exemple, l’interprétation des examens d’imagerie médicale) que les cliniciens utilisent couramment. Les études existantes suggèrent que les modèles de base actuels sont plus limités dans leur capacité de raisonnement sur les données non textuelles ; des travaux futurs sont nécessaires pour évaluer comment les humains et les machines peuvent collaborer efficacement dans l’utilisation de signaux non textuels. Cela nécessite de nouveaux benchmarks, essais et solutions technologiques pour mesurer plus fidèlement les consultations cliniques. Les investissements existants dans les scribes IA de plus en plus répandus et d’autres technologies de surveillance passive sont prometteurs pour servir de base à de telles investigations. De telles études pourraient aider à approfondir l’analyse d’une limitation importante des benchmarks existants de l’IA médicale, y compris plusieurs de ceux étudiés ici, à savoir leur dépendance à l’égard du travail minutieux des cliniciens pour sélectionner et « nettoyer » les cas, ainsi qu’à l’égard de questions initialement élaborées à des fins éducatives, ce qui peut donc surestimer les performances des modèles d’IA lorsqu’ils utilisent des données « désordonnées » disponibles dans des flux de travail cliniques plus réalistes.
Notre étude présente plusieurs limites. Premièrement, alors que certaines expériences ont été initialement menées dans le cadre d’une interaction homme-machine, notre étude actuelle ne rend compte que des performances des modèles et se concentre principalement sur la version préliminaire du modèle o1, qui a depuis été supplantée par des modèles plus récents (par exemple, le modèle o3 d’OpenAI). Bien que nous nous attendions à ce que les performances soient maintenues ou améliorées avec les modèles plus récents, des études supplémentaires devraient être menées pour élucider comment les performances varient d’un modèle à l’autre et pour étudier comment les humains et les LLM peuvent collaborer. Deuxièmement, notre étude n’a examiné que six aspects du raisonnement clinique ; les chercheurs ont identifié des dizaines d’autres tâches qui pourraient être étudiées et qui pourraient avoir un impact encore plus important sur les soins cliniques réels. Troisièmement, malgré le grand nombre et la grande variété de cas inclus dans notre étude, qui se concentrait sur la médecine interne et la médecine d’urgence, celle-ci n’est pas représentative de la pratique médicale au sens large, qui comprend de multiples spécialités nécessitant des compétences variées, telles que les décisions liées à la chirurgie. Les performances peuvent varier en fonction des diagnostics, des caractéristiques des patients ou des lieux d’exercice, qui n’ont pas été pris en compte dans cette étude. Quatrièmement, bien que les résultats de notre expérience en service d’urgence aient une validité apparente, la tâche que nous avons étudiée, à savoir fournir un deuxième avis à des moments prédéfinis, doit être considérée avant tout comme une validation de principe. Les décisions prises en service d’urgence sont souvent centrées sur le triage, l’orientation et la prise en charge immédiate, et non sur la précision diagnostique. Enfin, nous n’avons pas toujours constaté d’améliorations significatives des performances de o1 par rapport aux modèles précédents, par exemple dans les diagnostics cruciaux à ne pas manquer des cas Healer du NEJM et dans les cas diagnostiques de référence.
Dans l’ensemble, nos résultats montrent que les LLM affichent désormais des performances substantielles en matière de diagnostic différentiel, de raisonnement clinique diagnostique et de raisonnement de prise en charge, et surpassent à la fois les générations de modèles précédentes et même les cliniciens humains dans de multiples domaines. Ces mêmes gains de performance sont observés dans la fourniture de deuxièmes avis sur des cas médicaux réels et non structurés aux urgences, où les cliniciens doivent agir rapidement avec des informations limitées et souvent manquantes.
Il y a plus de 65 ans, Ledley et Lusted ont décrit la norme d’évaluation des capacités diagnostiques de l’IA. Le défi général qu’ils ont posé, consistant à raisonner sur des vignettes de cas cliniques complexes, a guidé le développement et l’évaluation des systèmes computationnels pendant une grande partie du siècle dernier. Nos résultats suggèrent que les LLM ont désormais surpassé la plupart des références en matière de raisonnement clinique, ce qui justifie le besoin urgent d’études sur l’interaction homme-machine et d’essais cliniques prospectifs afin d’évaluer rigoureusement le potentiel des systèmes d’IA à améliorer la pratique clinique et les résultats pour les patients.
Liste évolutive des traductions par Gilles en vrac
Les caractères gras dans le texte sont de Gilles.
Notes
- 1Et l’impact sur la compétence du personnel soignant qui risque de « perdre la main » en se fiant trop souvent à la recommandation de l’IA ? GB ↩︎