Les LLM polyvalents surpassent les outils d'IA clinique spécialisés et les médecins dans les études comparatives

Des études comparatives montrent que les LLM polyvalents comme GPT-5.2, Gemini 3.1 Pro et Claude Opus 4.6 surpassent les outils d'IA clinique approuvés par la FDA et les médecins dans les tâches de raisonnement diagnostique. Les LLM adaptés à un domaine battent également des modèles génériques plus volumineux dans les tâches de recherche clinique, tandis que les systèmes agentiques ne montrent que des gains modestes. Les voies d'autorisation réglementaire n'ont pas encore abordé la performance comparative.

Des études comparatives publiées dans Nature Medicine et Science montrent que les grands modèles de langage (LLM) polyvalents surpassent à la fois les outils d'IA clinique approuvés par la FDA et les médecins dans les tâches de raisonnement diagnostique et clinique basées sur des cas. Dans une étude comparative de Nature Medicine publiée le 23 juin 2026, les modèles GPT-5.2 d'OpenAI, Gemini 3.1 Pro de Google et Claude Opus 4.6 d'Anthropic ont surpassé deux outils d'IA clinique spécialisés, OpenEvidence et UpToDate Expert AI de Wolters Kluwer, sur des questions soumises par des médecins en exercice. Les modèles polyvalents ont remporté tous les tests médicaux évalués, et aucun des outils approuvés n'a présenté d'avantage de performance sur les requêtes réelles et non structurées au point de soins.

Une autre étude publiée dans Science a montré qu'un grand modèle de langage d'OpenAI peut surpasser les médecins dans les évaluations de raisonnement diagnostique et clinique basées sur des cas, notamment une expérience utilisant des données réelles d'un service d'urgences de Boston. Le co-auteur principal de l'article a exprimé sa crainte que les expériences, toutes basées sur des cas simulés et historiques, puissent être interprétées à tort comme une preuve de la sécurité et de l'efficacité de l'IA lorsqu'elle est utilisée pour traiter de vrais patients.

Les résultats de Nature Medicine concordent avec une étude antérieure de juillet 2024 publiée dans le Journal of Medical Internet Research, dans laquelle ChatGPT avec GPT-4 a surpassé les médecins résidents des urgences en précision diagnostique sur 100 cas d'urgence en médecine interne, obtenant une précision supérieure à celle de GPT-3.5 et des médecins humains. Une ressource appelée TrialPanorama, décrite dans npj Digital Medicine, a agrégé 1,6 million de dossiers d'essais cliniques provenant de quinze registres mondiaux et a constitué 152 000 échantillons d'entraînement et de test couvrant huit tâches de recherche clinique. L'évaluation comparative des LLM de pointe sur ces tâches a révélé une capacité de raisonnement clinique limitée des LLM génériques, mais un LLM de 8 milliards de paramètres développé sur TrialPanorama par apprentissage supervisé fin et apprentissage par renforcement a surpassé les modèles génériques de 70 milliards de paramètres dans les huit tâches, avec des améliorations relatives de 73,7 %, 67,6 %, 38,4 %, 37,8 %, 26,5 %, 20,7 %, 20,0 %, 18,1 % et 5,2 %.

L'évaluation comparative des systèmes d'IA agentiques pour les tâches de décision clinique a montré des gains plus modestes. Une étude a évalué OpenManus, un système open source basé sur Llama-4 de Meta et enrichi d'agents médicalement personnalisés, ainsi que Manus, un système agentique propriétaire utilisant une architecture multitâche planificateur-exécuteur-vérificateur, sur AgentClinic, MedAgentsBench et Humanity's Last Exam (HLE). Malgré l'accès à des outils tels que la navigation web et l'exécution de code, les systèmes ont atteint 60,3 % et 28,0 % dans AgentClinic MedQA et MIMIC, 30,3 % sur MedAgentsBench et 8,6 % sur le texte HLE, avec une précision multimodale aussi faible que 15,5 % sur HLE multimodal et 29,2 % sur AgentClinic NEJM. Les demandes de ressources ont considérablement augmenté, avec une utilisation de jetons multipliée par plus de 10 et une latence plus de deux fois supérieure, et bien que 89,9 % des hallucinations aient été filtrées par les garde-fous intégrés aux agents, les hallucinations restaient fréquentes.

L'écart de performance entre les outils approuvés et non approuvés soulève des questions réglementaires. Une étude transversale analysée dans JAMA Health Forum a examiné 691 dispositifs d'IA et d'apprentissage automatique approuvés par la FDA entre septembre 1995 et juillet 2023 ; seuls 1,6 % de ces dispositifs ont rapporté des données d'essais contrôlés randomisés dans leur documentation de bénéfice-risque avant l'approbation, et moins de 30 % ont partagé des informations clés sur la sécurité et les événements indésirables avant l'autorisation. La FDA a publié une version révisée de ses recommandations sur les logiciels d'aide à la décision clinique le 29 janvier 2026, remplaçant la version précédente du 28 septembre 2022, et ses recommandations finales du 4 décembre 2024 sur les plans de contrôle des changements prédéterminés (PCCP) pour les fonctions logicielles des dispositifs activés par l'IA exigent des promoteurs qu'ils précisent à l'avance les types de modifications et les protocoles de test. Une lettre d'avertissement adressée le 10 février 2025 à Exer Labs pour son outil de diagnostic IA Exer Scan illustre une application de la réglementation ciblant les outils commercialisés sans autorisation.

L'adoption de l'IA en pratique clinique est déjà répandue : l'enquête 2024 de l'AMA auprès des médecins a révélé que 66 % des médecins utilisent actuellement l'IA dans leur pratique, contre 38 % en 2023, et 68 % ont déclaré percevoir un avantage certain des outils d'IA. Le document de réflexion 2024 de l'EMA sur l'IA/ML dans le développement clinique a adopté une approche par niveaux de risque, les outils à haut risque susceptibles d'influencer les critères d'évaluation principaux des essais ou la notification des événements de sécurité étant soumis à un examen plus approfondi, y compris des exigences de surveillance prospective des performances. L'évaluation mondiale 2024 de l'adoption de l'IA du Tufts Center for the Study of Drug Development, menée avec la Drug Information Association entre mai et août 2024, a constaté que l'adoption de solutions activées par l'IA dans le développement clinique s'accélère rapidement malgré l'absence de références standardisées de performance entre les fournisseurs.

Related Entities

Related Articles

References

  1. Benchmarking and developing large language models using one million clinical trials · nature.com
  2. Nature Medicine's June 2026 Benchmark Study Reveals General-Purpose LLMs ... · clinicaltrialvanguard.com
  3. The Specialized Clinical AI Trap: General-Purpose Chatbots Are Winning the Benchmark War · clinicaltrialvanguard.com
  4. Clinical large language model centered on electronic medical records | npj Digital Medicine · nature.com
  5. Large Language Model–Generated Patient Instructions for Prescriptions in Primary Health Care · jmir.org
  6. As artificial intelligence show off diagnostic chops, scientists reckon with the way forward · statnews.com
  7. Benchmarking large language model-based agent systems for clinical decision tasks · nature.com