Allzweck-LLMs übertreffen spezialisierte klinische KI-Tools und Ärzte in Benchmark-Studien
Benchmark-Studien zeigen, dass Allzweck-LLMs wie GPT-5.2, Gemini 3.1 Pro und Claude Opus 4.6 bei Aufgaben zur diagnostischen Schlussfolgerung besser abschneiden als von der FDA zugelassene klinische KI-Tools und Ärzte. Domänenadaptierte LLMs übertreffen bei klinischen Forschungsaufgaben zudem größere generische Modelle, während agentische Systeme nur bescheidene Fortschritte zeigen. Die regulatorischen Zulassungswege haben die vergleichende Leistungsfähigkeit bislang nicht berücksichtigt.
In Head-to-Head-Studien, die in Nature Medicine und Science veröffentlicht wurden, zeigen Allzweck-Großsprachmodelle (LLMs), dass sie sowohl von der FDA zugelassene klinische KI-Tools als auch Ärztinnen und Ärzte bei fallbasierten diagnostischen und klinischen Denkaufgaben übertreffen. In einem am 23. Juni 2026 veröffentlichten Nature-Medicine-Benchmark übertrafen OpenAIs GPT-5.2, Googles Gemini 3.1 Pro und Anthropics Claude Opus 4.6 zwei spezialisierte klinische KI-Tools, OpenEvidence und Wolters Klouwers UpToDate Expert AI, bei Fragen, die von praktizierenden Ärztinnen und Ärzten eingereicht wurden. Die Allzweckmodelle gewannen bei jedem getesteten medizinischen Benchmark, und keines der zugelassenen Tools hatte einen Leistungsvorteil bei realen, unstrukturierten Point-of-Care-Abfragen.
Eine separate, in Science veröffentlichte Studie ergab, dass ein großes Sprachmodell von OpenAI Ärztinnen und Ärzte bei fallbasierten diagnostischen und klinischen Denkbewertungen übertreffen kann, einschließlich eines Experiments mit realen Daten aus einer Notaufnahme in Boston. Der Co-Seniorautor des Papers äußerte Besorgnis, dass die Experimente, die alle auf simulierten und historischen Fällen basieren, als Beweis für die Sicherheit und Wirksamkeit von KI bei der Behandlung realer Patienten fehlinterpretiert werden könnten.
Die Nature-Medicine-Ergebnisse decken sich mit einer früheren Studie vom Juli 2024 im Journal of Medical Internet Research, bei der ChatGPT mit GPT-4 die Assistenzärzte in der Notaufnahme bei 100 internistischen Notfallfällen hinsichtlich der diagnostischen Genauigkeit übertraf und eine bessere Genauigkeit erzielte als sowohl GPT-3.5 als auch die menschlichen Ärzte. Eine Ressource namens TrialPanorama, beschrieben in npj Digital Medicine, aggregierte 1,6 Millionen klinische Studiendatensätze aus fünfzehn globalen Registern und konstruierte 152.000 Trainings- und Teststichproben, die acht klinische Forschungsaufgaben umfassen. Das Benchmarking hochmoderner LLMs bei diesen Aufgaben zeigte eine begrenzte klinische Denkfähigkeit generischer LLMs, aber ein auf TrialPanorama entwickeltes 8B-LLM, das überwachtes Feintuning und Reinforcement Learning nutzte, übertraf generische 70B-Gegenstücke bei allen acht Aufgaben mit relativen Verbesserungen von 73,7 %, 67,6 %, 38,4 %, 37,8 %, 26,5 %, 20,7 %, 20,0 %, 18,1 % und 5,2 %.
Das Benchmarking agentischer KI-Systeme für klinische Entscheidungsaufgaben zeigte bescheidenere Fortschritte. Eine Studie bewertete das Open-Source-System OpenManus, das auf Metas Llama-4 basiert und mit medizinisch angepassten Agenten erweitert wurde, sowie Manus, ein proprietäres Agentensystem mit einer mehrstufigen Planner-Executor-Verifier-Architektur, über AgentClinic, MedAgentsBench und Humanity's Last Exam (HLE). Trotz Zugriffs auf Tools wie Websuche und Codeausführung erreichten die Systeme 60,3 % und 28,0 % in AgentClinic MedQA und MIMIC, 30,3 % bei MedAgentsBench und 8,6 % bei HLE-Text, wobei die multimodale Genauigkeit bei multimodalem HLE bis auf 15,5 % und bei AgentClinic NEJM auf 29,2 % sank. Die Ressourcenanforderungen stiegen erheblich, mit mehr als 10-fachem Token-Verbrauch und mehr als 2-facher Latenz, und obwohl 89,9 % der Halluzinationen durch agenteninterne Sicherheitsvorkehrungen herausgefiltert wurden, blieben Halluzinationen weit verbreitet.
Die Leistungslücke zwischen zugelassenen und nicht zugelassenen Tools wirft regulatorische Fragen auf. Eine in JAMA Health Forum analysierte Querschnittsstudie untersuchte 691 von der FDA zugelassene KI- und maschinelle Lern-Geräte, die zwischen September 1995 und Juli 2023 zugelassen wurden; nur 1,6 % dieser Geräte meldeten in ihrer Nutzen-Risiko-Dokumentation vor der Zulassung Daten aus randomisierten kontrollierten Studien, und weniger als 30 % teilten vor der Genehmigung wichtige Sicherheits- und Nebenwirkungsinformationen. Die FDA gab am 29. Januar 2026 eine überarbeitete Leitlinie zur Clinical-Decision-Support-Software heraus, die die frühere Fassung vom 28. September 2022 ersetzt, und ihre endgültige Leitlinie vom 4. Dezember 2024 zu vorgegebenen Änderungskontrollplänen (Predetermined Change Control Plans, PCCPs) für KI-gestützte Gerätesoftwarefunktionen verlangt von den Sponsoren, Änderungsarten und Testprotokolle vorab festzulegen. Ein Warnschreiben vom 10. Februar 2025 an Exer Labs für sein KI-Diagnosetool Exer Scan veranschaulicht die Durchsetzung, die sich auf Tools konzentriert, die ohne Zulassung vermarktet werden.
Die Einführung von KI in der klinischen Praxis ist bereits weit verbreitet: Die Ärzte-KI-Umfrage der AMA aus dem Jahr 2024 ergab, dass 66 % der Ärztinnen und Ärzte derzeit KI in der Praxis einsetzen, gegenüber 38 % im Jahr 2023, und 68 % gaben an, einen deutlichen Vorteil durch KI-Tools zu sehen. Das Reflexionspapier der EMA zu KI/ML in der klinischen Entwicklung aus dem Jahr 2024 verfolgte einen risikobasierten Ansatz, wobei Hochrisiko-Tools, die die primären Endpunkte von Studien oder die Sicherheitsberichterstattung beeinflussen könnten, einer verstärkten Prüfung ausgesetzt sind, einschließlich prospektiver Leistungsüberwachungsanforderungen. Die globale Bewertung der KI-Adoption aus dem Jahr 2024 des Tufts Center for the Study of Drug Development, die zwischen Mai und August 2024 mit der Drug Information Association durchgeführt wurde, ergab, dass die Einführung von KI-gestützten Lösungen in der klinischen Entwicklung trotz fehlender standardisierter Leistungsbenchmarks über Anbieter hinweg rasch zunimmt.