KI hält Einzug in die klinische Praxis: Forscher und Ärzteverbände fordern Grenzen
Neue Forschungsergebnisse und Leitlinien verdeutlichen Chancen und Risiken der KI in der Medizin – von einer Dartmouth-Studie, die zeigt, dass KI-verfasste Patientennachrichten Fehler verursachen können, bis zum neuen Positionspapier der Israelischen Ärztevereinigung. Die regulatorischen Antworten sind unterschiedlich: FDA-Leitlinien und Landesgesetze befinden sich weiterhin im Wandel.
Künstliche Intelligenz hält Einzug in Notaufnahmen, kommunale Gesundheitszentren und Patientenportale – doch eine wachsende Zahl von Studien und Berufsleitlinien warnt, dass Schutzmaßnahmen erforderlich sind. Eine Dartmouth-Studie, vorgestellt auf der Jahrestagung 2026 der Association for Computational Linguistics, ergab, dass KI-entworfene Antworten an Patienten Fehler und überflüssige Details enthalten können. Gleichzeitig hat die Israelische Ärztevereinigung ein Positionspapier veröffentlicht, das Grenzen für den Einsatz der Technologie in der Medizin definiert.
Die Forscher von Dartmouth analysierten 146.000 Gespräche zwischen 10.105 Patienten und ihren Hausärzten in einem großen ländlichen Gesundheitssystem – die erste groß angelegte Studie über ein Online-Patientenportal, das KI zum Entwurf von Antworten nutzt. Sie fanden heraus, dass KI-generierte Antworten häufig nicht dem entsprechen, was Kliniker tatsächlich schreiben würden: Antworten sind zu lang, stellen keine Rückfragen und verwenden irrelevante oder ungenaue medizinische Details. Infolgedessen könnten Ärzte mehr Zeit mit der Bearbeitung von Antworten verbringen, als sie zum Schreiben benötigt hätten, so die Forscher. In einem Beispiel schlug die KI des Portals vor, einer 32-jährigen Frau, die ein Säurereflux-Medikament einnahm und über ständige Übelkeit klagte, mitzuteilen, dass das Medikament möglicherweise eine Ernährungsanpassung erfordere; ein Arzt fragte stattdessen, ob eine Schwangerschaft möglich sei.
Die Forscher bewerteten Antworten, die von Claude, Gemini und ChatGPT sowie von drei kleineren kommerziellen Plattformen – Llama, Aloe und Qwen – entworfen wurden. Sie zeigten, dass die Anpassung der KI an die Kommunikationsweise einzelner Ärzte die Genauigkeit um 33 % verbessern und den Bearbeitungsaufwand um 26 % reduzieren kann. Das Team entwickelte außerdem eine Technik namens TADPOLE – Thematic Agentic Direct Preference Optimization for Learning Enhancement –, die KI-Plattformen darin trainiert, besser den Standards der Ärzte für Präzision und Informationsqualität zu entsprechen. Die Integration von TADPOLE in die sechs kommerziellen LLMs führte zu Antwortentwürfen, die diesen Standards besser entsprachen. Ein Co-Autor sagte, das könnte einem vielbeschäftigten Kliniker ein bis zwei Stunden Arbeit pro Tag ersparen.
Die Israelische Ärztevereinigung hat über das Institut für Qualität in der Medizin und die Israelische Gesellschaft für Risikomanagement und Patientensicherheit in der Medizin in diesem Monat ein Positionspapier veröffentlicht, das versucht, die Spielregeln zu definieren: die Technologie nutzen, aber nicht von ihr versklavt werden; sich von ihr unterstützen lassen, um Diagnose und Behandlung zu verbessern, sie aber nicht zu einem versteckten Arzt machen, der Entscheidungen trifft. Das Papier stellt fest, dass die US-amerikanische Food and Drug Administration (FDA) bis Mai 2024 882 Medizinprodukte mit künstlicher Intelligenz zugelassen hatte, wobei die Radiologie mit 671 Produkten (76 %) den größten Anteil ausmachte. Es beschreibt auch Systeme wie Rounds, das einen Arztbesuch aufzeichnet, das Gespräch transkribiert und ein vollständiges Besuchsdokument erstellt, sowie AI-PRO von Clalit Health Services, das medizinische Aufzeichnungen nächtlich scannt und Hausärzten Empfehlungen und Risikopatienten anzeigt.
Das Positionspapier betont, dass das Potenzial groß ist, aber auch die Risiken. Die Empfehlungen eines KI-Systems können verzerrt sein, wenn die Trainingsdaten unvollständig, voreingenommen oder nicht repräsentativ für die Patientengruppe sind. Ein weiteres Risiko ist ein falsches Sicherheitsgefühl: Wenn ein Computersystem schnell, gut formuliert und selbstbewusst antwortet, ist es leicht, ihm zu glauben.
Das regulatorische Umfeld ist fragmentiert. Im Januar aktualisierte die FDA ihre Software-Leitlinie, um KI-Tools bei der Unterstützung von Ärzten einer geringeren Aufsicht zu unterstellen. Damit fällt Software, die es einem Arzt ermöglicht, die Grundlage einer KI-Empfehlung unabhängig zu überprüfen, nicht mehr unter die Regulierung von Medizinprodukten durch die Behörde. Diese Ausnahme gilt jedoch nur für KI, bei der ein Arzt im Prozess eingebunden ist; es gibt keine vergleichbare Ausnahme für KI, die direkt mit Patienten spricht. Dadurch ist die autonomste klinische KI am wenigsten reguliert. Die Bundesstaaten sind unterschiedliche Wege gegangen: Utah, Arizona und Texas bauen Rahmenwerke auf, um die Einführung zu beschleunigen, während New York und Kalifornien darauf hinarbeiten, KI in der Medizin einzuschränken. In New York brachten Gesetzgeber einen Gesetzentwurf ein, der es KI potenziell illegal machen würde, selbst grundlegende medizinische Beratung anzubieten; Kalifornien erließ ein Gesetz, das die Offenlegung gegenüber Patienten vorschreibt, wenn KI beteiligt ist.
Inzwischen zeigen Daten, dass jeder dritte Amerikaner KI-Chatbots nutzt, um Symptome zu diagnostizieren und die Versorgung zu steuern – eine Zahl, die sich innerhalb eines einzigen Jahres verdoppelt hat. Einige Ärzte sehen Potenzial für KI, den Zugang zur Versorgung zu erweitern. Ein Kinderarzt hat argumentiert, dass eine gut entwickelte KI für Kinder „serve and return“-Interaktionen simulieren könnte, indem sie Fragen stellt und auf Antworten reagiert – anders als passive Bildschirminhalte. Die US-Bundesregierung fordert zudem Vorschläge für die Entwicklung einer KI ein, die Herzinsuffizienz-Ereignisse eigenständig managen soll – eine Krankheit, bei der nur 1 % der Patienten das empfohlene Medikamentenregime erhält und die Fünf-Jahres-Mortalität bei über 50 % liegt.