Forscher formulieren Leitlinien für sicherere KI-gestützte Medizinprodukte
Eine Veröffentlichung in NEJM AI beschreibt sieben mit menschlichen Faktoren verbundene Risiken bei KI-gestützten Medizinprodukten und fordert klarere Arbeitsabläufe, Schulungen, sichere Fallback-Optionen und eine Überwachung nach dem Markteintritt. Der Analyse zufolge decken die derzeitigen Zulassungsanforderungen diese Risiken nur teilweise ab, während weitere Evidenz anhaltende Probleme bei Genauigkeit und Verifizierung in der medizinischen KI-Nutzung zeigt.
Eine aktuelle Veröffentlichung in NEJM AI erklärte, dass die Sicherheit und Leistungsfähigkeit KI-gestützter Medizinprodukte nicht nur von Algorithmen oder technischen Spezifikationen abhängt, sondern auch davon, wie Menschen diese Geräte und Anwendungen nutzen. Den Autoren zufolge haben die bestehenden regulatorischen Anforderungen für die Zulassung bislang viele mit menschlichen Faktoren verbundenen Risiken nur teilweise berücksichtigt, wodurch Lücken entstehen, die sich auf die Sicherheit und Qualität der Versorgung auswirken können.
Die Analyse identifizierte sieben zentrale Risiken und entwickelte praktische Empfehlungen für Hersteller und regulatorische Gutachter, die in bestehende Regulierungs- und Dokumentationsprozesse integriert werden können. Zu diesen Risiken zählen, dass Ausgaben aufgrund der teilweise intransparenten Natur von KI-Systemen missverstanden oder fehlinterpretiert werden, fehlkalibriertes Vertrauen, das dazu führt, dass Nutzer sich zu stark auf KI-Unterstützung verlassen oder relevante Empfehlungen ignorieren, Automation Bias, potenzieller Kompetenzverlust, Technostress bei den Anwendern, indication creep sowie Fehler im Zusammenhang mit Systemänderungen oder unterschiedlichen Betriebsmodi.
Der Rahmen empfiehlt, KI-basierte Medizinprodukte so zu entwickeln und einzusetzen, dass klar definiert ist, wer die Nutzer sind, in welchem Kontext die Systeme angewendet werden und welche Aufgaben Menschen und welche dem System zugewiesen sind. Zudem sollten Ergebnisse leicht verständlich dargestellt, in bestehende klinische Arbeitsabläufe integriert und bei Bedarf durch Schulungen sowie sichere Fallback-Optionen im Fall von Systemausfällen ergänzt werden.
Die Autoren betonten die Bedeutung einer kontinuierlichen Überwachung nach dem Markteintritt. Nutzungsmuster, potenzieller Fehlgebrauch oder ein übermäßiges Vertrauen in KI-Systeme sollten systematisch beobachtet und bei Bedarf korrigiert werden; zudem müssten Änderungen an den Systemen transparent kommuniziert werden, damit Arbeitsprozesse entsprechend angepasst werden können.
Die umfassenderen Risiken unzuverlässiger medizinischer KI sind bereits messbar. In einer branchenübergreifenden Umfrage aus dem Jahr 2025 berichteten 44 % der Organisationen, negative Folgen durch den Einsatz generativer KI erlebt zu haben; die durchschnittlichen finanziellen Verluste lagen bei $4,4 Millionen pro Vorfall. Ein Artikel aus dem Jahr 2023 in JAMA Network Open über KI-generierte Entlassungszusammenfassungen zeigte, dass 18 % der Fälle unvollständige oder irreführende Informationen enthielten, während in derselben Diskussion zitierte Forschung ergab, dass nur 39 % der Personen KI-generierte Informationen mithilfe externer Quellen überprüfen.
Der Analyse zufolge können solche Faktoren in der klinischen Praxis zusätzliche Belastungen oder unerwartete Ausfälle verursachen, selbst wenn die technische Leistung eines Systems an sich stark ist. Die Empfehlungen wurden bewusst allgemein, aber regulatorisch anschlussfähig formuliert, sodass sie auf unterschiedliche KI-gestützte Medizinprodukte und Anwendungsszenarien angewendet werden können; weitere Tests sind über konkrete Pilotanwendungen geplant.