研究者ら、AI搭載医療機器の安全性向上に向けた指針を提示
**NEJM AI**掲載の論文は、AI搭載医療機器に関する7つのヒューマンファクター関連リスクを整理し、より明確なワークフロー、トレーニング、フォールバック手段、市販後モニタリングの必要性を訴えた。分析では、現行の承認要件はこれらのリスクへの対応が不十分だとされ、別の証拠として医療AI利用における精度や検証の問題が持続していることも示された。
最近NEJM AIに掲載された論文によると、AI-enabled medical devicesの安全性と性能は、アルゴリズムや技術仕様だけでなく、人々がこれらの機器やアプリケーションをどのように使用するかにも左右される。著者らは、承認に向けた既存の規制要件は、これまで多くのhuman factors-related risksに対して部分的にしか対応しておらず、医療の安全性や質に影響し得るギャップを生んでいると述べた。
この分析では、7つの主要リスクを特定し、既存の規制および文書化プロセスに組み込める、製造業者と規制評価担当者向けの実践的な提言をまとめた。リスクには、AIシステムの不透明な性質のために出力が誤解・誤認されること、不適切に調整された信頼により利用者がAI支援に過度に依存したり、関連する推奨を無視したりすること、automation bias、技能低下の可能性、利用者のテクノストレス、indication creep、そしてシステム変更や異なる動作モードに関連するエラーが含まれる。
この枠組みは、利用者が誰であるか、システムがどのような文脈で適用されるか、どの業務を人間に割り当て、どの業務をシステムに割り当てるかを明確に定義する形で、AIベースの医療機器を開発・導入するよう勧告している。また、結果は理解しやすい形で提示され、既存の臨床ワークフローに統合されるべきであり、必要に応じたトレーニングや、システム障害時の安全なフォールバック手段によって補完されるべきだとした。
著者らは、市場投入後の継続的モニタリングの重要性を強調した。利用パターン、誤用の可能性、あるいはAIシステムへの過度の依存は体系的に観察し、必要に応じて是正すべきであり、システムへの変更についても、業務プロセスをそれに応じて調整できるよう、透明性をもって伝達しなければならないとした。
信頼性に欠ける医療AIのより広範なリスクは、すでに測定可能となっている。2025年の業界横断調査では、44%の組織が生成AIの利用による負の影響を経験したと回答し、1件当たりの平均金銭的損失は440万ドルだった。2023年のJAMA Network Open掲載論文では、AIが生成した退院サマリーに関する検討で、18%の症例に不完全または誤解を招く情報が含まれていたことが示された。同じ議論で引用された研究では、AI生成情報を外部ソースで検証する人は39%にとどまることも分かった。
この分析は、こうした要因が、システム自体の技術的性能が高い場合でも、臨床現場に追加的な負担や予期せぬ障害をもたらし得ると述べた。提言は、さまざまなAI搭載医療機器や適用シナリオに適用できるよう、意図的に一般的でありながら規制と整合的な表現で策定されており、今後は具体的なパイロット適用を通じたさらなる検証が予定されている。