研究人员提出提高AI医疗器械安全性的指导意见
发表于 NEJM AI 的一项分析概述了 AI 赋能医疗器械面临的 7 类人因相关风险，并呼吁建立更清晰的工作流程、培训机制、安全回退选项和上市后持续监测。文章指出，现行审批要求仅部分覆盖这些风险，而其他证据也显示医疗 AI 在准确性和信息核实方面仍存在持续性问题。
近日发表于 NEJM AI 的一篇文章指出，AI-enabled medical devices（人工智能赋能医疗器械）的安全性和性能不仅取决于算法或技术规格，还取决于人们如何使用这些器械和应用。作者表示，现有的审批监管要求迄今仅部分覆盖了许多人因相关风险，由此形成的缺口可能影响医疗安全和照护质量。
该分析识别出 7 项关键风险，并为制造商和监管评估人员提出了可纳入现有监管与文档流程的实用建议。这些风险包括：由于 AI 系统有时缺乏透明性，导致其输出结果被误解或误判；信任校准失当，使用户过度依赖 AI 辅助或忽视相关建议；自动化偏倚；潜在的技能退化；用户中的技术压力；适应证蔓延；以及与系统变更或不同运行模式相关的错误。
该框架建议，以一种能够清晰界定用户、系统应用情境，以及哪些任务由人类承担、哪些任务由系统承担的方式来开发和部署基于 AI 的医疗器械。文章还指出，结果呈现方式应当便于理解，能够整合进现有临床工作流程，并在需要时辅以培训以及在系统故障时可采用的安全回退选项。
作者强调了产品上市后持续监测的重要性。应系统性观察使用模式、潜在误用或对 AI 系统的过度依赖情况，并在必要时加以纠正；对系统所做的变更也必须透明传达，以便相应调整工作流程。
不可靠医疗 AI 带来的更广泛风险已经可以量化。在 2025 年一项跨行业调查中，44% 的组织报告称曾因生成式 AI 的使用而遭遇负面后果，且每次事件的平均财务损失为 440 万美元。2023 年发表在 JAMA Network Open 上的一篇关于 AI 生成出院小结的论文显示，18% 的案例包含不完整或误导性信息；而同一讨论中引用的研究发现，只有 39% 的人会借助外部来源核实 AI 生成的信息。
该分析指出，即使某一系统本身的技术性能较强，这些因素在临床实践中仍可能带来额外负担或意外失效。相关建议被有意表述为具有普适性且与监管要求相衔接的措辞，以便适用于不同的 AI 赋能医疗器械及应用场景；后续还计划通过具体试点应用进一步测试。