AI进入临床实践,研究者和医学团体呼吁设立边界
最新研究和指南凸显了人工智能在医学中的前景与风险,从达特茅斯学院的研究显示AI起草的患者信息可能引入错误,到以色列医学会发布的新立场文件。监管应对措施各不相同,FDA指南和各州法律仍在不断变化。
人工智能正在进入急诊室、社区诊所和患者门户网站,但越来越多的研究和专业指南警告说,需要设立安全防护措施。达特茅斯学院在2026年计算语言学协会年会上公布的一项研究发现,AI起草的患者回复可能引入错误和无关细节,而以色列医学会也发布了一份立场文件,为这项技术在医学中的使用划定界限。
达特茅斯的研究人员分析了一个大型农村医疗系统中10,105名患者与其初级保健医生之间的146,000次对话,这是首个针对使用AI起草回复的在线患者门户的大规模研究。他们发现,AI生成的回答常常与临床医生实际会写的内容不一致——回复过长、不提问后续问题、使用不相关或不准确的医学细节。研究人员报告称,因此,医生编辑回复所花的时间可能比亲自撰写还要多。在一个例子中,该门户的AI建议告诉一名服用抗酸反流药物并担心持续恶心的32岁女性,药物可能需要调整饮食;而医生则问她是否可能怀孕。
研究人员评估了Claude、Gemini和ChatGPT以及三个较小的商业平台Llama、Aloe和Qwen所起草的回复。他们表明,根据每位医生的沟通方式来调整AI,可以将准确率提高33%,并将编辑工作量减少26%。该团队还开发了一种名为TADPOLE的技术(Thematic Agentic Direct Preference Optimization for Learning Enhancement,主题代理直接偏好优化学习增强),该技术训练AI平台更好地匹配医生对精确性和信息质量的标准。将TADPOLE整合到六个商业大语言模型中,生成的回复能更好地符合这些标准。一位合著者表示,这可以为忙碌的临床医生每天节省一两个小时的工作时间。
以色列医学会通过其医学质量研究所和以色列医学风险管理与患者安全学会,于本月发布了一份立场文件,试图定义游戏规则:使用这项技术但不要被其奴役;借助它来改善诊断和治疗,但不要让它成为做决策的“隐形医生”。文件指出,截至2024年5月,美国食品药品监督管理局(FDA)已批准882款使用人工智能的医疗设备,其中放射学设备占671款,即76%。文件还介绍了诸如Rounds等系统,该系统可记录就诊过程、转录对话并生成完整的就诊文档;以及Clalit Health Services的AI-PRO系统,它每晚扫描医疗记录,并向家庭医生提供建议和高风险患者信息。
立场文件强调,前景广阔,但风险同样巨大。如果训练数据不完整、存在偏倚或无法代表患者群体,AI系统的建议就可能带有偏见。另一个风险是虚假的安全感:当一个计算机系统给出快速、措辞严谨且自信的回答时,人们很容易相信它。
监管环境呈碎片化。今年1月,FDA更新了其软件指南,允许AI工具在辅助医生时以较少监督运行,将能够使医生独立审查AI推荐依据的软件排除在医疗器械监管之外。然而,这一豁免仅适用于有医生参与的AI;对于直接与患者对话的AI,没有类似的豁免,这使得最自主的临床AI反而受到最少的监管。各州方向不一:犹他州、亚利桑那州和得克萨斯州正在构建加速部署的框架,而纽约州和加利福尼亚州则正在采取措施限制AI在医学中的使用。纽约州立法者提出的法案可能使AI提供哪怕基本的医疗指导也变为非法,加利福尼亚州则颁布法律,要求涉及AI时必须向患者披露。
与此同时,数据显示,如今有三分之一的美国人使用AI聊天机器人来诊断症状和指导护理,这一数字在一年内翻了一番。一些医生看到了AI扩大医疗服务可及性的潜力。一位儿科医生认为,设计良好的AI可以模拟与儿童的“一来一回”式互动(serve and return),即提问并根据回答调整,不像被动观看的屏幕内容。联邦政府也在征集提案,以开发能够独立管理心力衰竭事件的AI——对于这种疾病,只有1%的患者接受了推荐药物治疗方案,五年死亡率超过50%。