Nature：AI在医学领域的爆发式应用引发担忧

摘要：人工智能（AI）已经帮助美国各地医院的临床医生进行诊断、对危重病例进行分类和转录临床笔记。但研究人员在 6 月 5 日发表在PLOS Digital Health上的一份报告中指出，对医疗 AI 产品的监管并没有跟上其快速采用的速度1.

许多美国医院依赖医疗 AI 工具来协助诊断和其他任务。图片来源：希拉里·斯威夫特（Hilary Swift）通过盖蒂为《华盛顿邮报》拍摄

人工智能（AI）已经帮助美国各地医院的临床医生进行诊断、对危重病例进行分类和转录临床笔记。但研究人员在 6 月 5 日发表在 PLOS Digital Health 上的一份报告中指出，对医疗 AI 产品的监管并没有跟上其快速采用的速度1.

作者指出了美国食品药品监督管理局（FDA）批准这些设备的方式存在局限性，并提出了更广泛的策略，这些策略超出了该机构的范围，以帮助确保医疗 AI 工具安全有效。

FDA 已批准 1,000 多种医疗 AI 产品，医院正在迅速采用它们。与大多数其他受 FDA 监管的产品不同，AI 工具在获得批准后会随着新数据的更新或重新训练而不断发展。这就提出了持续监督的需求，而目前的法规确保这种监督的能力有限。

在最近有迹象表明联邦政府可能会缩减 AI 监管的情况下，这种讨论尤其及时。今年1月，唐纳德·特朗普总统撤销了一项专注于人工智能安全的行政命令，理由是需要消除创新障碍。接下来的一个月，裁员影响了 FDA 负责人工智能和数字健康的部门的员工。

如果没有适当的监督，医疗算法可能会给出误导性建议并损害患者护理。“必须有保障措施，”剑桥麻省理工学院（Massachusetts Institute of Technology）的临床研究员、该报告的合著者里奥·安东尼·塞利（Leo Anthony Celi）说。“我认为依靠 FDA 提出所有这些保障措施是不现实的，甚至可能是不可能的。”

FDA 用于审查和授权 AI 医疗工具的标准通常不如药物严格。由于其他国家依赖 FDA 为自己的决策提供信息，因此其方法可能会产生全球影响。例如，根据 FDA 的说法，只有那些可能对患者构成更高风险的工具才需要进行临床试验。另一个问题是，当应用于与它们接受训练的人群不同的人群时，医学算法通常表现不佳。Celi 说，由于这些限制，监管部门的批准并不能确保医疗 AI 产品对其打算帮助的人有益。

理想情况下，医院应该评估算法在自己的患者群体中的表现，并在采用这些技术之前培训临床医生解释输出并做出适当的反应。Celi 说：“最大的挑战之一是，绝大多数医院和诊所没有资源聘请 AI 团队”来执行此类测试，并补充说今年发表的一项研究2发现许多医院正在购买“现成的”AI 工具，并在没有本地验证的情况下使用它们。“那是灾难的根源，”他说。

在他们的报告中，Celi 和他的合著者建议大学与医疗保健机构合作，评估 AI 医疗设备的质量。“让他们帮助医院的 IT 部门，准备数据集，运行模型，评估算法并监控其影响，”他说。“这以前从未做过，但我们认为考虑到技术的发展速度，传统结构不会削减它”，他补充道。

FDA 无权要求医院在批准后进行此类测试。“这根本不是其法定管辖权的一部分，”加利福尼亚州斯坦福大学（Stanford University）的健康法研究员米歇尔·梅洛（Michelle Mello）说。“除了 FDA 之外，谁会参与进来，以及他们会做什么，这一直是一个问题。”