基于放射影像的临床诊断中，AI模型尚未达到实际应用水平

摘要：研究人员常认为放射学是 AI 有潜力革新的领域，因为视觉或多模态模型在识别图像方面表现出色。基于充分的训练，假设 AI 模型能够像医学专家一样准确读取 X 光片和计算机断层扫描 (CT) 图像。

一项新研究显示，基于放射影像进行临床诊断的 AI 模型尚未成熟。

研究人员常认为放射学是 AI 有潜力革新的领域，因为视觉或多模态模型在识别图像方面表现出色。基于充分的训练，假设 AI 模型能够像医学专家一样准确读取 X 光片和计算机断层扫描 (CT) 图像。

为了验证这一假设，来自 Johns Hopkins University、University of Bologna、Istanbul Medipol University 和 Italian Institute of Technology 的研究人员认为，首先需要构建一个更好的基准测试来评估视觉语言模型。

作者 Yixiong Chen, Wenjie Xiao, Pedro R. A. S. Bassi, Xinze Zhou, Sezgin Er, Ibrahim Ethem Hamamci, Zongwei Zhou 和 Alan Yuille 在题为 "Are Vision Language Models Ready for Clinical Diagnosis? A 3D Medical Benchmark for Tumor-centric Visual Question Answering"（视觉语言模型准备好用于临床诊断了吗？以肿瘤为中心的 3D 医学视觉问答基准）的预印本论文中解释了多个原因。

首先，大多数现有临床数据集规模较小且记录不够多样化，科学家们认为这是由于让专家标注数据所需的高成本和耗时所致。

其次，这些数据集通常依赖 2D 数据，这意味着 AI 有时无法从 3D CT 扫描中获得学习资源。

第三，用于自动评估机器学习模型的算法，如 BLEU 和 ROUGE，在处理简短且基于事实的医学答案时表现不佳。

此外，现有数据集可能采用了私有和机构内部的数据，这些数据无法供后续研究使用。

因此，作者开发了 DeepTumorVQA——一个专注于 CT 扫描中腹部肿瘤的诊断视觉问答 (VQA) 基准测试。

DeepTumorVQA 基于来自 17 个公共数据集的 9,262 个 CT 体积（共 3.7M 切片）构建，并辅以 395,000 个专家级问题，涉及识别、测量、视觉推理和医学推理四个类别。

23 位持证放射科医师花费六个月时间手动标注了患者肝脏、肾脏、胰腺和结肠上 3D 图像中显示的 7,629 个病灶，随后他们还共同核对标注以达成共识。病灶指的是扫描中显示的异常组织，诊断可以确定其是良性还是恶性。

依托这一基准数据，研究人员着手评估五个专为医疗设计的视觉模型：RadFM、M3D（其中一个基于 Llama2，另一个基于 Phi-3）、Merlin 和 CT-CHAT。

图表展示了 DeepTumorVQA 的问题。

作者从四个类别对这些模型进行了评估：器官和病灶体积测量的准确性；识别诸如病灶等特征的能力；基于视觉信息进行推理的能力（例如判断两只肾脏中哪只较大）；以及医学推理（例如鉴别某一病灶是良性囊肿还是恶性肿瘤）。

符合 Betteridge 定律，作者对 “视觉语言模型是否准备好进行临床诊断？” 的回答是 “不”。

在测量任务中，这些模型的表现明显优于随机猜测；尽管在计数任务中，当以多选题形式呈现时，它们表现优于自由回答形式。