摘要:日前,首都医科大学宣武医院卢洁教授团队在Science子刊Science Advances在线发表题为“A multimodal and fully automated system for prediction of pathological complet
编者按:日前,首都医科大学宣武医院卢洁教授团队在Science子刊Science Advances在线发表题为“A multimodal and fully automated system for prediction of pathological complete response to neoadjuvant chemotherapy in breast cancer”的论文。本研究结合治疗前磁共振成像(MRI)、全切片图像(WSI)和临床风险因素,开发一种多模态全自动管道系统—MIFAPS,用于实现乳腺癌新辅助化疗(NAC)前病理完全缓解(pCR)预测。
放射与核医学科博士后毛宁为第一作者,卢洁教授为通讯作者。
作者介绍
毛宁
▶ 首都医科大学宣武医院放射与核医学科博士后
▶ 主要从事医学影像诊断、人工智能和脑影像的研究工作。
▶ 主持国家自然科学基金面上和青年项目、国家博士后基金面上项目、北京市博士后基金等课题。
▶ 以第一作者或通讯作者发表SCI论文50余篇,包括Science Advances、npj Digital Medicine、eClinicalMedicine、eBioMedicine、Biological Psychiatry等高水平期刊。
卢洁
▶ 主任医师,教授,博士研究生导师
▶ 国家自然科学基金优秀青年基金获得者
▶ 国家万人计划科技创新领军人才
▶ 现任首都医科大学宣武医院党委专职副书记、放射与核医学科主任
▶ 国家神经疾病医学中心副主任
▶ 教育部神经变性病重点实验室副主任
▶ 磁共振成像脑信息学北京市重点实验室主任
▶ 中华医学会放射学分会全国委员
▶ 北京医学会放射学分会候任主任委员
▶ 中国医学影像技术研究会放射分会副主任委员
▶ 擅长神经系统疾病影像诊断,从事脑疾病功能与分子影像学研究。
▶ 主持科技部十四五重点研发计划、国自然重点、国自然重大等20余项课题,代表作发表在Neuron、Brain、Radiology、Nature Communications等国际权威期刊。
▶ 以第一完成人获华夏医学科技奖一等奖、北京市留学人员创新创业特别贡献奖、茅以升北京青年科技奖等。
▶ 主编(译)专著12部,授权专利17项,主持或参与专家共识15项。
研究详情
乳腺癌是女性常见恶性肿瘤,NAC是局部晚期乳腺癌主要治疗手段,治疗前准确预测pCR对制定治疗方案至关重要。现有预测方法存在局限性,如MRI预测pCR敏感性低,传统影像技术和单模态深度学习模型准确性待提高,多模态融合对乳腺癌pCR预测价值尚不清楚。 本研究纳入1004例局部晚期乳腺癌患者,收集临床、MRI和WSI数据,分为训练和验证集(383例)、内部测试集(95例)、合并的外部测试集(471例)和前瞻性测试集(109例)。
图1.研究流程图
(A)基于MRI的深度学习标签构建。 (B)基于WSI的深度学习标签构建。(C)临床标签构建。(D) MIFAPS集成了临床标签、MRI深度学习标签和WSI深度学习标签。(E)使用67名患者的RNA测序数据探讨了深度学习的生物学基础。(F)在内部/外部/前瞻性测试集评估了MIFAPS的预测性能,并通过可视化分析研究了其潜在的预测机制。(G)MIFAPS的潜在临床影响。
MIFAPS在内部、合并外部和前瞻性测试集表现良好,AUC分别为0.932、0.882和0.909,优于单模态和双模态模型(图2)。在不同分子亚型和病灶大小亚组中,MIFAPS均有较好预测能力(图2)。MRI可视化显示,模型关注肿瘤及周围区域,WSI可视化显示,MIFAPS高评分患者关注肿瘤组织,低评分患者关注肿瘤和纤维组织(图3)。通过生物学机制分析发现,MIFAPS高评分患者与免疫反应通路相关,免疫细胞组成有差异(图4)。在高评分组中,CD4记忆T细胞水平(P = 0.010)和M1巨噬细胞水平(P = 0.073)显著增高,而M2巨噬细胞水平则降低(P = 0.073)。
图2.不同模型预测NAC-pCR的性能
不同模型在训练和验证集(A)、内部测试集(B)、合并的外部测试集(C)以及前瞻性测试集(D)中的ROC曲线。不同模型在训练集和验证集(E)、内部测试集(F)、合并的外部测试集(G)以及前瞻性测试集(H)中的PR曲线。不同分子亚型在合并的外部测试集(I)和前瞻性测试集(J)中MIFAPS的ROC曲线,不同病灶大小亚组在合并的外部测试集(K)和前瞻性测试集(L)中MIFAPS的ROC曲线。散点图显示:在合并的外部测试集中,MRI (M)、WSI (N)和临床(O)模型错误预测,被MIFAPS纠正的病例;在前瞻性测试集中,MRI (P)、WSI (Q)和临床(R)模型错误预测,被MIFAPS纠正的病例。
图3.多模态模型可视化
(A)基于MRI的Grad-CAM获得的热图。红色和黄色区域比绿色和蓝色区域具有更高的预测意义。(B)组织病理学WSI:高分(上)和低分(下)患者的乳腺癌原始病理图像。(C)注意力热图用于分配不同的注意力分数。红色表示高注意力区域,而蓝色表示低注意力区域。(D)高注意力tiles。(E)最高注意力tiles中分割和分类的细胞类型。(F)高注意力tiles中细胞类型的量化。
图4. MIFAPS的生物学基础
(A)差异基因表达火山图。(B)基于GSEA分析的前五条上调通路。(C)免疫浸润分析。(D) CD4记忆T细胞、M1巨噬细胞和M2巨噬细胞的IHC染色。
总结
综上,本研究构建的MIFPS在预测乳腺癌NAC的pCR方面优于单模态模型,多模态深度学习有重要意义。该研究为乳腺癌pCR预测提供了新方向。推荐您看
版权声明
本文版权归“首都医科大学宣武医院”所有。
来源:医悦汇一点号