Nat Biomed Eng | 王光宇/仉尚航等团队联合提出面向开放世界的通才影像基础大模型

摘要：2025年9 月5日，北京邮电大学王光宇、北京大学仉尚航团队在Nature Biomedical Engineering在线发表了题为A generalist foundation model and database for open-world med

2025年9 月5日，北京邮电大学王光宇、北京大学仉尚航团队在Nature Biomedical Engineering在线发表了题为A generalist foundation model and database for open-world medical image segmentation（面向开放医学影像分割的通才基础大模型与数据库）的研究文章。

现有影像基础大模型在多源数据混合预训练中易引入语义无关任务，导致负迁移，同时共享参数也会引发任务冲突，限制了跨机构、跨任务等开放医学场景的适用性。为此，团队提出通才医学影像分割大模型 MedSegX，通过层次化知识引导的混合适配器专家机制，在预训练阶段实现任务感知的参数解耦，并在推理中动态激活相关专家模块，从而在不同数据分布和任务条件下实现高效泛化。研究表明，MedSegX 在100个分布内任务上取得SOTA性能，并在18个跨中心分布外任务、7个未见过的肿瘤任务及9个真实临床分布外任务中展现出优秀的零样本泛化能力。此外，仅需5%–25%的微调数据，即可达到甚至超越其他通用分割基础模型在使用全部微调数据时的性能。此外，团队还提出了基于树状层级体系的大规模医学影像分割数据库（167万影像—掩码对）。主要工作如下：

一、构建MedSegDB：高质量、有组织的大规模医学影像分割数据库

近年来，以Segment Anything Model （ SAM ）为代表的基础分割大模型的出现，极大地推动了计算机视觉领域的发展。然而现有可用于分割的公共医学影像数量大多是分散的、规模有限的数据集，且往往聚焦于特定的模态、器官或病变。关于如何有效组织和利用这类大规模数据，尚未展开研究。对此，团队构建了MedSegDB，一个高质量、有组织的大规模医学影像分割数据库，并在Hugging Face上开源。

MedSegDB由来自129个开源数据集和5个私有数据集的数据精心整理而成，共包含167万对图像-掩码对，覆盖10种医学影像模态，39类主要器官和组织，以及111项分割任务。团队设计并实施了统一的预处理流程，全面解决了不同医学数据源之间的异质性和部分标注缺失等问题；并基于北美放射学会开发的放射学标准词汇表RadLex与资深医生的专业标注，构建了一个树状解剖学层级体系（MedSegHierarchy），该层级体系通过“包含（contains）”和“部分组成（has_part）”等语义关系，将不同器官和疾病系统性地组织起来，使得医学数据不是简单的堆叠，而是形成了一个可扩展、可管理的知识树结构。可为未来跨中心、跨任务的医学分割研究提供了统一的数据扩展标准和丰富的语义支撑。

二、MedSegX：开放世界下的医学影像通才分割大模型

为解决预训练时语义无关信息导致的负迁移现象及多任务共享参数造成的任务冲突问题，团队提出了 ConMoAE 架构，并在此基础上开发了通才医学影像分割基础大模型 MedSegX 。

（1） ConMoAE 架构：提出了上下文混合适配器专家（ Contextual Mixture of Adapter Experts, ConMoAE ），它可以将来自 MedSegHierarchy 的上下文知识引入混合专家模型，为不同任务生成语义相关的专家子模型，从而实现任务感知的参数解耦，以减轻多任务联合预训练时“参数冲突”导致的性能下降和语义无关信息引入导致的“负迁移”现象。 ConMoAE 包括两个主要组件：上下文嵌入先验（ Hierarchical Structure-based Contextual Embedding Prior, HScEP ）和上下文引导的混合适配器专家网络（ Context-guided Mixture of Adapters Network, CMoAN ）。其中，HScEP 将MedSegHierarchy 中的节点按照层次结构关系映射为可学习的上下文嵌入向量；给定特定任务，HScEP 从根结点到叶节点搜索出一条知识路径，该路径由节点对应的嵌入向量构成，表征给定任务的上下文知识。随后，CMoAN 在上下文知识的引导下动态激活不同的专家适配器线性组合，从而为不同的任务提供独立的专家子模型，减轻由不相关任务引起的负迁移影响。

（2） MedSegX 在已知及未知任务上快速适配：对于已经组织进MedSegHierarchy 中的任务，MedSegX直接将层次结构中的任务相关实体节点映射为上下文知识嵌入，并将其应用于下游的零样本推理和特定任务微调。对于暂未组织进MedSegHierarchy 中的未知任务，MedSegX 通过识别与目标任务最相关的解剖实体节点，并将其映射为解剖知识嵌入先验。随后，为每个未见过的任务添加一个由全零向量初始化的新任务节点，从而得到完整的上下文嵌入先验，并基于该先验完成下游任务的零样本推理和特定任务微调。这一策略增强了 MedSegX 对层次结构中不存在的任务的适用性，从而可高效拓展到未知的医疗场景。

三、面向开放场景下的优秀性能：通才分割性能评估

为评估MedSegX及其他医学分割模型的分割能力，团队开展了全面的评估及验证，包括（1）分布内评估；（2）分布外评估；（3）临床“真实世界”评估。

（1）分布内评估（ I n- D istribution E valuation）：首先在100个分布内任务上进行了测试，覆盖10种医学影像模态和39个主要器官/组织结构。实验表明， MedSegX在不同任务、模态上都表现出了优异的性能，全面超越传统的任务定制模型（nnU-Net、U-Mamba 、 nnF ormer ）、通用小模型（DoDNet）及通才分割基础大模型（MedSAM 、 MedSAM 2、 SAM-Med2D 、 SAM-Med 3 D），达到了当前最优模型效果（ SOTA ）。同时还验证了MedSegX的上下文混合适配器专家架构在任务歧义性问题上的有效性。

（2）分布外评估（ Out -of -D istribution E valuation）：进一步在18个跨中心分布任务（例如不同的数据采集设备或人群），及7个未见过的肿瘤相关任务上进行了零样本和数据高效泛化评估。实验表明， MedSegX在分布外场景下实现了优异的零样本和少样本泛化能力，仅使用 5%-25% 的微调数据即可达到甚至超越其他医学通用分割模型使用 100% 的微调数据获得的性能。

（3）临床“真实世界”评估（ R eal- World E valuation）：进一步从4家医院收集了5个真实临床场景数据集（包括结肠癌、胃癌、肺癌、肝癌、肺炎等），覆盖9个代表性放射学任务。实验结果显示， MedSegX 在真实临床场景下具备优异的零样本泛化能力，表明其跨模态、跨中心、跨任务的广泛适用性。MedSegX有望成为支撑大规模医学协同研究与智能诊疗的核心底座，为构建真正“开箱即用”的AI辅助诊断系统迈出关键一步。

北京邮电大学王光宇教授、北京大学仉尚航教授为论文的共同通讯作者，北京邮电大学张思琦、北京大学张启哲、深圳大学刘晓鸿、北京邮电大学岳靖昆为本文共同第一作者。香港中文大学（深圳）崔曙光院士团队提供了算力平台支持。

制版人：十一

学术合作组织