摘要：医疗AI系统面临的新威胁：数据中毒攻击在医疗AI领域，检索增强生成（RAG）系统已经成为减少"幻觉"（hallucinations）——即模型生成看似合理但实际错误的医疗信息——的关键技术。RAG通过从外部知识库检索相关的医学图像和文本来增强生成过程，提供更准

首次系统性地揭示了医疗多模态RAG系统的安全漏洞，通过创新的攻击框架展示了现实威胁，对医疗AI安全领域具有重要警示意义和实践价值。

论文信息如下：

论文标题:
How to make Medical AI Systems safer? Simulating Vulnerabilities, and Threats in Multimodal Medical RAG Systems发表日期:
2025年08月作者:
Kaiwen Zuo, Zelin Liu, Raman Dutt, Ziyang Wang, Zhongtian Sun, Yeming Wang, Fan M0, Pietro Liò发表单位:
University of Warwick, Shanghai Jiao Tong University, University of Edinburgh, Aston University, University of Kent, Xiamen University, University of Oxford, University of Cambridge原文链接:

医疗AI系统面临的新威胁：数据中毒攻击在医疗AI领域，检索增强生成（RAG）系统已经成为减少"幻觉"（hallucinations）——即模型生成看似合理但实际错误的医疗信息——的关键技术。RAG通过从外部知识库检索相关的医学图像和文本来增强生成过程，提供更准确的诊断支持。然而，这种依赖外部知识库的设计恰恰成为了系统的最薄弱环节。在真实的医疗环境中，知识库需要定期更新，允许用户贡献或自动化数据管道的输入。这就为攻击者打开了一扇后门——他们可以在不需要接触模型权重或提示的情况下，向检索语料库中注入有害的、误导性的或语义冲突的图像-文本对。数据中毒攻击的本质是利用系统正常更新机制来注入恶意内容。攻击者不需要破解系统防御，只需要伪装成合法的数据贡献者，就能让系统"自愿"地吸收毒药。MedThreatRAG框架的基本原理MedThreatRAG是一个创新的多模态攻击框架，专门针对医疗视觉语言模型（Med-VLMs）中的RAG管道。与传统的直接攻击模型输入不同，该框架通过破坏中间的检索过程来实现攻击目的。框架的核心假设是一个半开放威胁模型：攻击者无法直接访问内部知识库，但可以通过合法的更新机制（如定期的知识库更新）向知识库中注入对抗性的图像-文本对。这种设置真实地反映了允许半结构化用户贡献的实际医疗系统。攻击者的目标是降低医疗视觉问答系统中的检索质量和生成准确性。给定一个任务三元组(I,Q,A)，其中I是医学图像，Q是临床问题，A是正确答案。被破坏的生成输出定义为：被破坏的生成输出数学定义，其中𝒢是生成函数，𝒞̃是从受威胁知识库中检索到的对抗性上下文为了确保攻击的隐蔽性，框架施加了语义相似性约束：语义相似性约束条件，确保对抗性样本与原始样本在语义空间中的距离不超过阈值ε图1：医疗视觉问答多模态攻击管道概览。包括三种攻击类型：(1)通过否定翻转约束的文本攻击，(2)使用扩散模型生成合成X射线图像的视觉攻击，(3)引入视觉和文本内容之间语义不匹配的跨模态冲突注入多模态攻击的三种主要策略及其影响文本攻击通过操纵文本模态来注入错误信息。攻击者为图像Iᵢ制作对抗性标题Tᵢᵃᵈᵛ，使得Aᵢᵃᵈᵛ ≠ Aᵢ，从而误导检索器。在黑盒设置中，攻击者使用语言模型（如GPT-4）生成看似合理但实际错误的标题。在白盒设置中，攻击者通过优化对抗性标题来最大化目标错误答案的可能性：文本攻击的优化目标函数，最大化模型输出"No"的条件概率视觉攻击（Visual Attack, VA）视觉攻击专注于操纵图像模态。首先使用在MIMIC数据集上微调的预训练扩散模型（Stable Diffusion V1-4）来生成临床准确的合成胸部X光图像。考虑全局对抗设置，优化单个对抗性图像Iᵃᵈᵛ⁻ᵛᵃ，使其与多个临床查询相关，从而混淆基于检索的诊断：视觉攻击的全局优化目标，通过余弦相似度鼓励对抗性图像与所有查询之间的语义对齐

跨模态冲突注入（CMCI）

这是MedThreatRAG框架中最具创新性和破坏性的攻击策略。CMCI通过在图像和文本模态之间注入语义矛盾信息来破坏检索增强生成中的推理过程。攻击者构建对抗性对(Iᵃᵈᵛ⁻ᶜᴹᶜᴵ, Tᵃᵈᵛ⁻ᶜᴹᶜᴵ)，这些对在检索时看起来是连贯的，但会导致误导性的生成答案。攻击优化以下联合目标：L_align = cos(f_I(I), f_T(T)) // 鼓励在检索模块中图像-文本对看起来语义对齐L_misalign = log P("Normal Bone" | Q_i, I, T) // 鼓励语言模型生成误导性输出L_CMCI = λ₁·L_align + λ₂·L_misalign // 加权组合的总损失函数图2：文本、真实和恶意图像嵌入的3D可视化。T-SNE投影图显示每种类型都有不同的聚类，对抗性图像位置更接近真实图像，表明对抗性操作将对抗性图像移动到合法数据附近，可能导致错误分类或检索错误CMCI的巧妙之处在于它同时保持了两个看似矛盾的目标：在检索层面保持语义对齐（让系统认为这是相关材料），在生成层面制造语义冲突（导致错误诊断）。这种攻击方式特别危险，因为它很难被传统的安全检测机制发现。实验设计与数据来源解析为了系统评估MedThreatRAG的有效性和鲁棒性，研究团队设计了一系列实验来回答三个关键研究问题。实验设置精心设计以模拟真实的医疗AI部署环境。模型与基础设施研究使用LLaVA-Med1.5 7B作为骨干模型，这是一个专门为医疗领域设计的视觉语言模型。在多模态RAG框架中，使用CLIP和OpenCLIP作为检索器来获取相关的医学图像-文本对。为了重新排序和生成，使用Qwen VL Chat和LLaVA模型来确保上下文准确性和强大的输出生成。用于对抗性视觉攻击的扩散模型在MIMIC-III数据集上进行了全面微调，以合成真实但对抗性的医学图像。评估数据集实验在两个广泛使用的医学成像基准数据集上进行：IU X-ray：包含与放射学报告对齐的胸部X光图像，是医学影像分析领域的重要基准数据集。MIMIC-CXR：大规模临床胸部X光数据集，包含对齐的问题-答案对，来自真实的医院环境，具有重要的临床意义。为了模拟中毒攻击，研究团队使用基于扩散的图像生成和否定翻转技术创建合成对抗性图像-文本对，然后将这些对注入外部知识库以测试模型韧性。评估指标研究报告准确率、精确率、召回率和F1分数，以全面评估分类和生成性能。报告中表格的最小值用粗体标出，第二小的值用下划线标出，这样可以清晰显示攻击对模型性能的影响程度。这种实验设计不仅测试了攻击的有效性，还揭示了不同攻击策略的相对威力，以及当前医疗AI系统在面对多模态攻击时的脆弱程度。临床案例分析：多模态攻击引发的实际威胁MedThreatRAG框架通过真实临床案例展示了多模态攻击的破坏性影响。在论文的案例研究中，两个典型医疗场景被用来演示攻击效果：肺炎检测和脑肿瘤分类。这些案例不仅揭示了技术漏洞，更突显了潜在的生命威胁。图3：多模态攻击在肺部和脑部诊断系统中的漏洞图示。左图显示肺炎检测案例，右图显示脑肿瘤分类案例， demonstrating how attacks cause clinically significant errors.在第一个案例中，涉及肺炎检测，LLaVA-Med模型原本能准确诊断出"右下叶实变"。然而，在多模态中毒攻击后，模型错误地输出"肺部清晰"，完全忽略了明显的医学证据。这种错误不仅源于图像或文本的单独 manipulation，而是跨模态语义对齐被破坏的结果——攻击者通过CMCI策略注入矛盾的图像-文本对，使得检索器获取误导性上下文，最终导致生成器输出危险结论。第二个案例聚焦脑肿瘤分类，模型正确识别出的胶质母细胞瘤被攻击扭曲为脑膜瘤误诊。这凸显了多模态攻击的协同效应：视觉和文本模态同时被扰动，迫使模型在保持跨模态一致性的前提下输出错误。攻击仅需35%的中毒密度就能造成 catastrophic 性能下降，说明当前医疗AI架构的脆弱性。这些案例证实，多模态对抗扰动利用了视觉和文本模态间的 interdependencies，诱导出可能危及生命的诊断错误，覆盖肺病学和神经学等多个医疗领域。攻击的隐蔽性更高，因为生成的对抗样本在语义空间中接近合法数据，难以被传统过滤器检测。安全指南：构建更安全的医疗多模态RAG系统的建议基于MedThreatRAG的发现，论文提出了一套具体指南来增强医疗多模态RAG系统的安全性。这些建议针对三种核心攻击类型，旨在从数据入口到输出层构建多层防御。防御文本攻击（TA）文本攻击通过注入错误标题误导检索，防御策略包括自动事实检查 against 可信医学本体（如医学术语库），集成否定检测算法来识别矛盾陈述，并使用语言模型一致性评分。低置信度项目应路由给人类专家审核，确保只有验证过的文本进入知识库。

防御视觉攻击（VA）

针对合成图像攻击，系统应采用感知哈希技术快速比对图像指纹，部署扩散伪影检测器识别AI生成痕迹，并添加分布外过滤器 flag 异常图像。被标记的图像应降级排名或暂存待人工审查，防止恶意内容影响检索。防御跨模态冲突注入（CMCI）CMCI是最棘手的攻击，需计算图像-文本蕴含分数来量化语义一致性。系统应丢弃高矛盾对，例如通过预训练模型评估图像和文本的匹配度。实时遥测和警报阈值可触发即时回滚到安全知识库快照，赋予临床医生 veto 权覆盖可疑检索。此外，指南强调 provenance 日志记录、定期红队演练和合规性（如HIPAA/GDPR），确保端到端安全。框架的模块化设计允许热交换检索组件（如用GraphRAG替代向量检索），无需重构防御堆栈，提供灵活性和低延迟保障。未来展望：防御策略的发展方向MedThreatRAG暴露的漏洞指向医疗AI安全的新前沿。未来防御需超越表面验证，转向上下文感知和自适应机制。潜在方向包括开发实时多模态一致性监控器，动态评估检索内容的临床合理性，并集成强化学习以自适应调整安全阈值。此外，跨机构协作建立标准化的中毒数据集和基准测试至关重要， enabling 社区范围的压力测试。论文呼吁NLP和临床AI社区追求原则性防御，如可解释AI工具来溯源错误，以及联邦学习框架在保护隐私的同时增强鲁棒性。长期来看，融合区块链技术用于不可变知识库审计，或发展生成式对抗网络（GANs）进行对抗样本检测，可能成为下一代防御基石。这些进步将确保医疗RAG系统不仅在准确性上领先，更在安全性和信任度上树立新标准。结论与研究意义MedThreatRAG框架系统性地揭示了医疗多模态RAG系统的安全漏洞，通过文本、视觉和跨模态攻击模拟现实威胁。研究证实，即使单一对抗性知识注入也能诱发检索不一致和误导输出，暴露当前鲁棒性策略的盲点。本论文的意义远超技术层面，它敲响了医疗AI部署的安全警钟。在AI日益融入临床决策的当下，确保系统抗攻击能力不是可选项，而是临床必需。研究发现呼吁行业采纳威胁感知设计，推动多模态一致性检查成为标准实践。最终，MedThreatRAG不仅是一个攻击框架，更是一个催化剂，促使研究者和开发者共建更安全、可信的医疗AI未来。通过采纳论文指南，社区可 mitigate 风险，保护患者安全，同时释放AI在 healthcare 中的全部潜力。点击链接查看原论文更多细节：How to make Medical AI Systems safer? Simulating Vulnerabilities, and Threats in Multimodal Medical RAG Systems.pdf

来源：中国数字医疗网