摘要：在视觉多模态大语言模型的快速发展中，幻觉问题一直是研究者们关注的焦点。模型生成与输入图像不一致甚至虚假的内容，不仅影响用户体验，也阻碍了多模态技术在实际场景中的落地。对此，微软亚洲研究院和香港中文大学的联合研究团队从直接偏好优化（DPO）入手，提出了 On-P

编者按：在视觉多模态大语言模型的快速发展中，幻觉问题一直是研究者们关注的焦点。模型生成与输入图像不一致甚至虚假的内容，不仅影响用户体验，也阻碍了多模态技术在实际场景中的落地。对此，微软亚洲研究院和香港中文大学的联合研究团队从直接偏好优化（DPO）入手，提出了 On-Policy Alignment (OPA)-DPO 算法，可通过确保训练数据与初始策略（reference policy）的一致性，有效解决幻觉问题。该成果已获选计算机视觉领域顶会 CVPR 2025 的 Oral 论文。

在视觉多模态大语言模型领域，生成与输入图像不一致甚至还有虚假内容的“幻觉”现象，是一个亟待攻克的核心难题。作为一种简单有效的解决方案，直接偏好优化 (DPO) [1] 正在引起越来越多的关注。研究者们通过比较模型在相同提示词和图像下的不同响应，根据幻觉程度直接构造偏好数据对，用于 DPO 训练。

然而，微软亚洲研究院的研究员们注意到，现有研究中不同的数据构造方法会导致显著的性能差异。因此，他们对“基于 DPO 解决多模态大模型幻觉问题”的算法进行了全面分析，总结了它们的表现及局限性，同时从理论角度揭示了各算法性能差异背后的根本原因，并指出决定模型性能的最关键因素是“用于构建偏好对的数据，相较于 DPO 开始前的策略（reference policy）是否为同策略（on-policy）”。

DPO：幻觉问题的曙光，还是新的挑战？

研究员们将此前的研究工作分为三类：

第一类是幻觉注入类，如 HALVA [2]和 POVID [3]，通过在已有图像和提示的标准响应中人为注入幻觉片段来构建偏好对；

第二类是幻觉识别类，如 RLHF-V [4]、HA-DPO [5]和 HSA-DPO [6]，先让模型根据图像和提示自行生成响应，然后利用专家反馈（人类或 GPT-4/4v）来识别和修改其中的幻觉，从而构建偏好对；

第三类是自我进化类，如 RLAIF-V[7]，让模型针对同一图像和提示生成多个响应，并由一个在幻觉识别方面能力更强的导师模型对这些响应中的幻觉严重程度进行判断和排序，以此构建偏好对。

图1：三类此前的研究工作

根据实验结果，这三类算法的性能总结为：自我进化类 > 幻觉识别类 > 幻觉注入类。

对于幻觉注入类，幻觉通常并不来自模型本身，因此通过 DPO 训练往往不能给模型带来很大增益。对于自我进化类，理论上由于维度灾难问题，让模型自行探索并找到完全正确的回复是十分困难的，所以那些存在于多个回复中的顽固幻觉通常无法通过这种方法消除。

直觉上，幻觉识别类的方法应该是最高效的解决幻觉的方案，那为什么在实践中这类方法却败下阵来？为了了解背后的原因，研究员们从 DPO 算法的细节入手进行研究。

与最常用的 RLHF 算法 PPO 的初始目标相同，DPO 的初始目标也是（π_θ 是模型的当前策略，π_ref 是模型的初始策略/参考策略，x 为提示词，m 为图像，y 为响应，r(x,y,m) 是通过 Bradley-Terry model 训练得到的奖励函数）：

即在最大化奖励的同时，约束模型当前策略与模型初始策略之间的 KL 散度。然而，研究员们重新审视 KL 散度的定义发现，给定任何一个提示词和图像 (x,m)，若存在一个响应 (y) 使得 π_θ(y|x,m)>0，但 π_ref(y|x,m)→0，此时 KL 散度会趋于无穷大。这个性质说明——对于任何从目标函数 (1) 出发的算法，那些相对原始策略 (π_ref) 采样概率极低的响应（根据强化学习的命名规范，这种数据被称为异策略（off-policy）数据，相反则为同策略（on-policy）数据）将没有任何机会被模型学会。

如果非要将这些异策略（off-policy）的优选响应（preferred response）拿来构建 DPO 偏好对，会导致梯度在下一次更新时几乎消失。

重温 DPO 训练的优化目标：

其中 y_w 是优选响应（preferred response），y_l 是被拒响应（rejected response），其梯度可表示为（σ(⋅) 是 sigmoid 函数）：

训练开始前 π_θ=π_ref，所以 sigmoid 函数内部的值应当为0，即当前策略会以 0.5β 为系数对 y_w 进行最大对数似然更新（max-loglikelihood update）。但是在这一步更新过后，logπ_ref(y_w∣x,m)π_θ(y_w∣x,m) 将会趋近于极大值（因为分子 > 0，而分母趋近于0），从而导致 σ(−r_w+r_l)→0。因此，梯度会在下一次更新时几乎消失。

回顾幻觉识别类的方法，专家改动后的响应，大部分对于原模型来说都是异策略（off-policy）的，即使这些改动再微小也无济于事，所以根本无法指望这些专家反馈能被模型学会。相对应地，自我进化类方法即使存在学习效率不高的潜在问题，但是它构建的偏好对都来自模型本身，即全是同策略（on-policy）的，因此效果最好。

OPA-DPO：打破常规，重塑对齐策略

是否存在一种方法既能够利用专家的精确反馈，又能完全避免异策略（off-policy）导致的 KL 散度约束问题？

针对现有方法的局限性，微软亚洲研究院联合香港中文大学提出了一种简单而高效的算法 On-Policy Alignment(OPA)-DPO，将专家的精确反馈数据在 DPO 训练前与模型策略对齐。在仅使用4.8k数据的情况下，OPA-DPO 可以实现目前 SOTA 的性能，而之前的 SOTA 算法需要16k数据。该成果已获选计算机视觉领域顶会 CVPR 2025 的 Oral 论文。

Mitigating Hallucinations in Large Vision-Language Models via DPO: On-Policy Data Hold the Key

论文链接：

图2：OPA-DPO 的具体实现方法

OPA-DPO 的具体实现方法如下：首先，给定图像和提示，让模型自行生成对应的响应；接着，利用专家反馈（如 GPT-4v）对生成内容进行细粒度修改，保留正确的响应部分，同时纠正其中存在的幻觉内容；然后，将数据集中的真实响应与专家修改后的响应进行 LoRA-SFT 微调，得到一个新的模型（研究员们将其称为 OPA 模型）；最后，在 OPA 模型的基础上，进行后续的 DPO 训练，其中研究员们参考了 mDPO 的设定，在构建语言偏好对的同时也构建了图像偏好对以及锚点对，尽管这些元素都很重要，但对最终结果影响最大的还是 OPA 操作。

图3：OPA-DPO 通过四步实现对齐

研究员们综合比较了基于 LLaVA-1.5-7B 和 13B 模型微调的各种 DPO-based 的算法，OPA-DPO 在使用 4.8k 数据的情况下可在多个指标上实现 SOTA 效果。

表1：为公平比较各类 RLAIF/RLHF 增强 LVLM 的算法，研究员们在多个基准上统一使用了贪婪采样评估，标注了来源以区分官方复现与论文结果，并对每组指标中的最佳成绩加粗标示。

OPA-DPO的真正实力

为了验证 OPA 操作的重要性以及数据量对最终效果的影响，研究员们进行了细致的消融实验。

图4：训练数据量和 OPA 操作对 OPA-DPO 的影响（消融实验）

此外，研究员们还使用了最近提出的 LLaVA-OneVision 作为基座模型进行实验。据观察，LLaVA-OneVision 输出的内容细致但略显冗余，往往会出现严重的幻觉现象，在这种情况下 OPA-DPO 的效果更加显著，仅仅通过2.4k数据的训练就可以实现幻觉指标上的显著提升。

表2：OPA-DPO 在 LLaVA-OneVision 上的实验结果

研究员们发现，使用 OPA-DPO 训练过的模型会呈现出一种略显保守的策略，尤其是在描述任务中，它通常只输出显著并且确定的观测，而忽略一些不重要的细节。

图5：图像描述任务下 OPA 操作对 DPO 训练模型输出的影响

不仅如此，研究员们还观测到一个有趣的现象：基座模型往往默认 query 中的语言是准确无误的，即使这部分文字存在严重幻觉，模型也会顺着其描述图片，这或许可以理解为一种文字惯性现象。而通过 OPA-DPO 训练的模型则展现出了甄别 query 文字部分幻觉的能力。

图6：错误前提问询任务下，OPA-DPO 训练后的模型出现甄别 query 内幻觉的能力

OPA-DPO 的提出不仅提升了算法性能，更推动了多模态对齐方法的发展。其“以专家反馈生成同策略（on-policy）数据”的理念，已成为当前多模态对齐训练中的重要突破口。

参考文献：

[1] Rafailov R, Sharma A, Mitchell E, et al. Direct preference optimization: Your language model is secretly a reward model. Advances in Neural Information Processing Systems, 2023, 36: 53728-53741.

[2] Zhou Y, Cui C, Rafailov R, et al. Aligning Modalities in Vision Large Language Models via Preference Fine-tuning. ICLR 2024 Workshop on Reliable and Responsible Foundation Models.

[3] Sarkar P, Ebrahimi S, Etemad A, et al. Data-augmented phrase-level alignment for mitigating object hallucination. arXiv preprint arXiv:2405.18654, 2024.

[4] Yu T, Yao Y, Zhang H, et al. RLHF-V: Towards trustworthy mllms via behavior alignment from fine-grained correctional human feedback. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2024: 13807-13816.

[5] Zhao Z, Wang B, Ouyang L, et al. Beyond hallucinations: Enhancing lvlms through hallucination-aware direct preference optimization. arXiv preprint arXiv:2311.16839, 2023.

[6] Xiao W, Huang Z, Gan L, et al. Detecting and mitigating hallucination in large vision language models via fine-grained ai feedback. arXiv preprint arXiv:2404.14233, 2024. (AAAI 2025)

[7] Yu T, Zhang H, Yao Y, et al. Rlaif-v: Aligning mllms through open-source ai feedback for super gpt-4v trustworthiness. arXiv preprint arXiv:2405.17220, 2024. (CVPR 2025)

[8] Wang F, Zhou W, Huang J Y, et al. mDPO: Conditional Preference Optimization for Multimodal Large Language Models. Proceedings of the 2024 Conference on Empirical Methods in Natural Language Processing. 2024: 8078-8088.

来源：微软亚洲研究院一点号