摘要：这项由韩国KAIST人工智能研究院的尹熙智、郑在宇、金俊完等研究人员与纽约大学、中央大学、高丽大学、苏黎世联邦理工学院合作完成的研究发表于2025年9月，论文题为《Visual Representation Alignment for Multimodal L

这项由韩国KAIST人工智能研究院的尹熙智、郑在宇、金俊完等研究人员与纽约大学、中央大学、高丽大学、苏黎世联邦理工学院合作完成的研究发表于2025年9月，论文题为《Visual Representation Alignment for Multimodal Large Language Models》。有兴趣深入了解的读者可以通过论文网址https://cvlab-kaist.github.io/VIRAL访问完整研究内容。

当下我们生活在一个充满智能助手的时代，从手机上的语音助手到各种聊天机器人，这些人工智能系统都在努力理解我们的图片和文字。然而就像一个刚学会认字却还不太会看图的孩子，现在的多模态大语言模型在处理需要精细视觉理解的任务时经常出错。比如当你问它"这张照片里有几个人在举旗子"时，它可能会答错数量，或者当你询问"飞机后面是哪家航空公司的标志"时，它可能会看错logo。

这个问题的根源在于现有的训练方式。目前的多模态大语言模型就像一个只听课文朗读却很少看插图的学生，虽然文字理解能力很强，但对图像细节的把握却不够精准。研究团队发现，这些模型在训练过程中只接受文字监督，缺乏对视觉通道的直接指导，导致许多重要的视觉细节在学习过程中被丢弃了。

为了解决这个问题，KAIST团队提出了一种名为VIRAL的创新方法，全称为"视觉表征对齐"。这种方法的核心思想是让多模态大语言模型的内部视觉表征与预训练的视觉基础模型保持一致，就像让学生不仅要听老师讲课，还要对照标准答案检查自己的理解是否准确。

经过在多个基准测试上的验证，VIRAL方法在所有任务上都取得了一致的性能提升，特别是在需要精细视觉理解的任务上表现尤为突出。这项研究为如何有效整合视觉信息到多模态大语言模型的训练中开辟了重要方向。

一、问题的发现：为什么AI看图会"失焦"

要理解这项研究的价值，我们首先需要明白现在的多模态大语言模型是如何工作的。这些模型就像一个既能看图又能读文的学生，它们由三个主要部分组成：一个专门处理图像的视觉编码器，一个专门理解文字的大语言模型，还有一个连接两者的投影器。

当我们给这样的模型展示一张图片并提出问题时，视觉编码器首先会将图片转换成数字化的特征表示，就像把一幅画转换成详细的文字描述。然后投影器会把这些视觉特征翻译成语言模型能够理解的形式，最后语言模型根据这些信息生成回答。

然而研究团队发现了一个关键问题：在现有的训练方式下，这些模型只在文字输出上接受监督，就像老师只根据学生的作文来评分，而不检查学生是否真正看懂了图片。这种训练方式导致模型在学习过程中可能会丢弃那些对于生成正确文字答案来说不是立即必要的视觉细节。

举个具体例子，当模型看到一张"一群人举着大旗子"的照片时，如果训练数据中的描述只是简单地说"一张人们举旗的照片"，那么模型就没有动机去记住确切有几个人、旗子是什么颜色、人们的具体位置等细节信息。这就解释了为什么现在的多模态模型在需要精确计数或空间推理的任务上表现不佳。

为了验证这个假设，研究团队设计了一个巧妙的实验。他们测量了LLaVA模型内部视觉表征与其输入视觉编码器原始特征之间的相似性。结果令人震惊：随着网络层数的加深，这种相似性急剧下降，这意味着模型的内部表征正在偏离视觉编码器提供的丰富信息。

更有趣的是，研究人员发现在网络的中间层存在一个小幅度的相似性回升，这暗示网络在某种程度上意识到保留视觉信息的重要性。这个发现为后续的解决方案提供了重要线索。

二、解决方案的探索：让AI重新"聚焦"视觉细节

基于对问题根源的深入理解，研究团队开始探索各种可能的解决方案。他们的第一次尝试是通过残差连接的方式，将投影后的视觉特征重新注入到语言模型的中间层，就像在学生做题的过程中不断提醒他们参考原始图片。

这种方法确实带来了一定的改善，模型与视觉编码器特征的对齐程度得到了提升，在多个基准测试上的表现也有所改进。然而当研究团队尝试直接使用视觉编码器的原始特征时，效果反而变差了。这是因为原始的编码器特征还没有经过专门的视觉-语言对齐训练，直接注入反而会干扰模型的正常工作。

这个发现启发研究团队思考一个更根本的问题：与其简单地重新注入特征，为什么不直接约束模型的内部表征，让它们与理想的视觉表征保持一致呢？

于是他们提出了视觉表征对齐的方法。这种方法通过添加一个额外的对齐损失函数，直接监督模型中间层的视觉表征，使其与预训练视觉编码器的特征保持相似。具体来说，他们使用余弦相似度来衡量模型内部表征与目标特征之间的差异，并将这个差异作为额外的训练目标。

更进一步，研究团队意识到仅仅与输入的视觉编码器对齐可能还不够。他们开始尝试与更强大的视觉基础模型进行对齐，比如DINOv2、SAM等专门为视觉任务设计的模型。这些模型由于接受了更专业的视觉训练，能够提供更丰富、更准确的视觉表征。

这就像让学生不仅要对照课本，还要参考更多权威资料来检验自己的理解。通过与这些强大的视觉基础模型对齐，多模态大语言模型不仅能够保留来自输入编码器的重要视觉细节，还能够吸收来自视觉基础模型的额外视觉知识，从而增强其处理复杂视觉输入的能力。

三、VIRAL方法的技术核心：让AI学会"看图说话"

VIRAL方法的核心思想可以比作教导一个学生如何更好地观察和描述图片。传统的训练方式只关注学生的最终答案是否正确，而VIRAL方法还会检查学生在思考过程中是否真正理解了图片的内容。

具体来说，VIRAL在原有的语言建模损失基础上，增加了一个视觉表征对齐损失。当模型处理一张图片时，研究团队会提取模型内部某一层的视觉表征，然后将其与预训练视觉基础模型的特征进行比较。如果两者的相似度不够高，模型就会受到额外的惩罚，促使它调整内部表征以更好地保留视觉信息。

这个过程中有几个关键的技术细节。首先是选择合适的对齐层。通过大量实验，研究团队发现在32层模型的第16层进行对齐效果最好。这一层正好处于网络的中间位置，既保证了视觉特征的充分处理，又避免了过度的语言化影响。

其次是选择合适的视觉基础模型。研究团队测试了多种不同的视觉基础模型，包括CLIP、DINOv2、SAM、Depth Anything v2和RADIO等。结果显示，DINOv2作为对齐目标时效果最好，这主要是因为DINOv2专门为视觉表征学习而设计，能够提供更丰富的空间和语义信息。

在对齐损失的设计上，研究团队采用了基于余弦相似度的方法，而不是简单的欧氏距离或其他度量方式。余弦相似度关注的是向量的方向而不是大小，这更适合衡量高维特征表征之间的语义相似性。

为了平衡原有的语言建模任务和新增的视觉对齐任务，研究团队设置了一个权重参数λ。经过调试，他们发现将λ设置为0.5时能够取得最好的效果，既保证了语言理解能力不受影响，又充分利用了视觉对齐的好处。

四、实验设计与结果：全方位验证AI视觉能力提升

为了全面验证VIRAL方法的有效性，研究团队设计了一系列详尽的实验。他们基于广泛使用的LLaVA-1.5模型进行改进，该模型结合了Vicuna-1.5作为语言模型和CLIP作为视觉编码器。为了保证实验的公平性，他们仅使用原始的LLaVA-665K数据集，没有添加任何额外数据。

实验涵盖了三个主要类别的任务。第一类是需要精细空间推理或对象计数的视觉中心任务，包括CV-Bench2D、What's Up和MMVP等基准测试。这些任务专门考察模型对视觉细节的理解能力，比如准确计数图片中的对象数量、理解空间关系等。第二类是多模态幻觉检测任务，使用POPE基准测试来评估模型是否会产生与图像内容不符的错误描述。第三类是通用多模态理解任务，通过MME和MMStar等综合性基准测试来确保方法的通用性。

实验结果令人惊喜。在所有测试的基准上，使用VIRAL方法训练的模型都取得了一致的性能提升，尤其是在需要精细视觉理解的任务上表现最为突出。比如在CV-Bench2D测试中，性能从56.82%提升到59.67%，在MMVP测试中从28.20%提升到33.33%，在What's Up测试中从40.13%提升到48.55%。

为了验证方法的通用性，研究团队还在不同的视觉编码器和语言模型上进行了测试。他们发现即使将CLIP替换为更强大的SigLIPv2编码器，VIRAL方法仍然能够带来显著提升。同样，在更大的13B参数模型和不同的语言模型如Qwen2.5上，VIRAL都表现出了一致的改进效果。

五、深入分析：揭秘AI视觉理解的内在机制

为了更深入地理解VIRAL方法为什么有效，研究团队进行了一系列精心设计的分析实验。他们首先研究了不同视觉基础模型作为对齐目标的效果。通过比较DINOv2、CLIP、SAM、Depth Anything v2和RADIO等不同模型，他们发现DINOv2作为对齐目标时效果最佳。这个发现并不意外，因为DINOv2专门为自监督视觉表征学习而设计，能够捕获更丰富的视觉语义信息。

接下来，研究团队系统地研究了在不同网络层进行对齐的效果。他们测试了从第4层到第32层的多个位置，发现第16层是最佳的对齐位置。这个位置正好处于网络的中间部分，此时视觉特征已经经过了充分的处理，但还没有被过度地语言化。这个发现与之前关于多模态大语言模型信息流动的研究结果高度一致。

在对齐策略方面，研究团队比较了单层对齐和多层对齐的效果。令人意外的是，仅在单个层进行对齐比在多个连续层进行对齐效果更好。这可能是因为多层对齐会过度约束模型的表征学习，影响其自然的特征演化过程。

研究团队还测试了不同的对齐损失函数。除了默认的余弦相似度损失，他们还尝试了基于特征关系对齐的方法，即比较自相似矩阵而不是直接特征。结果显示，直接的余弦相似度对齐效果更好，这表明保持特征的绝对信息比保持相对关系更重要。

为了从另一个角度验证方法的有效性，研究团队分析了模型的注意力模式变化。他们发现使用VIRAL训练的模型在文本-图像交叉注意力上表现出更好的定位能力，能够更准确地关注与问题相关的图像区域。通过空间熵指标的量化分析，他们发现VIRAL训练的模型注意力更加集中，特别是在负责视觉理解的中间层。

六、训练效率与鲁棒性：AI学习的"加速度"与"稳定性"

VIRAL方法不仅在最终性能上有所提升，在训练效率方面也展现出了意外的优势。研究团队通过在训练过程中每1000步评估一次模型性能，发现使用VIRAL方法的模型收敛速度明显更快。这就像给学生提供了更清晰的学习指导，不仅最终成绩更好，学习过程也更加高效。

在POPE测试中，VIRAL模型从训练开始就表现出更高的准确率，并且这种优势随着训练的进行而持续保持。在CV-Bench2D和MMVP等更具挑战性的视觉任务中，虽然两种方法在早期阶段表现相似，但VIRAL模型在训练后期显示出更明显的改进。这表明视觉表征对齐不仅提高了最终性能，还加速了学习过程。

为了进一步验证VIRAL方法对视觉信息的敏感性，研究团队设计了一个巧妙的鲁棒性测试。他们在输入图像的视觉token上进行随机排列，然后观察模型性能的下降程度。理论上，如果一个模型真正理解和利用了视觉信息，那么当视觉token的空间顺序被打乱时，其性能应该显著下降。

实验结果证实了这一预期。使用传统方法训练的模型在视觉token随机排列后性能下降幅度很小，这表明它们并没有真正利用视觉信息的空间结构。而使用VIRAL方法训练的模型在相同条件下表现出更大的性能下降，这恰恰证明了它们对视觉空间信息更加敏感，更好地学会了利用图像的空间关系。

这种现象在使用CLIP编码器时尤为明显，性能下降幅度从6.5%增加到13.0%。在使用更强的SigLIPv2编码器时，这种差异更加显著，从5.6%增加到19.0%。这些数据有力地证明了VIRAL方法确实让模型更好地学会了理解和利用视觉信息中的空间关系。

七、实际应用效果：从实验室到现实场景

通过大量的定性分析，研究团队展示了VIRAL方法在实际应用中的效果改善。在对象计数任务中，传统的LLaVA-1.5模型经常出现计数错误，比如将图片中的四只狗错误地识别为三只。而使用VIRAL方法训练的模型能够给出正确的计数结果，这表明它更好地保留了视觉细节信息。

在空间关系理解方面，改进同样明显。当被问及"考虑到植物（红框标注）和热水浴缸在图像中的相对位置，植物相对于热水浴缸位于何处"时，原始模型可能会给出错误的方向判断，而VIRAL改进的模型能够准确识别出"上方"这一正确答案。

为了更直观地理解这种改进，研究团队对模型内部的视觉表征进行了主成分分析可视化。结果显示，使用VIRAL方法训练的模型产生的视觉表征在结构上更加清晰和有序，不同的视觉概念在表征空间中形成了更明确的聚类结构。这种有序性反映了模型对视觉信息理解的深度和准确性。

特别值得注意的是，这种改进不仅体现在训练过程中的指标提升上，更重要的是在实际使用场景中的表现。模型在面对需要精确视觉理解的问题时，能够给出更加准确和可靠的答案，这对于实际部署和应用具有重要意义。

八、方法的局限性与未来展望

尽管VIRAL方法取得了显著的成功，但研究团队也诚实地承认了当前方法的一些局限性。首先，该方法的效果在很大程度上依赖于所选择的视觉基础模型的质量。如果基础模型本身在某些视觉任务上表现不佳，那么对齐到这样的模型可能不会带来预期的改进，甚至可能产生负面影响。

其次，当前的方法主要关注单层对齐，虽然实验显示这种策略效果最好，但这可能限制了方法的进一步发展潜力。未来的研究可能需要探索更复杂的多层对齐策略，或者设计自适应的对齐方案。

在计算成本方面，VIRAL方法确实增加了一定的训练开销，因为需要额外计算视觉基础模型的特征并进行对齐损失的计算。不过相对于整体的训练成本，这种额外开销是可以接受的，而且考虑到训练效率的提升，总体的时间成本可能反而会降低。

对于方法的通用性，虽然实验在多个不同的模型架构和数据集上都验证了有效性，但在更大规模的模型或者完全不同的视觉-语言任务上的表现还需要进一步验证。特别是在一些高度特化的领域任务中，通用的视觉基础模型可能无法提供最适合的对齐目标。

九、技术影响与产业意义

VIRAL方法的提出不仅仅是一个技术改进，更重要的是它揭示了多模态大语言模型训练中的一个根本性问题，并提供了一个简洁而有效的解决方案。这种思路对整个人工智能领域都具有重要的启发意义。

从技术发展的角度来看，这项研究强调了在多模态学习中平衡不同模态监督信号的重要性。长期以来，研究者们更多地关注如何设计更强大的网络架构或收集更多的训练数据，而相对忽视了训练目标设计的重要性。VIRAL方法的成功表明，有时候问题的解决方案可能就在于重新审视训练过程本身。

这种思路的影响已经开始在学术界显现。越来越多的研究者开始关注多模态模型内部表征的质量，而不仅仅是最终的任务性能。这种转变可能会推动更多创新的训练方法和评估标准的出现。

从产业应用的角度来看，VIRAL方法的实用性是其最大的优势之一。该方法可以轻松地集成到现有的多模态大语言模型训练流程中，不需要大规模的架构修改或额外的数据收集。这使得它很容易被产业界采用和部署。

对于那些依赖视觉理解的应用场景，比如智能客服、内容审核、教育辅助等，VIRAL方法带来的准确性提升可能会产生直接的商业价值。更准确的视觉理解意味着更少的错误，更高的用户满意度，以及更低的人工干预成本。

说到底，这项来自KAIST的研究为我们展示了一个重要道理：有时候最有效的解决方案并不需要完全重新发明轮子，而是在现有技术的基础上找到正确的改进方向。VIRAL方法通过一个简单而优雅的视觉表征对齐策略，解决了困扰多模态大语言模型的一个核心问题。

这种方法的意义不仅在于性能的提升，更在于它为我们提供了一种新的思考多模态学习的方式。当我们训练一个既能看又能说的人工智能系统时，不应该只关注它说得对不对，还要关注它看得清不清。只有真正理解了视觉世界的丰富性和复杂性，人工智能才能在与人类的交互中表现得更加智能和可靠。

随着多模态人工智能技术的不断发展，我们可以预期会看到更多基于这种思路的创新方法。这些方法将帮助人工智能系统更好地理解我们的多模态世界，最终为人类提供更加智能和有用的服务。对于那些希望深入了解这一前沿研究的读者，建议访问研究团队提供的项目网站https://cvlab-kaist.github.io/VIRAL，那里有更详细的技术资料和实验结果。

Q&A

Q1：VIRAL方法是什么？它如何改善多模态大语言模型？

A：VIRAL是"视觉表征对齐"方法，由KAIST团队开发。它通过让模型内部的视觉表征与预训练视觉基础模型保持一致，解决了传统模型在视觉细节理解上的不足。这就像给学生提供标准答案来检验理解一样，让AI更好地保留和利用视觉信息。

Q2：为什么现有的多模态大语言模型在视觉理解上存在问题？

A：问题在于训练方式。现有模型只接受文字监督，就像老师只根据作文评分而不检查学生是否真正看懂了图片。这导致模型为了生成正确文字答案，会丢弃那些看似不重要的视觉细节，比如物体的确切数量、颜色、空间位置等信息。

Q3：VIRAL方法在实际应用中效果如何？有什么具体改进？

A：VIRAL方法在多个基准测试中都取得了显著提升，特别是在需要精细视觉理解的任务上。比如在对象计数、空间关系理解等任务中，准确率提升了3-8个百分点。实际应用中，模型能更准确地回答"图片中有几个人"、"物体的相对位置"等需要细致观察的问题。

来源：科技行者一点号1