摘要：要理解这项研究的意义，我们先简单聊聊视觉语言模型（VLMs）如何处理视频。想象你在看一段3分钟的视频，AI需要理解每一帧画面的内容，以及这些内容在时间线上如何演变。就像你在看电影时既能理解"现在屏幕上有什么"，也能记住"10秒前发生了什么"。但当前的AI在长视

要理解这项研究的意义，我们先简单聊聊视觉语言模型（VLMs）如何处理视频。想象你在看一段3分钟的视频，AI需要理解每一帧画面的内容，以及这些内容在时间线上如何演变。就像你在看电影时既能理解"现在屏幕上有什么"，也能记住"10秒前发生了什么"。但当前的AI在长视频上表现不佳，甚至连简单的物体计数和时间定位都会出错。

研究团队发现，问题的关键在于AI如何在处理信息时记住"位置信息"。在现有的模型中，广泛使用一种叫做"旋转位置编码"（RoPE）的技术，它在处理文本时效果很好，但直接应用到视频上却不理想。为什么呢？因为视频是三维的（时间、水平和垂直空间），而现有技术主要针对一维文本设计。

想象一下，如果你只能用一条直线表示一个立体空间，无论如何排列，总会丢失一些空间关系。这就是现有技术的困境。研究团队通过理论分析和实验，揭示了现有方法的两个关键缺陷：一是无法准确捕捉空间-时间的局部性，二是在长视频中难以保持语义相似性。

基于这些发现，研究团队提出了HoPE（混合位置编码）技术，包含两个创新点：一是混合频率分配策略，为空间和时间信息分配不同的编码频率；二是动态时间缩放机制，可根据视频速度灵活调整时间编码。就像一个同时精通空间方位和时间流逝的导游，HoPE能够更准确地引导AI理解视频内容的时空关系。

在四个视频基准测试上的实验表明，HoPE显著提升了模型在长视频理解和检索任务上的表现，比现有最佳方法分别提高了8.35%和22.23%。这意味着，配备HoPE技术的AI能更准确地回答"视频中第几分钟出现了小猫"这类问题，为视频内容分析、智能搜索和视频推荐等应用提供了更可靠的技术支持。

一、视频理解的时空挑战：现有模型的局限性

想象你正在看一段长达30分钟的烹饪视频，需要找出"什么时候厨师加入了盐"。对人类来说，这是个简单任务，但对AI却是个不小的挑战。卡内基梅隆大学的李浩然研究团队在分析现有视觉语言模型（VLMs）时发现，这些模型在处理超过预训练长度的视频时表现显著下降。

"许多视觉语言模型在面对长视频时表现得像失忆的观众，"研究团队形象地描述道，"它们甚至难以完成简单的物体计数和时间定位任务。"比如当你问"视频中总共出现了几次猫咪？"或"第15分钟发生了什么？"，模型往往给出错误答案。这一问题严重限制了VLMs在实际应用中的部署，因为现实世界的视频长度通常远超模型的预训练窗口。

造成这一问题的核心原因在于位置编码技术。在语言模型中广泛使用的旋转位置编码（RoPE）在文本处理中表现出色，但直接应用到视频上却面临挑战。这就像用一维直尺去测量三维物体，无论如何都会有信息丢失。

研究团队通过理论分析证明，传统RoPE中的"扁平化"操作会扭曲空间-时间的局部性。想象一下，在现实中相邻的两个画面位置（比如视频中相邻的两帧），经过扁平化处理后，它们的"距离"被人为放大了，这导致模型难以识别它们的邻近关系。具体来说，当视频分辨率为H×W时，相邻两帧之间的位置差异会被放大到HW，这种失真随着视频分辨率的增加而加剧。

此外，研究团队还发现，现有的多模态RoPE变体（如M-RoPE和VideoRoPE）虽然尝试通过不同的频率分配策略来解决这一问题，但它们在理论上仍无法在长视频中可靠地捕捉语义相似性。这就像一个听力不好的人在嘈杂环境中听电话，当对话时间延长，他越来越难以分辨重要信息和背景噪音。

最后，团队指出，现有技术在处理视频时间索引时缺乏灵活性。视频中的信息密度与文本相比有很大差异，不同视频的播放速度也各不相同。简单地为所有视频应用固定的时间缩放因子（如VideoRoPE中的做法）是次优的，因为它无法适应各种视频速度和信息密度的变化。

正是基于这些深入分析，研究团队提出了HoPE技术，旨在从根本上解决这些挑战，使视觉语言模型能够更好地理解和处理长视频内容。

二、HoPE：视频理解的新钥匙

想象你是一位精通时间和空间导航的向导，需要引导一位游客穿越一个既有空间维度又有时间维度的迷宫。这正是HoPE（混合位置编码）技术的核心任务——帮助AI更好地在视频的时空迷宫中导航。研究团队设计的HoPE技术包含两个关键创新：混合频率分配策略和动态时间缩放机制。

混合频率分配策略就像一张精心设计的地图，告诉AI如何同时关注空间细节和时间变化。在传统的位置编码中，不同维度的信息（如时间、水平位置、垂直位置）会被分配不同的频率。就像收音机调频一样，不同的频率承载不同的信息。但研究团队通过理论分析发现，这些频率分配策略在长视频中会失效。

"我们证明，无论采用什么频率分配策略，当视频长度超过某个阈值后，都无法可靠地保持语义偏好属性，"研究者解释道。这里的"语义偏好属性"指的是，无论相对位置如何，模型都应该优先关注语义相似的内容。

为解决这一问题，HoPE采用了一种混合策略：为空间信息（水平和垂直位置）分配高频，因为高频对位置差异更敏感，更适合捕捉局部特征；而对时间维度，则直接将最低频率设为零（类似NoPE技术），以实现可靠的长距离语义建模。这就像在地图上用不同颜色标记不同类型的信息，让导航更加清晰。

研究团队证明，这种混合策略在保持语义偏好方面提供了更强的理论保证，特别是在处理超长视频内容时。在数学上，这相当于将语义相似度计算中的时间项设为常数，避免了随着时间距离增加而产生的波动，从而保证了相似内容之间的注意力权重不会因为时间距离的增加而减弱。

与此同时，HoPE还引入了动态时间缩放机制，用于调整视觉输入的时间步长。考虑到文本和视觉标记的信息密度差异，以及现实世界视频速度的多样性，研究团队设计了一组缩放因子（如{0.5, 0.75, 1, 1.25, 1.5}），包括拉伸（γ > 1）和压缩（γ

在训练过程中，缩放因子γ随机从集合中选择并应用于每个视频。这使模型能够学习多种时间尺度下的时间关系，增强了对各种视频速度的鲁棒性。这就像教会导游在不同交通工具（步行、骑车、驾车）下仍能准确估计时间和距离，使导航更加灵活可靠。

"我们的动态时间缩放不仅增强了模型对各种视频速度的鲁棒性，还提供了在推理阶段跨多种上下文长度的灵活缩放能力，"研究者补充道。这意味着，即使面对训练中从未见过的视频长度和速度，配备HoPE的模型也能进行更可靠的理解和分析。

通过这两项创新，HoPE有效解决了现有技术在长视频理解中的核心挑战，为视觉语言模型提供了更可靠的时空导航能力。

三、实验验证：HoPE如何改变长视频理解

研究团队将HoPE技术应用到了Qwen2-2B和Qwen2-7B两种规模的模型上，并在四个视频基准测试中进行了全面评估，包括长视频理解任务（LongVideoBench、Video-MME和MLVU）和长视频检索任务（V-NIAH）。这些实验就像是对新导航系统的一系列实地测试，检验它在各种复杂地形中的表现。

在长视频理解任务中，HoPE与现有技术（传统RoPE、M-RoPE和VideoRoPE）进行了对比。实验设置中，所有方法的训练上下文长度均为8k，而评估则在8k、16k、32k和64k上进行，以测试模型的长度泛化能力。就像测试一位导游能否在不熟悉的地区仍然提供准确指引。

实验结果令人振奋。在7B规模模型和32k上下文长度下，HoPE在MLVU上比传统RoPE提高了2.82个百分点，在LongVideoBench上提高了4.05个百分点，在Video-MME上提高了1.45个百分点。这意味着，配备HoPE的模型能够更准确地回答关于长视频内容的问题，如"视频第20分钟发生了什么"或"视频中总共有几个人物"。

研究团队还观察到几个有趣的现象：首先，HoPE的效果会随着模型规模的增加而提升。当模型从2B增加到7B时，HoPE在LongVideoBench（32k）上相比传统RoPE的性能提升从0.66显著增加到4.05。这表明，较大的模型能够更好地利用HoPE提供的时空导航能力。

其次，在超长上下文（64k，相当于训练长度的8倍）下，所有方法的性能都有所下降，但HoPE的降幅最小，表现出更强的长度泛化能力。这就像一位优秀的导游，即使在从未探索过的地区，仍能保持相对较高的导航准确性。

在长视频检索任务（V-NIAH）中，HoPE的优势更加明显。V-NIAH要求模型在长视频中找到特定的"针"帧来回答问题，类似于在干草堆中寻找一根针。如果模型无法准确理解视频的时空结构，这个任务几乎不可能完成。

结果显示，HoPE比最好的基线（VideoRoPE）提高了惊人的22.23个百分点。这一显著提升证明了HoPE在处理复杂的视频空间-时间关系方面的卓越能力。这就像一位超级导游不仅能告诉你"这个城市有什么"，还能精确指出"那件特定的物品在哪个街区的哪个商店里"。

研究团队还进行了详细的消融研究，分别评估HoPE中各组件的贡献。结果表明，3D结构（相比于传统RoPE的扁平化处理）、混合频率分配（HFA）和动态时间缩放（DTS）各自都带来了性能提升。特别是在Video-MME上，完整的HoPE（包含所有组件）在8k到64k的所有上下文长度上都取得了最佳结果。

此外，团队还研究了测试时间缩放因子选择对性能的影响。他们发现，长视频检索任务通常偏好较小的缩放因子（如0.75），而长视频理解则在较长上下文下受益于较大的缩放因子（如1.5）。这一发现为不同任务提供了实用的指导，就像提醒导游在不同类型的旅行中调整步伐。

总体而言，这些实验结果有力地证明了HoPE在长视频理解和检索任务中的有效性，为视觉语言模型处理长视频内容提供了一条有前途的解决方路径。

四、HoPE的理论基础：为何它能更好地理解长视频

要深入理解HoPE的成功，我们需要探索其背后的理论基础。研究团队不仅提出了实用的技术解决方案，还通过严格的理论分析揭示了为何这些方案能够有效工作。这就像不仅知道一条路能到达目的地，还理解为什么这条路是最优选择。

研究的第一个理论贡献是证明了传统RoPE在处理视频时的固有缺陷。考虑一个形状为T×H×W的视频，其中T是帧数，H和W分别是高度和宽度。在传统RoPE中，位置(t, x, y)会被扁平化为一维索引f(t, x, y) = tHW + xW + y。

研究团队证明，这种扁平化操作会导致空间-时间局部性的扭曲。比如，同一帧内在空间上相邻的两个位置(t, x, y)和(t, x+1, y)，它们的索引差异是W；而在时间上相邻的两个位置(t, x, y)和(t+1, x, y)，它们的索引差异则是HW。这意味着，随着视频分辨率的增加，时间上的邻近关系被不成比例地放大，导致模型难以正确理解视频的时空结构。

研究的第二个理论贡献是引入"语义偏好属性"的概念，并分析不同频率分配策略对这一属性的影响。语义偏好属性要求，对于任何查询向量q和语义相似的键向量k'（可表示为k' = q + δ，其中δ是零均值扰动），注意力得分应满足：E[qR?t?x?yk'? - qR?t?x?yk?] ≥ 0，其中k是语义无关的键向量。简单来说，这要求模型在计算注意力时，应该更关注语义相似的内容，而不论它们在时空上的相对位置如何。

研究团队证明，无论选择何种频率分配策略（包括为时间维度选择最高或最低频率），当上下文长度足够长时，语义偏好属性都会被违反。这是因为，随着上下文长度的增加，即使是最低频率也会产生任意旋转，最终破坏语义相似性的捕捉。

基于这一理论分析，研究团队提出了混合频率分配策略，即为空间信息分配高频，而将时间维度的最低频率直接设为零。他们通过数学证明，这种策略在保持语义偏好方面提供了更强的理论保证。具体来说，当时间维度的频率设为零时，相应的注意力计算中的时间项变为常数，不再随时间距离的增加而波动，从而保证了语义相似内容之间的注意力权重不会因时间距离的增加而减弱。

研究的第三个理论洞见与时间缩放有关。研究团队发现，考虑到文本和视觉标记的信息密度差异，以及视频速度的多样性，时间索引缩放是必要的。但与VideoRoPE不同，他们主张时间缩放应该是双向的（既包括压缩也包括扩展）和动态的，以适应不同视频的特性。

这种动态时间缩放机制使模型能够学习多种时间尺度下的时间关系，从而增强了模型对各种视频速度的适应能力。在数学上，这相当于为模型提供了一组不同的"时间尺度"，使其能够在推理时灵活选择最适合特定视频的尺度。

总的来说，HoPE的理论基础揭示了现有技术的固有限制，并提供了解决这些限制的原理性方法。通过结合混合频率分配和动态时间缩放，HoPE为视觉语言模型提供了更可靠的时空导航能力，特别是在处理长视频内容时。

五、HoPE的潜在应用与未来展望

随着视频内容在互联网上的爆炸式增长，有效理解和处理长视频已成为人工智能领域的一个关键挑战。HoPE技术的出现为这一挑战提供了一个有前途的解决方案，其潜在应用范围广泛而深远。

首先，在视频搜索和检索领域，HoPE可以显著提升精确度。想象一下，当你想在一部两小时的电影中找到某个特定场景，或在一系列教学视频中定位特定技能的讲解部分，配备HoPE的AI系统能够更准确地理解你的查询意图，并精确定位相关内容。这不仅节省了用户的时间，还提升了整体用户体验。

其次，在视频内容分析和理解方面，HoPE使AI能够更全面地把握视频的叙事结构和情节发展。例如，在分析电影或电视剧时，AI可以更好地理解角色关系的演变、情节的转折点以及故事的整体架构。这对于自动生成视频摘要、情节分析和内容分类等任务尤为重要。

在视频监控和安防领域，长时间的视频分析至关重要。配备HoPE的系统能够在长时间的监控视频中更可靠地检测异常行为或特定事件，减少虚假警报，提高安全监控的效率和准确性。

教育领域也是HoPE的潜在受益者。随着在线教育和视频教学的普及，AI辅助的内容理解和导航变得越来越重要。HoPE可以帮助学习平台更准确地索引和组织教学视频，为学生提供更精准的内容推荐和学习路径规划。

在医疗领域，长视频理解技术可用于分析手术录像、患者监护录像或医疗教学视频。HoPE的进步使AI能够更准确地理解这些专业视频内容，为医疗培训、诊断辅助和手术技术改进提供支持。

除了这些直接应用，HoPE的理论贡献也为多模态AI研究提供了新的方向。研究团队在论文中指出："据我们所知，我们是首次提供不同频率分配策略如何影响多模态RoPE性能的理论分析。这些发现可以进一步用于未来多模态RoPE变体的设计和分析。"

尽管HoPE取得了显著进步，研究团队也承认了当前的局限性。由于计算资源限制，他们的实验主要在2B和7B规模的模型上进行。虽然结果显示性能增益会随着模型规模增加而提升，但这一趋势是否能扩展到更大规模的模型（如13B或72B）仍需进一步验证。

展望未来，研究团队计划在计算资源允许的情况下，将HoPE技术扩展到更大规模的模型中。此外，进一步优化HoPE以适应更多样的视频类型和任务，以及探索将其与其他先进技术（如多模态混合专家系统）结合的可能性，也是有价值的研究方向。

总的来说，HoPE技术为视觉语言模型在处理长视频内容方面带来了重要突破，不仅在技术上提供了创新解决方案，也为广泛的实际应用打开了新的可能性。随着技术的进一步发展和应用的不断扩展，我们可以期待AI系统在理解和处理视频内容方面取得更大的进步，为用户提供更智能、更直观的视频交互体验。

来源：至顶网一点号