摘要：这项由香港科技大学（广州）、广东工业大学和StepFun AI联合开展的研究发表于2025年8月，论文作者包括谢元、陈天水、葛正和倪亮等研究者。这项开创性研究首次将多轮推理机制引入长视频理解领域，提出了Video-MTR框架。有兴趣深入了解的读者可以通过arX

这项由香港科技大学（广州）、广东工业大学和StepFun AI联合开展的研究发表于2025年8月，论文作者包括谢元、陈天水、葛正和倪亮等研究者。这项开创性研究首次将多轮推理机制引入长视频理解领域，提出了Video-MTR框架。有兴趣深入了解的读者可以通过arXiv:2508.20478v1访问完整论文。

想象你是一名侦探，面对一起复杂案件时，你不会只看一眼现场就下结论，而是会反复勘查现场，每次都重点关注不同的线索，逐步拼凑出完整的真相。这正是研究团队为人工智能视频理解系统设计的全新工作方式。

传统的AI视频分析系统就像一个匆忙的观察者，只能粗略地扫视整个视频，然后匆忙给出判断。这种"一次性"的分析方式在处理短视频时或许还能应付，但面对那些长达几十分钟甚至几小时的长视频时就显得力不从心了。关键信息可能被埋没在大量无关画面中，导致AI经常给出错误的理解。

研究团队意识到，真正的视频理解应该更像人类观看复杂内容时的思维过程。当我们观看一部悬疑电影时，会先大致了解剧情走向，然后在关键情节处反复思考，甚至倒回去重新观看某些片段，直到完全理解故事的来龙去脉。基于这个洞察，他们开发了Video-MTR系统，让AI也能进行这种"多轮推理"。

一、AI侦探的工作流程：从粗略浏览到精确定位

Video-MTR的工作方式确实很像一位经验丰富的侦探破案。当系统接到一个关于视频内容的问题时，它不会急着给答案，而是制定一个系统性的调查计划。

在第一轮调查中，AI侦探会对整个"案发现场"进行初步勘查。它均匀地从整个视频中选取16个关键帧画面，就像侦探在案发现场拍摄全景照片一样，先获得一个大致的印象。通过这次初步观察，系统会形成一个初步判断，但它很清楚这个判断可能不够准确。

关键的突破发生在后续轮次中。基于初步观察的结果，AI侦探会意识到"我需要更仔细地查看某个时间段的内容"。比如，如果问题是关于两个人之间的关系，而初步观察显示他们可能是师生关系，那么系统会主动选择观察他们互动最频繁的时间段，每次最多再获取8个额外的画面进行深入分析。

这种逐步深入的过程可以重复进行，最多进行三轮。每一轮都让AI获得更精确的信息，就像侦探逐步缩小调查范围，最终锁定关键证据一样。系统会在觉得证据充分时主动结束调查并给出最终结论。

二、双层奖励机制：确保每一步都走在正确道路上

任何学习过程都需要反馈机制来纠正错误并强化正确行为。对于Video-MTR这样的复杂系统来说，设计合适的奖励机制就像为一位新手侦探制定考核标准一样重要。

传统的AI训练只会在最后检查答案是否正确，这就像只在破案后才评判侦探的表现，却不关心他在调查过程中是否走了弯路。这种方式对于多轮推理来说显然不够，因为系统可能会在中间步骤中做出错误选择，即使最终侥幸答对了，这种错误的调查路径也不应该被鼓励。

研究团队创新性地设计了"双层奖励系统"，这就像为侦探设立了两套考核标准。第一层是"轨迹级奖励"，专门评判最终破案是否成功，答案正确得1分，错误得0分，这保证了系统始终以解决问题为最终目标。

第二层是"回合级奖励"，专门评判每一轮调查是否选择了正确的方向。具体来说，系统会检查AI在每轮中选择观察的视频片段是否真的包含了回答问题所需的关键信息。如果选择的片段比初始的随机片段更相关，系统就会获得0.5分的奖励。这种设计鼓励AI在每一步都朝着更有希望的方向前进。

更巧妙的是，研究团队还加入了"目标导向机制"。这意味着只有在最终答案正确的前提下，中间步骤的奖励才会生效。这就像告诉侦探"只有破案成功，你的调查过程才算有价值"，避免了系统为了获得中间奖励而偏离主要目标的问题。

三、训练数据的精心策划：少而精胜过多而杂

在AI训练领域，很多人认为数据越多越好，但Video-MTR的研究团队却选择了截然不同的路径。他们没有收集数百万个训练样本，而是精心筛选了仅仅8000个高质量的训练案例。这种做法就像培训一名侦探时，与其让他处理无数个简单案件，不如让他深入研究几个经典的复杂案例。

这8000个案例来源于两个精心选择的数据集。第一部分来自NExT-GQA数据集，这个数据集的特别之处在于它明确标注了回答每个问题需要观看视频的哪些具体时间段。研究团队从中筛选出了大约5000个案例，选择标准是相关片段不能超过整个视频的一半长度，这样才能真正考验系统的定位能力。

第二部分更有趣。研究团队利用QVHighlights数据集，这个数据集原本只是标注了视频中的"精彩片段"，并没有问答形式的标注。为了将其转化为适合训练的格式，研究团队让GPT-4o扮演"改编专家"的角色，将每个关于精彩片段的描述转换成标准的选择题格式。经过质量筛选，最终获得了约3000个高质量的训练案例。

这种"少而精"的数据策略背后有深刻的道理。与其让系统见识无数个简单重复的案例，不如让它深入学习每个复杂案例中的推理模式。实验结果证明，用这种方法训练出的系统在处理复杂长视频时的表现，竟然能够媲美甚至超越那些用数十倍训练数据训练的系统。

四、克服懒惰天性：让AI主动探索的巧妙设计

研究团队在训练过程中发现了一个有趣现象：就像很多人天生倾向于选择最省力的方式一样，AI系统也表现出了某种"懒惰"倾向。在训练初期，系统更愿意基于第一轮的粗略观察就匆忙给出答案，而不愿意进行费时费力的深入调查。

为了克服这种倾向，研究团队设计了一个巧妙的"探索激励机制"。这个机制的工作原理就像给一个不爱运动的孩子设立运动奖励一样：在训练早期，如果发现一个训练批次中主动进行多轮调查的比例过低，系统就会对所有的"调查行为"给予额外奖励，不管这次调查的质量如何。

这种激励分为两个阶段。在"冷启动"阶段，如果主动调查的比例低于10%，每次调查行为都能获得1.0分的额外奖励。在"自助阶段"，标准提高到50%，额外奖励降低到0.5分。一旦系统养成了主动调查的习惯，这种额外奖励就会自动取消，让系统完全依靠调查质量来获得奖励。

这种设计的效果非常明显。实验数据显示，没有这种激励机制的系统很快就会固化在单轮推理的模式中，而有了激励机制的系统则能够稳定地保持多轮探索的行为模式，并且随着训练的进行，探索的质量也在不断提高。

五、实战表现：在三大权威测试中的卓越成绩

为了验证Video-MTR系统的实际效果，研究团队在三个最权威的长视频理解测试平台上进行了全面评估，结果令人惊喜。

在VideoMME测试中，这个平台涵盖了从2分钟到1小时不等的各类视频，总共包含2700个手工标注的问答对。Video-MTR在整体准确率上达到了59.0%，在所有开源系统中排名第一。更值得注意的是，系统在处理长视频(30-60分钟)时表现尤为出色，准确率达到51.0%，比基础模型提升了6.3个百分点。

MLVU测试被公认为最具挑战性的长视频理解基准，其视频长度从3分钟到2小时不等，平均15分钟。即使是最先进的GPT-4o模型在这个测试中也只能达到54.9%的准确率。Video-MTR虽然只使用了32帧图像（相比GPT-4o的300多帧），却取得了48.4%的优秀成绩，证明了精准选择关键信息比简单增加信息量更为有效。

在EgoSchema测试中，这个专门测试第一人称视角视频理解的平台上，Video-MTR达到了62.4%的准确率，仅次于GPT-4o和Gemini-1.5-Pro等商业系统。值得强调的是，这个优异成绩是在没有专门针对第一人称视频进行训练的情况下取得的，体现了系统出色的通用化能力。

六、深度分析：多轮推理的独特优势

为了更好地理解多轮推理机制的价值，研究团队进行了详细的对比分析。他们发现，多轮推理的优势在不同类型的任务中表现得截然不同。

对于那些需要整体把握视频内容的"全局理解"任务，比如判断视频的总体主题或情感基调，多轮推理的提升相对有限，大约只有3.8%。这是因为这类任务本身就不需要过于精细的局部分析。

但是当面对需要识别特定细节的"单细节"任务时，比如识别视频中某个特定物体或动作，多轮推理的优势就显现出来了，准确率提升了7.5%。而对于最复杂的"多细节"任务，需要同时关注视频中的多个要素并进行综合分析时，多轮推理的提升更是达到了8.1%。

视频长度对多轮推理效果的影响同样明显。在短视频(2分钟以内)中，多轮推理带来4.6%的提升；在中等长度视频(4-15分钟)中，提升达到5.3%；而在长视频(30-60分钟)中，提升高达6.3%。这个趋势清楚地表明，视频越长、任务越复杂，多轮推理的价值就越大。

七、成功案例：AI侦探的精彩推理过程

研究团队分享了一个典型的成功案例，生动展示了Video-MTR的工作过程。这是一个关于54分钟篮球比赛视频的问题：视频中的2v2篮球小游戏遵循什么规则？

在第一轮观察中，系统均匀地从整个54分钟视频中抽取了16个画面。通过这些画面，系统意识到需要重点关注比赛规则的介绍和执行过程。于是它决定深入观察第29分钟到第39分钟这个时间段。

在第二轮观察中，系统获得了这10分钟内的8个关键画面。通过仔细分析这些画面中的细节，系统发现这个游戏的规则是：如果有人投篮失误，他之前连续命中的次数就会被加到他的得分上，得分达到7就出局。基于这个发现，系统最终选择了正确答案B："如果一个人投篮失误，他之前连续命中的次数会被加到得分上，得分达到7就出局。"

这个案例完美展示了多轮推理的威力：第一轮的粗略观察让系统锁定了关键时间段，第二轮的精确观察让系统捕获了决定性的细节信息。如果只进行一轮观察，系统很可能会错过这些散布在长视频中的关键信息。

八、技术创新的深层意义

Video-MTR系统的成功不仅仅在于它在测试中取得的优异成绩，更重要的是它代表了AI视频理解领域的一个重要转折点。这个转折可以用"从广撒网到精准打击"来形容。

传统方法就像用大网捕鱼，希望通过处理更多的视频帧来提高理解准确性。但这种方法存在两个根本问题：一是计算资源消耗巨大，二是大量无关信息会干扰系统的判断。Video-MTR则采用了"精准打击"的策略，通过智能选择关键信息来提高理解质量。

这种创新的意义远不止技术层面。在实际应用中，这意味着同样的计算资源可以处理更长的视频，或者在相同的视频长度下获得更准确的理解结果。对于安防监控、内容审核、视频搜索等实际应用场景来说，这种效率提升具有重要的商业价值。

更重要的是，Video-MTR证明了"质量胜过数量"这一原则在AI训练中的有效性。系统仅使用8000个精心策划的训练样本就达到了其他系统用数十万样本才能达到的效果水平，这为资源有限的研究团队和企业提供了新的发展路径。

九、局限性与未来展望

尽管Video-MTR在多个方面都表现出色，但研究团队也诚实地指出了系统目前的局限性。通过分析失败案例，他们发现了两个主要的不足之处。

第一个局限是在处理需要多个分离事件的复杂推理任务时，系统有时会因为证据不足就匆忙下结论。比如在判断一系列动作的先后顺序时，如果这些动作分散在视频的不同部分，系统可能无法在有限的推理轮次中收集到所有必要信息。解决这个问题需要扩展系统的推理深度，允许进行四到六轮的深度调查。

第二个局限是在处理需要精细观察的微动作识别任务时，系统的表现不够理想。这主要是因为当前的处理流程为了适应长视频而降低了图像分辨率，导致一些关键的细微动作变得模糊不清。未来的改进方向是开发层次化的视觉处理机制：先进行粗粒度的时间定位，再在关键区域进行高分辨率的精细分析。

展望未来，研究团队认为多轮推理框架还有巨大的发展空间。一个重要方向是将推理轮次扩展到更深层次，支持处理需要多步骤逻辑推理的复杂任务。另一个方向是开发"时空层次化"的分析机制，能够在时间维度上精确定位，同时在空间维度上进行局部放大分析。

十、对AI发展的启发

Video-MTR的成功给整个AI领域带来了重要启发。首先，它证明了"模拟人类认知过程"是提升AI系统性能的有效策略。人类在理解复杂信息时本能地会进行多轮观察和思考，将这种认知模式引入AI系统设计是一个值得深入探索的方向。

其次，这项研究展示了强化学习在复杂推理任务中的潜力。通过精心设计的奖励机制，系统能够自主学习如何进行有效的信息搜索和推理，而不需要人工预设复杂的规则。这种自主学习能力对于处理现实世界中的不确定性和复杂性具有重要价值。

最后，Video-MTR的成功挑战了"数据越多越好"的传统观念。通过重视训练数据的质量而非数量，研究团队用相对少量的高质量数据取得了卓越成果。这为那些无法获得海量数据的研究者和开发者提供了新的思路。

说到底，Video-MTR不仅仅是一个技术突破，更是AI发展理念的一次重要更新。它告诉我们，让AI变得更聪明的关键不在于让它处理更多信息，而在于教会它如何像人类一样进行深入思考。当我们看电影时会在关键情节处暂停思考，当我们阅读复杂文章时会反复阅读重要段落，Video-MTR让AI也学会了这种"深度理解"的能力。

这项研究的成功意味着，未来的AI系统将能够更好地理解我们生活中产生的海量视频内容，无论是安防监控中的异常事件检测，还是教育视频中的知识点提取，或是医疗影像中的病症识别，都将因为这种"会思考的AI"而变得更加准确和可靠。对于普通用户来说，这意味着视频搜索将变得更加智能，内容推荐将更加精准，而各种基于视频的智能服务也将更加贴近我们的实际需求。

Q&A

Q1：Video-MTR系统是什么？它和传统视频AI有什么区别？

A：Video-MTR是由香港科技大学团队开发的AI视频理解系统，它的最大特色是能进行"多轮推理"。传统视频AI就像匆忙的观察者，只能粗略扫视整个视频然后给出判断，而Video-MTR更像经验丰富的侦探，会先大致了解视频内容，然后反复深入关键片段进行分析，最多进行三轮调查才给出最终结论。

Q2：为什么Video-MTR只用8000个训练样本就能超越用几十万样本训练的系统？

A：关键在于"质量胜过数量"的策略。研究团队没有收集大量普通样本，而是精心筛选了8000个高质量案例，每个案例都明确标注了回答问题需要观看的具体时间段。这就像培训侦探时，与其让他处理无数简单案件，不如让他深入研究几个经典复杂案例，学习效果反而更好。

Q3：Video-MTR在实际应用中表现如何？普通人能用到吗？

A：在三大权威测试中，Video-MTR都取得了开源系统中的最佳成绩，特别是在处理30-60分钟长视频时准确率达到51%，比基础模型提升了6.3%。目前这还是研究阶段的技术，但未来可能应用到视频搜索、内容审核、安防监控等领域，让这些服务变得更准确智能。

来源：科技行者一点号1