单卡也能跑万帧！智源发布Video-XL-2，速度、效果、长度全拉满

摘要：智源研究院发布开源模型Video-XL-2，显著提升长视频理解能力。该模型在效果、处理长度与速度上全面优化，支持单卡处理万帧视频，编码2048帧仅需12秒。

编辑：定慧 Aeneas

【新智元导读】智源研究院发布开源模型Video-XL-2，显著提升长视频理解能力。该模型在效果、处理长度与速度上全面优化，支持单卡处理万帧视频，编码2048帧仅需12秒。

长视频理解是多模态大模型关键能力之一。

尽管OpenAI GPT-4o、Google Gemini等私有模型已在该领域取得显著进展，当前的开源模型在效果、计算开销和运行效率等方面仍存在明显短板。

近日，智源研究院联合上海交通大学等机构，正式发布新一代超长视频理解模型：Video-XL-2。相较于上一版本的Video-XL，该模型在多个维度全面优化了多模态大模型对长视频内容的理解能力：

效果更佳：Video-XL-2在长视频理解任务中表现出色，在MLVU、Video-MME、LVBench等主流评测基准上达到了同参数规模开源模型的领先水平。长度更长：新模型显著扩展了可处理视频的时长，支持在单张显卡上高效处理长达万帧的视频输入。速度更快：Video-XL-2大幅提升了处理效率，编码2048帧视频仅需12秒，显著加速长视频理解流程。

目前，Video-XL-2的模型权重已全面向社区开放。未来，该模型有望在影视内容分析、异常行为监测等多个实际场景中展现重要应用价值。

项目主页：https://unabletousegit.github.io/video-xl2.github.io/

模型HF链接：https://huggingface.co/BAAI/Video-XL-2

仓库链接：https://github.com/VectorSpaceLab/Video-XL

技术简介

图1：Video-XL-2的模型架构示意图

在模型架构设计上，Video-XL-2主要由三个核心组件构成：视觉编码器（Visual Encoder）、动态Token合成模块（Dynamic Token Synthesis, DTS）以及大语言模型（LLM）。

具体而言，Video-XL-2采用SigLIP-SO400M作为视觉编码器，对输入视频进行逐帧处理，将每一帧编码为高维视觉特征。

随后，DTS模块对这些视觉特征进行融合压缩，并建模其时序关系，以提取更具语义的动态信息。

处理后的视觉表征通过平均池化与多层感知机（MLP）进一步映射到文本嵌入空间，实现模态对齐。最终，对齐后的视觉信息输入至Qwen2.5-Instruct，以实现对视觉内容的理解与推理，并完成相应的下游任务。

图2：Video-XL-2的训练阶段示意图

在训练策略上，Video-XL-2采用了四阶段渐进式训练的设计，逐步构建其强大的长视频理解能力。

前两个阶段主要利用图像/视频-文本对，完成DTS模块的初始化与跨模态对齐；

第三阶段则引入更大规模，更高质量的图像与视频描述数据，初步奠定模型对视觉内容的理解能力；

第四阶段，在大规模、高质量且多样化的图像与视频指令数据上进行微调，使Video-XL-2的视觉理解能力得到进一步提升与强化，从而能够更准确地理解和响应复杂的视觉指令。

图3. Chunk-based Prefilling

图4. Bi-granularity KV Decoding

此外，Video-XL-2还系统性设计了效率优化策略。

首先，Video-XL-2引入了分段式的预装填策略（Chunk-based Prefilling，如图3所示）：将超长视频划分为若干连续的片段（chunk），在每个chunk内部使用稠密注意力机制进行编码，而不同chunk之间则通过时间戳传递上下文信息。

该设计显著降低了预装填阶段的计算成本与显存开销。其次，Video-XL-2还设计了基于双粒度KV的解码机制（Bi-granularity KV Decoding，如图4所示）：在推理过程中，模型会根据任务需求，选择性地对关键片段加载完整的KVs（dense KVs），而对其他次要片段仅加载降采样后的稀疏的KVs（sparse KVs）。

这一机制有效缩短了推理窗口长度，从而大幅提升解码效率。得益于上述策略的协同优化，Video-XL-2实现了在单张显卡上对万帧级视频的高效推理，显著增强了其在实际应用场景中的实用性。

实验效果