Meta斯坦福全新多模态Apollo，60分钟视频轻松理解！

摘要：编辑：KingHZ【导读】Meta斯坦福大学联合团队全面研究多模态大模型（LMM）中驱动视频理解的机制，扩展了视频多模态大模型的设计空间，提出新的训练调度和数据混合方法，并通过语言先验或单帧输入解决了已有的评价基准中的低效问题。

报道

编辑：KingHZ

【导读】 Meta斯坦福大学联合团队全面研究多模态大模型（LMM）中驱动视频理解的机制，扩展了视频多模态大模型的设计空间，提出新的训练调度和数据混合方法，并通过语言先验或单帧输入解决了已有的评价基准中的低效问题。

虽然语言和图像语言建模进展迅速，但视频多模态大模型（LMM）却难以望其项背。

近日，Meta和斯坦福大学的团队联手，从评估基准、模型设计到开源模型, 做出了全方位的探索，创建ApolloBench用于解决视频理解领域评估效率低下的问题, 提出了模型设计的拓展一致性，发现了驱动LMM性能的关键因素，开源了Apollo模型。

值得注意的是，Apollo-3B超越了几乎所有的7B模型，而Apollo-7B变体则是7B模型中目前最佳的。

论文链接: https://arxiv.org/abs/2412.10360

项目网站: https://apollo-lmms.github.io

示例链接: https://huggingface.co/spaces/Apollo-LMMs/Apollo-3B…

模型链接: https://huggingface.co/Apollo-LMMs

现有的视频问答基准的有效性如何？

视频大型多模态模型（video-LMMs）的快速发展推动了众多视频问答基准的建立，其中包括Video-MME、MLVU、LongVideoBench等。虽然这些基准能够进行全面评估，但也会带来大量的资源密集和冗余。

该团队通过筛选问题，确定了五大时态感知类别：时态OCR、第一视角、空间、感知和推理。

然后，将问题手动归入这些类别中的每一类。从这些类别中选出了前400个问题，并对每个问题进行人工验证，以验证所选问题的正确性。

在ApolloBench上进行评估要快 41 倍，同时与现有基准高度相关（见图1的右图），并且受视频感知的影响更大（图1的左图）。

新提出的基准ApolloBench与所有测试过的基准都高度相关，这表明它能提供同样有效的评估，同时计算效率更高。

图1：基准分析。(左图）当提供不同输入模式时，开源 LMM 在各种视频问题解答基准测试中的准确率：完整视频（绿条）、视频中的单帧（红条）和不含任何视觉内容的纯文本输入（蓝条）。(右图）相关矩阵通过说明模型在不同基准上的表现之间的相关系数，显示了基准之间的冗余度

图1中的左图的浅蓝色阴影区域表示视频和文本输入之间的准确率差异，突出了视频感知比单纯的文本理解在多大程度上提高了性能；黄色阴影区域表示视频和图像输入之间的差异，量化了视频与静态图像相比所带来的时间信息的额外优势。

图1中右图的矩阵中的每个单元格表示两个基准在模型性能方面的密切程度。

拓展一致性：在模型设计中能做到多小？

通过研究不同规模 LMM 的设计决策之间的相关性，发现规模 (约等于2-4B) 模型的设计决策与更大模型的设计决策高度相关（相关系数大于0.9），将这种现象称为「规模一致性」（Scaling Consistency）（见下图 2）。

图2：扩展一致性

左图展示7B和0.5B与其他规模的LLM的相关系数，表明7B模型的相关性随着LLM规模的增大而增大，而在0.5B模型中没有看到同样的趋势。

右图展示0.5B\1.5B\4B模型与数据集规模的相关系数。相关系数在500K样本左右开始趋于稳定。

扩展一致性表明，在中等规模的模型（∼ 2-4B）和数据集上做出的设计决策可以可靠地转移到更大的模型上，即使在不同的模型族中也是如此。

数据集上做出的设计决策可以可靠地转移到更大的模型上，甚至在不同的模型族中也是如此。这使研究人员无需进行大量的扩展研究就能做出明智的设计选择。

扩展一致性，即可以在较小的模型和数据集上做出设计决策，并可靠地迁移到较大的模型和数据集上。

探索设计空间：什么影响高效的模型设计

1. 视频采样 为了评估帧速率与均匀采样的影响，训练了四个模型，分别均匀地8、16、32 或 64 帧采样。为了测试性能差异是由于测试还是训练时的帧采样不同造成的，对这些模型进行了均匀采样和fps采样评估。与fps采样相比，均匀帧采样的性能始终低于fps采样（图3中的左图）。可以看出，这种性能差距并不是由于测试时采样的帧数。因此得出结论，视频的均匀帧采样导致了训练过程中的性能差距。

在模型训练和推理过程中，fps采样比均匀采样更可取。

图3：比较不同的取样策略及其对性能的影响。(左图）模型使用均匀采样进行训练和测试。(中图）使用均匀采样训练模型，但使用fps采样进行测试。(右图）分析每秒帧数(fps) 和每秒token数(tps) 对总体性能的影响

图3的左图表明增加帧数可提高整体性能，但达不到fps采样性能。当以恒定的帧频进行训练时，每秒的token数（tps）也可以通过token重采样器来改变。

如图3中的右图所示，在tps 和fps之间似乎存在着一种短视频和长视频性能的折衷方法。在不同的帧速率下，每帧8-32个token的性能都很强。

tps和fps之间需要权衡，每帧8-32个token最为理想。

2. 视频表示 在单编码器设置中，与其他图像/视频编码器相比，SigLIP-SO400M的性能最佳，这表明必须改进视频编码器才能取代图像编码器。视频编码器仅在时态感知方面优于图像编码器，这表明LLM在细粒度时态集成（如估计运动速度和方向）方面存在困难。

图4：视觉编码器。测试了InternVideo2、LanguageBind-Image/Video、V-JEPA、Video-MAE、SigLIP-SO400M和DINOv2及组合。(左图）单一编码器测试，(右图）双编码器配置的性能

在单编码器测试中，左图显示SigLIP-SO-400M 的整体性能最佳；与视频编码器相比，图像编码器在时态感知方面表现不佳。右图显示语言监督编码器的表现优于自我监督编码器；InternVideo2和SigLIP-SO-400M结合使用可获得最佳的整体性能。 SigLIP-SO400M是用于视频LMM的最佳单一编码器。将视频编码器和图像编码器结合起来可以抵消它们的局限性，因为图像编码器不对时间信息进行编码，而视频编码器的空间表示能力较弱。组合编码器的性能始终优于单编码器的同类产品，其中InternVideo2+SigLIP-SO400M的总体性能最好，在ApolloBench中提高了∼7%。可以发现输入帧数较少的视频编码器表现更佳，这可能是由于图像-视频传输效果更好。将SigLIP-SO400M与InternVideo2结合使用，整体性能最佳。 3. 视频token重采样 相比于其他大模型，token重采样在视频 LMM 中更为重要，因为这直接影响到可处理的帧数，限制了视频的最大长度。视频token重采样可以由文本引导（如使用 Q-Former）。

然而，这种方法并不能很好地适用于多轮对话，因为token会根据第一个问题向下采样。还有许多人采用某种形式的平均汇聚（average pooling）。作者测试了三种token重采样方法：mlp上投影 + 平均汇聚、2D conv + 平均汇聚和感知器重采样(perceiver resampling)。如表1所示，感知重采样(perceiver resampling)在所有指标上都优于其他方法。

表1：视频token重采样方法。不同token重采样技术在视频-LMM 任务中的表现在所有指标上，感知重采样(perceiver resampling)都优于其他方法。在减少token/帧时，感知重采样(perceiver resampling)出卓越的性能。 4. 视频token集成 集成视频和文本token是视频 LMM 的关键设计选择，因为它直接影响到模型处理和解释多模态内容的效率。