字节跳动VAPO框架：Qwen2.5-32B数学推理能力大幅提升，超越Deepseek-R1

摘要：近期，字节跳动旗下的Seed研究团队在强化学习领域取得了突破性进展，正式推出了VAPO强化学习训练框架。这一框架旨在增强大型语言模型在处理复杂、冗长任务时的推理能力，为人工智能的发展开辟了新的道路。

近期，字节跳动旗下的Seed研究团队在强化学习领域取得了突破性进展，正式推出了VAPO强化学习训练框架。这一框架旨在增强大型语言模型在处理复杂、冗长任务时的推理能力，为人工智能的发展开辟了新的道路。

在大型语言模型的强化学习训练中，价值导向方法一直被视为提升模型性能的关键。这类方法通过精确追踪每个动作对后续回报的影响，展现出了巨大的应用潜力。然而，在应对长链式推理任务时，价值模型却面临着诸多挑战。初始化偏差、序列长度差异难以适应，以及奖励信号稀疏导致的优化过程困难，这些问题都严重限制了价值导向方法的应用效果。

为了克服这些挑战，字节跳动推出了VAPO框架。VAPO，全称为增强价值的近端政策优化，是在PPO框架的基础上，通过三项创新技术实现突破的。首先，VAPO构建了一个精细的价值训练框架，显著提升了模型对复杂任务的理解能力。其次，引入了长度自适应广义优势估计机制，这一机制能够根据响应长度的不同动态调整参数，从而优化长短序列的训练效果。最后，VAPO还整合了多项先前的研究技术，形成了一个协同增效的系统。

在实际应用中，VAPO展现出了惊人的效果。在没有依赖特定监督微调数据的情况下，通过VAPO优化的Qwen2.5-32B模型在AIME24基准测试中取得了显著进步。其得分从5分飙升至60.4分，不仅超越了DeepSeek R1的47分，还超过了此前业界领先的DAPO方法的50分，仅用了60%的更新步骤就达到了这一成就。

与传统的Proximal Policy Optimization（PPO）算法相比，VAPO在数学推理能力上有了显著提升。其训练曲线更为平滑，优化过程也更加稳定。测试结果显示，得益于其价值模型提供的细粒度信号，VAPO在长序列任务中表现尤为出色，得分增长迅速。尽管在后期训练中，熵值的降低可能会对探索产生一定限制，但VAPO通过平衡设计确保了整体的稳定性和可重复性。

VAPO的成功并非偶然，而是源于其综合优化的设计。消融研究验证了VAPO中七项技术的有效性。其中，价值预训练有效防止了模型崩溃，解耦的广义优势估计机制支持了长回答的优化，自适应的广义优势估计平衡了短回答和长回答的训练效果。剪裁策略鼓励了探索，词级损失增加了长回答的权重，正例语言模型损失提升了6分，分组采样则贡献了5分。