摘要：近日，百度百舸与SGLang社区深度合作，将一套经过生产系统严苛验证的MTP（Multi-Token Prediction，多token预测）高性能推理代码正式开源。

近日，百度百舸与SGLang社区深度合作，将一套经过生产系统严苛验证的MTP（Multi-Token Prediction，多token预测）高性能推理代码正式开源。

这套代码不仅性能卓越，更已经过了百度内部大规模服务验证，呈现了出色的稳定性与可靠性。SGLang社区实测表明，该代码为最新的DeepSeek-V3.2模型带来了超过2倍解码吞吐量的显著性能提升，让社区能够“开箱即用”，直接部署生产级别的优化方案。

代码地址：https://github.com/sgl-project/sglang/pull/11652

本次开源的核心，是一个为DeepSeek-V3.2全新DSA（DeepSeek Sparse Attention，稀疏注意力）架构量身定制的MTP实现。

今年年初，DeepSeek系列模型横空出世，其呈现出低成本、高性能的效果特性，引发了全球科技圈的关注，而MTP正是其实现这一效果的核心技术创新之一。

MTP通过让模型在单个前向传播中一次性预测多个未来token，然后统一验证的方式，显著减少了生成完整序列所需的总步骤数。其核心价值在于通过改变传统解码模式来突破效率瓶颈：

>>传统方式（自回归解码）：模型每次只生成一个token，生成下一个时必须等待上一个完成。如同逐字输入，过程稳定但速度存在瓶颈。

>>MTP方式（批量生成，集中验证）：模型会一次性智能地推算出多个后续token作为候选，然后统一进行验证。这好比从逐字输入升级为智能联想输入，一次性能提供多个候选词句，从而大幅减少生成轮次，突破序列化瓶颈。

但MTP需要与大模型自身的架构保持深度适配，最新的DeepSeek-V3.2采用了全新的DSA架构，使得适用于DeepSeek老版本的MTP代码无法复用于DeepSeek-V3.2。这一架构升级为推理优化带来了新的挑战，同时也创造了性能突破的新机遇。

百度智能云的核心工作，正是对全新的DSA架构进行了深度适配，并将这套高效的MTP方案应用于内部业务中，实现了生产级场景的完整验证。这一生产级的代码贡献，使得SGLang社区开发者无需重复底层探索与试错，能够直接获得性能倍增且稳定可靠的推理能力。

未来，百度百舸AI计算平台的研发团队，将持续向SGLang社区开源更多生产级别的核心代码，与全球开发者携手，加速大模型技术的创新与普惠。

来源：孤独难学科技