摘要：这项由普林斯顿大学的王银杰、杨凌以及芝加哥大学的研究人员共同完成的突破性研究发表于2025年9月。研究团队开发了一种名为TraceRL的全新训练方法，能让AI语言模型在生成文本时变得更加聪明和高效。有兴趣深入了解的读者可以通过https://github.co

这项由普林斯顿大学的王银杰、杨凌以及芝加哥大学的研究人员共同完成的突破性研究发表于2025年9月。研究团队开发了一种名为TraceRL的全新训练方法，能让AI语言模型在生成文本时变得更加聪明和高效。有兴趣深入了解的读者可以通过https://github.com/Gen-Verse/dLLM-RL访问完整的研究代码和模型。

就像教导学生解题一样，传统的AI训练方法往往忽略了"解题过程"的重要性，只关注最终答案是否正确。而这项研究就像一位经验丰富的老师，不仅看重答案，更注重学生是如何一步步思考和推理的。通过这种方式，研究团队训练出了一系列名为TraDo的AI模型，尽管它们的规模比其他同类模型要小，但在复杂数学推理任务上的表现却令人刮目相看。

这项研究的核心创新在于，它不再把AI的学习过程当作一个黑盒子，而是像跟踪学生做题的每一步一样，仔细观察和指导AI在生成答案时的每一个思维步骤。这种方法就像给AI配了一位贴身家教，能够实时纠正它的思维轨迹，让它学会更好的推理模式。

一、重新定义AI的学习方式

要理解这项研究的重要性，我们可以把传统的AI训练比作教孩子背诵标准答案。传统方法就像给学生一道数学题，然后直接告诉他答案是什么，而不管他是怎么得出这个答案的。这样的教学方式虽然能让学生在考试中得到正确答案，但遇到稍微变化的题目时就容易出错。

扩散语言模型是一种新兴的AI技术，它的工作原理就像拼图游戏一样。普通的AI模型像是按顺序一个字一个字地写作文，而扩散模型则像是先在纸上随机撒一些字母，然后通过多轮修改和完善，最终形成一篇完整的文章。这种方法的好处是可以同时处理多个部分，大大提高了生成速度，就像多个人同时拼不同区域的拼图一样。

然而，现有的训练方法存在一个根本问题：它们在训练时使用的策略与实际使用时的策略不匹配。这就像在练习时用一种方法解题，但考试时却要用另一种方法，自然会影响表现。研究团队发现，这种不匹配导致了AI模型在复杂推理任务上表现不佳。

为了解决这个问题，研究团队设计了TraceRL方法。这个方法的核心思想是让AI在训练过程中就按照它实际使用时的方式进行学习。就像让学生在练习时就使用考试时要用的解题方法，这样才能确保知识的有效转移。

二、TraceRL：追踪AI的思维轨迹

TraceRL方法的精妙之处在于它不再把AI的输出看作一个整体，而是将其分解为一系列连续的思维步骤。就像观察一位画家作画的过程，我们不仅要看最终的作品，更要关注他是如何一笔一划完成整幅画的。

在传统的训练方法中，AI就像一个被蒙住眼睛的学生，随机地在试卷上涂改，然后根据最终结果来判断对错。而TraceRL则像是给这个学生摘下眼罩，让他能够清楚地看到自己的每一步操作，并根据每一步的质量来调整学习策略。

这种方法的实现过程可以比作训练一位厨师。传统方法只告诉厨师"这道菜做得好"或"做得不好"，而TraceRL则会详细指出"切菜这一步做得很好，调味这一步需要改进，火候这一步掌握得恰到好处"。通过这种细致入微的指导，厨师能够更精确地掌握每一个环节的技巧。

为了进一步提升训练效果，研究团队还引入了一个名为"扩散价值模型"的辅助工具。这个模型就像一位经验丰富的评委，能够预测AI在执行每一步操作后可能获得的最终分数。有了这样的预测，AI就能够在每一步都做出更明智的选择，就像棋手在下每一步棋时都会考虑到后续可能的变化一样。

这种方法还有一个巧妙的设计：为了提高训练效率，研究团队引入了"收缩参数"的概念。这就像把几个小步骤合并成一个大步骤来处理，既保持了训练的精确性，又大大提升了训练速度。

三、TraDo模型：小身材大智慧

通过TraceRL方法训练出的TraDo系列模型展现出了令人印象深刻的能力。这些模型就像班级里的优等生，虽然体型（参数规模）比其他同学要小，但在解决复杂问题时却表现得更加出色。

TraDo-4B模型虽然只有40亿个参数，但在数学推理任务上的表现却超越了许多拥有70亿参数的大型模型。这就像一位身材娇小的体操运动员，虽然看起来不如其他选手高大威猛，但在技巧和灵活性上却远胜一筹。在MATH500这个被认为是数学推理能力"金标准"的测试中，TraDo-4B达到了75.6%的准确率，而著名的Qwen2.5-7B模型的准确率为74.0%。

更令人惊叹的是TraDo-8B模型的表现。在同样的数学推理测试中，它比Qwen2.5-7B模型的表现提升了6.1%，比Llama3.1-8B模型的表现提升了惊人的51.3%。这种提升就像让一个原本及格的学生突然变成了班级第一名，其进步幅度之大令人难以置信。

研究团队还开发出了第一个具备长篇推理能力的扩散语言模型TraDo-8B-Thinking。这个模型就像一位能够进行深度思考的哲学家，不仅能给出正确答案，还能详细解释自己的推理过程。在处理复杂数学问题时，这个模型能够生成平均长度达到5872个字符的详细解答过程，相比之下，普通模型的回答通常只有几百个字符。

这种能力的价值不仅体现在准确性上，更重要的是它的可解释性。就像一位优秀的老师不仅能给出正确答案，还能清楚地解释解题思路，让学生真正理解问题的本质。这对于需要高可信度AI系统的应用场景来说具有重要意义。

四、训练过程的精妙设计

TraceRL的训练过程就像精心设计的音乐课程。传统的训练方法就像让学生反复练习一首曲子的最后几个音符，而忽略了整首曲子的演奏过程。TraceRL则像一位细致的音乐老师，会关注学生演奏每一个段落的表现，并针对性地进行指导。

在具体实现上，研究团队设计了一套巧妙的奖励机制。当AI模型在解决数学问题时，系统不仅会根据最终答案的正确性给出评价，还会根据每一个推理步骤的质量进行评分。这就像给学生的作业不仅打总分，还会在每一步解题过程旁边给出具体的评价和建议。

为了确保训练的稳定性，研究团队还引入了一个类似"成绩预测系统"的价值模型。这个模型能够预测AI在当前状态下可能获得的最终分数，帮助AI在每一步都做出更明智的选择。就像一位经验丰富的学习顾问，能够根据学生当前的学习状态预测期末考试成绩，并给出相应的学习建议。

在训练数据的选择上，研究团队也颇费心思。对于数学任务，他们选择了MATH数据集中的3-5级难题，这相当于选择了"中等偏难"的练习题，既有挑战性又不至于过于困难。对于编程任务，他们使用了经过验证的6000个问题，确保每个训练样本都是高质量的。

五、实验结果：数字背后的故事

实验结果就像一场精彩的体育比赛，TraDo模型在各个项目上都展现出了惊人的竞技水平。在数学推理这个"主项"上，TraDo模型的表现可以说是一骑绝尘。

在GSM8K这个基础数学题测试中，TraDo-4B达到了91.2%的准确率，而TraDo-8B更是达到了92.3%。这就像一位学生在小学数学考试中几乎拿到满分，显示出了扎实的基础能力。

更令人印象深刻的是在AIME2024这样的高难度数学竞赛中的表现。这相当于数学界的"奥运会"，TraDo-8B-Thinking模型达到了35.5%的正确率，而其他同类模型大多只有个位数的正确率。这就像一位普通学生突然在国际数学奥林匹克竞赛中获得了不错的成绩。

在编程能力测试LiveCodeBench-V2中，TraDo系列模型同样表现出色。TraDo-8B模型达到了25.9%的通过率，相比基础模型提升了7.4个百分点。这种提升就像让一个刚学会编程的新手突然能够解决中等复杂度的编程问题。

研究团队还进行了一个有趣的实验：让模型学会适应更大的"思考单元"。这就像训练一位作家从写短句逐渐过渡到写长段落。结果显示，通过TraceRL训练，模型能够成功地从处理4个字符的小单元扩展到处理8个字符的大单元，而性能几乎没有下降。

六、加速效果的意外收获

除了准确性的提升，TraceRL还带来了一个意外的好处：推理速度的显著提高。这就像一位学生不仅成绩提高了，做题速度也变快了。

在MATH500测试中，经过TraceRL训练的模型比原始模型快了15.4%。这种加速效果的原理很有趣：当模型变得更加"自信"时，它在每一步推理中都能更快地确定下一步该怎么做，就像一位经验丰富的医生能够更快地做出诊断一样。

研究团队发现，这种加速效果主要体现在动态采样过程中。动态采样就像一位智能的编辑，能够根据内容质量动态调整处理速度。当遇到简单内容时就快速处理，遇到复杂内容时就仔细斟酌。经过TraceRL训练的模型在这种模式下表现得更加游刃有余。

同时，研究团队还观察到一个有趣现象：模型在处理复杂数学问题时，生成的回答变得更长了。TraDo-4B模型的平均回答长度从548个字符增加到了595个字符。这并不意味着模型变得"啰嗦"了，而是说明它学会了更详细地解释自己的推理过程，就像一位好老师会详细讲解解题步骤一样。

七、开源框架：让技术惠及更多人

认识到这项技术的重要价值，研究团队做出了一个令人敬佩的决定：将整个研究框架完全开源。这就像一位大厨不仅公开了自己的招牌菜谱，还详细说明了烹饪的每一个步骤和技巧。

这个开源框架支持多种不同类型的扩散语言模型，就像一个通用的工具箱，无论你要修理什么样的机器，都能在里面找到合适的工具。框架中集成了多种加速推理的技术，让用户能够在保持模型性能的同时大大提升运行速度。

更贴心的是，这个框架还提供了多种训练方法的实现，包括监督学习、强化学习等各种技术。这就像一个综合性的健身房，不仅有各种器械，还配备了专业的教练指导。研究团队甚至贴心地准备了针对数学、编程和通用任务的不同训练模板，让使用者能够快速上手。

这种开源精神的价值不仅在于技术的传播，更在于为整个AI研究社区提供了一个高质量的基础平台。就像建造了一座坚固的桥梁，让更多的研究者能够在此基础上继续探索和创新。

八、技术细节：魔鬼藏在细节里

虽然我们用通俗的语言解释了TraceRL的核心思想，但这项技术的实现过程实际上包含了许多精巧的细节设计，就像一块精密的手表，每一个齿轮都必须精确配合。

在数学推理任务的训练中，研究团队采用了一种巧妙的数据筛选策略。他们只保留那些准确率在20%到80%之间的训练题目，这就像选择"不太容易也不太难"的练习题，既能让模型得到充分的挑战，又不会因为过于困难而失去学习的信心。

对于编程任务，团队使用了更加客观的评价标准：代码通过单元测试的比例。这就像给程序员的作品进行实际测试，看它是否真的能够解决实际问题，而不仅仅是代码写得好看。

在训练过程中，研究团队还发现了一个有趣的现象：填充标记（padding token）的数量对训练效果有重要影响。设置太多的填充标记会让模型"偷懒"，过早结束思考过程；而设置太少又可能让模型"停不下来"，生成过长的无用内容。经过反复调试，团队找到了最佳的平衡点。

九、长篇推理：AI的深度思考能力

TraDo-8B-Thinking模型展现出的长篇推理能力可以说是这项研究最令人惊叹的成果之一。这个模型就像一位深度思考者，不满足于给出简单的答案，而是要详细阐述整个思考过程。

以一道关于完全立方数的数学题为例，普通的AI模型可能只会给出"答案是27"这样简单的回答。而TraDo-8B-Thinking却会生成一篇长达数千字的详细解答，从问题分析开始，逐步推导，考虑各种可能性，甚至还会进行自我验证和反思。

这种能力的价值远不止于数学领域。在需要复杂推理的场景中，比如法律分析、医疗诊断、投资决策等，这种详细的推理过程能够帮助人类更好地理解AI的决策依据，从而建立对AI系统的信任。

更有趣的是，这个模型在生成长篇推理时展现出了类似人类的思维特征。它会质疑自己的初步结论，重新检查推理过程，甚至会说"等等，让我重新想想"这样的话。这种自我反思的能力使得它的推理过程更加可靠和值得信赖。

十、实际应用的广阔前景

这项研究的意义远远超出了学术范围，它为AI技术的实际应用开辟了新的可能性。在教育领域，这种能够详细解释推理过程的AI可以成为优秀的数学导师，不仅能给出正确答案，还能耐心地解释解题思路。

在科学研究中，这种技术可以帮助研究人员处理复杂的数据分析和假设验证工作。AI不再是一个黑盒子，而是一个能够清晰解释自己推理过程的研究助手，这将大大提升科学研究的效率和可信度。

在金融和商业分析领域，这种技术可以帮助分析师进行复杂的投资决策和风险评估。投资经理不仅能够得到AI的建议，还能看到详细的分析过程，从而做出更加明智的决策。

更重要的是，这项技术为解决AI的"可解释性"难题提供了一个实用的解决方案。长期以来，AI系统的不透明性一直是阻碍其在关键领域广泛应用的主要障碍。TraceRL技术让AI的思维过程变得透明可见，这将大大促进AI在医疗、法律、金融等高风险领域的应用。

说到底，这项研究最大的价值在于它改变了我们训练AI的根本思路。从关注结果到关注过程，从粗放式训练到精细化指导，这种转变就像从工业化生产转向手工艺制作，虽然过程更复杂，但产品质量却得到了质的提升。

TraDo系列模型的优异表现证明了这种方法的有效性。更重要的是，研究团队通过开源的方式让这项技术惠及整个AI研究社区，这种开放合作的精神将推动整个领域的快速发展。

对于普通人来说，这项研究意味着我们很快就能看到更加智能、更加可靠的AI助手。这些AI不仅能给出正确答案，还能清楚地解释它们是如何思考的，这将让人机合作变得更加高效和信任。随着这项技术的进一步发展和应用，我们有理由相信，AI将在解决人类面临的复杂问题上发挥越来越重要的作用。

研究团队已经将完整的代码和模型在GitHub上开源，有兴趣的读者可以访问https://github.com/Gen-Verse/dLLM-RL来体验这项令人兴奋的技术。这不仅是一项技术突破，更是AI发展道路上的一个重要里程碑，预示着更加智能、可靠、可解释的AI时代即将到来。

Q&A

Q1：TraceRL训练方法和传统AI训练方法有什么区别？

A：传统AI训练就像只看学生的考试成绩，而TraceRL像是观察学生解题的每一个步骤。传统方法只关注最终答案对错，TraceRL会分析AI生成答案的整个思维过程，针对每一步进行指导和优化，就像一位贴身家教实时纠正学生的解题思路。

Q2：TraDo模型为什么比其他大型AI模型表现更好？

A：TraDo模型虽然参数规模较小，但通过TraceRL方法训练得更加精准。就像一位技巧娴熟的体操运动员虽然体型娇小，但在技术和灵活性上远胜高大的选手。TraDo-8B在数学推理上比Qwen2.5-7B提升6.1%，比Llama3.1-8B提升51.3%，证明了训练方法的重要性。

Q3：普通人能使用TraDo模型吗？如何获取？

A：研究团队已经将完整的TraDo框架在GitHub开源，网址是https://github.com/Gen-Verse/dLLM-RL。框架支持多种模型架构，集成了加速推理技术，并提供了数学、编程等不同任务的训练模板，让用户能够快速上手使用这项技术。

来源：科技行者一点号1