摘要：腾讯联合港中大提出RLPT方法，通过强化学习让AI从预训练数据中自主推理学习，无需人工标注即可显著提升模型在数学推理、常识问答等任务上的表现，为大语言模型训练开辟了全新范式。

腾讯联合港中大提出RLPT方法，通过强化学习让AI从预训练数据中自主推理学习，无需人工标注即可显著提升模型在数学推理、常识问答等任务上的表现，为大语言模型训练开辟了全新范式。

传统的大模型训练方式就好比让学生死记硬背教科书，虽然能学到知识，但缺乏深度思考能力。而且高质量的学习材料却变得越来越稀缺，就像想要培养更多学霸，但好的教材和题目已经不够用了。

腾讯的研究团队发现了这个根本性问题：当前的AI训练主要依赖监督学习，这种方式就像老师手把手教学生每一个步骤，虽然有效，但学生很难培养出独立思考和解决问题的能力。而且，这种教学方式需要大量精心准备的教材和习题，成本高昂且难以大规模扩展。研究团队提出的RLPT方法则完全不同，它让AI像一个真正的学霸一样，能够从原始的学习材料中自主发现知识规律，并通过不断的思考和推理来提升自己的能力。

这种新方法的核心思想可以用一个简单的比喻来理解：传统方法就像给学生一本标准答案，让他们按部就班地抄写；而RLPT则是给学生一本只有题目的练习册，让他们自己思考、推理，然后通过检查答案的合理性来判断学习效果。这种方式不仅能让AI学到表面知识，更重要的是培养了它们的推理思维能力。

突破传统训练模式的创新思维

高质量的训练数据越来越稀缺。从早期BERT模型使用的数十亿个词汇，到现在Llama模型需要的数万亿词汇，数据需求呈指数级增长。同时，模型规模也从最初的数百万参数飙升到如今的万亿级别，这就像从培养一个普通学生变成培养一个知识渊博的博士生，所需的教育资源完全不在一个量级上。

然而，互联网上的高质量文本内容增长速度远远跟不上这种需求。这就造成了一个有趣的现象：我们有足够强大的"大脑"（计算能力），但却没有足够好的"教材"（高质量数据）来充分利用这个大脑。传统的解决方案是增加参数数量或扩展数据集，但这种做法就像不断给学生增加课业负担一样，不仅成本高昂，效果也有限。

腾讯研究团队意识到，问题的关键不在于获取更多的标准化教材，而在于改变学习方式本身。他们提出的RLPT方法就像是从"填鸭式教育"转向"探究式学习"。在这种新方法中，AI不再被动地接受预设的正确答案，而是主动地从原始文本中发现规律，通过自己的推理来预测后续内容，然后根据预测的准确性来调整学习策略。

这种方法的巧妙之处在于，它完全消除了对人工标注数据的依赖。传统的强化学习方法，比如从人类反馈中学习（RLHF），就像需要老师对每一道题都给出详细的对错评判。而RLPT则能够从原始的、未经处理的文本中自动生成学习信号，就像让学生通过阅读大量书籍来自主学习，而不需要老师时时刻刻在旁边指导。

智能化的分段推理机制

RLPT的核心创新在于它独特的"下一段落推理"机制。这个机制就像训练学生的阅读理解能力一样，不是简单地记忆单词，而是理解段落之间的逻辑关系。研究团队将这个过程设计得非常精巧：首先，他们将原始文本分解成有意义的段落，每个段落代表一个完整的思想单元，可能是一个句子、一个推理步骤，或者一个完整的概念。

接下来，他们设计了两种互补的学习任务。第一种叫做"自回归段落推理"（ASR），这就像给学生看了故事的前半部分，然后让他们猜测后面会发生什么。这种训练方式能够培养AI的逻辑推理能力和对文本连贯性的理解。第二种叫做"中间段落推理"（MSR），这更像是填空题，给学生展示一段话的开头和结尾，让他们推理出中间缺失的部分。这种训练特别有助于培养AI对上下文的理解能力。

在实际训练过程中，研究团队巧妙地将这两种任务交替进行。就像一个全面发展的学生既要有创造性思维（ASR），又要有逻辑分析能力（MSR）一样，AI通过这种双重训练能够同时提升生成能力和理解能力。每当AI完成一个推理任务时，系统会通过一个"智能评分员"（生成式奖励模型）来评估答案的质量。这个评分员不是简单地进行逐字比较，而是评估预测内容与标准答案在语义上是否一致，就像一个经验丰富的老师能够识别出学生答案中的合理性，即使表达方式有所不同。

这种评分机制特别人性化。研究团队发现，如果过分严格地要求AI的预测必须与标准答案完全一致，就像要求学生的答案必须逐字逐句都正确一样，这样会限制AI的创造性和灵活性。因此，他们设计了一种更宽松的"前缀奖励"机制，只要AI的预测内容能够合理地延续原文的思路，就能获得正面反馈。这种做法极大地提升了训练的稳定性和效果。

实验效果与扩展性

当研究团队将RLPT应用到实际的AI模型上时，效果很好。他们选择了多个不同规模和类型的模型进行测试，包括Llama3.2-3B、Qwen3-4B和Qwen3-8B等主流模型。实验涵盖了从常识问答到复杂数学推理的各个领域，就像给不同水平的学生安排了全面的期末考试。

在通用知识领域的测试中，RLPT展现了显著的提升效果。以Qwen3-4B模型为例，在MMLU（大规模多任务语言理解）测试中提升了3.0个百分点，在更具挑战性的MMLU-Pro测试中提升了5.1个百分点，在需要深度推理的GPQA-Diamond测试中更是实现了8.1个百分点的惊人提升。这些数字背后反映的是AI在理解复杂概念和进行逻辑推理方面的显著进步。

在数学推理这个传统难题上，RLPT的表现尤其出色。数学推理一直被认为是测试AI真正智能水平的重要指标，因为它需要严密的逻辑思维和多步骤的推理能力。实验结果显示，经过RLPT训练的模型在AIME24和AIME25这两个极具挑战性的数学竞赛题目上，分别提升了6.6和5.3个百分点。这种提升不仅体现在"一次答对"的成功率上，也体现在"多次尝试"的整体表现上，说明AI不仅学会了解题方法，还培养了多角度思考问题的能力。

RLPT展现出了良好的扩展性质。研究团队发现，随着训练计算量的增加，模型性能呈现出稳定的幂律增长趋势，这意味着投入更多的计算资源就能获得更好的效果，而不会出现收益递减的问题。这种规律性增长为未来的进一步优化提供了清晰的路线图。

研究团队还发现了一个有趣的现象：RLPT不仅能独立提升模型性能，还能为其他训练方法提供更好的基础。当他们将RLPT与传统的可验证奖励强化学习（RLVR）结合使用时，效果进一步放大，就像一个已经具备良好基础的学生在接受专项训练时能够取得更好的成绩。这种协同效应表明，RLPT不仅是一种替代方法，更是一种能够与现有技术相互促进的基础性创新。

深层思维模式的养成过程

研究团队在分析AI的学习过程时发现了一个特别有趣的现象：经过RLPT训练的模型展现出了类似人类专家的思维模式。在处理复杂问题时，这些模型不再是简单地根据记忆给出答案，而是展现出了结构化的推理过程。

以一个具体的数学推理例子来说明，当模型遇到一个关于傅里叶变换的问题时，它的思考过程变得格外清晰和有条理。模型首先会仔细分析题目背景，理解问题的关键要素，然后识别出解决问题的下一个关键步骤。接着，它会形成一个候选答案，但不会立即给出结论，而是会验证这个答案的合理性，甚至探索其他可能的解决路径。最后，模型会进行回顾检查，确保答案的逻辑一致性，然后才给出最终结果。

这种思维模式的形成并非偶然。RLPT训练过程本身就鼓励模型进行深度思考。传统的训练方法就像让学生快速浏览教科书然后直接答题，而RLPT则鼓励学生在给出答案之前进行充分的思考和推理。这种训练方式培养出了更加稳健和可靠的问题解决能力。

研究团队还注意到，这种思维模式的改变不仅体现在数学推理上，在处理语言理解、常识推理等其他任务时也同样明显。模型学会了从多个角度审视问题，考虑不同的可能性，然后选择最合理的答案。这种全面性的思考方式正是人类专家区别于普通人的重要特征。

技术实现的精妙设计

在技术实现层面，研究团队展现了深厚的工程智慧。他们面临的第一个挑战是如何让基础模型具备执行复杂推理任务的能力。解决方案是引入一个"冷启动"阶段，就像给一个刚入学的学生先进行基础训练一样，让模型首先掌握理解和执行指令的基本能力。

在文本分段策略上，研究团队经过反复试验，最终选择了以句子为基本单位的分段方法。他们曾尝试使用更细粒度的原子步骤分段，就像将学习内容分解到每一个细小的知识点，但发现这种方式过于复杂，反而不利于模型学习。最终采用的句子级分段就像将知识按照自然的逻辑单元进行组织，既保持了内容的完整性，又便于模型理解和处理。

在计算资源的配置上，研究团队采用了精心优化的训练参数。他们使用批处理大小为512，最大响应长度为8192个字符，采样温度设为1.0以保持适当的随机性。优化算法选择了GRPO（Group Relative Policy Optimization），这是一种专门为强化学习设计的高效算法。整个训练过程不使用传统的KL散度正则化，这使得模型能够更自由地探索不同的表达方式。

至顶AI实验室洞见

腾讯团队的RLPT研究核心的技术创新在于，能够让AI模型直接从海量的原始网络文本中自主学习和推理，而无需耗时且昂贵的人工标注。说明未来可能AI训练成本会显著降低而效率大幅提升，AI模型训练将变得更加普及化，不再是大型科技公司的专属，小型团队和初创公司也能以低成本构建出高质量的模型。

RLPT的价值不只在于模型训练。在教育领域，它强调的自主探索和推理思维与现代教育理念中的批判性思维培养不谋而合，未来的AI助手有望成为能够引导人们深度思考、解决复杂问题的学习伙伴。在科学研究中，经RLPT训练的模型所展现出的强大推理能力，为自动化科学发现提供了新工具，能从海量文献中发现新规律，为科研人员提供灵感。

RLPT当前仍面临诸多挑战。生成式奖励模型在处理主观或多样性答案时仍有偏差，计算效率的优化也亟待解决。此外，训练效果受初始模型质量和数据分布的影响，这需要更精细的参数调整和理论分析。未来，研究将探索更精细的文本分段策略，并寻求RLPT与其他先进技术的结合，甚至将其扩展至多模态学习，让AI能够从图像、音频等多种数据源中自主推理学习。

AI不再是被动的信息处理工具，而是能够主动思考、自主学习的智能。它们像永不疲倦的学习者，不断探索成长。RLPT开启了一扇通向更高级AI的大门，让我们离实现AGI的目标又近了一步。

来源：码客人生一点号