摘要：大模型正以前所未有的速度改变世界，我们习惯了它们一日千里的进步。每一次参数量的跃升，每一次新基准的刷新，都似乎在印证着“越大越强，越练越好”的线性法则。那是一种令人激动不已的体验，也让我们对AI的未来充满无限遐想。然而，这背后隐藏着一个鲜为人知的“秘密”：即便

大模型正以前所未有的速度改变世界，我们习惯了它们一日千里的进步。每一次参数量的跃升，每一次新基准的刷新，都似乎在印证着“越大越强，越练越好”的线性法则。那是一种令人激动不已的体验，也让我们对AI的未来充满无限遐想。然而，这背后隐藏着一个鲜为人知的“秘密”：即便我们倾注大量算力进行微调，大模型并非总能保持持续积累。它们在“成长”过程中，会悄悄“遗忘”曾经掌握的正确知识，那些“高光时刻”在训练轨迹中悄然流逝，就像被无形的力量上了锁。

在人工智能的竞赛中，我们曾以为大模型的进步是一条坦途，但一项最新研究却揭示了一个令人警醒的“幽灵”：高达 6.4%到56.1%的最终错误，竟然曾在早期检查点被模型正确解决过，正如华盛顿大学、卡内基梅隆大学等机构研究团队在预印本论文《大语言模型中被遗忘推理的时间性采样》[1]中详述。这无疑是对“越练越好”这一直觉的有力挑战，不禁让人深思：我们所看到的大模型能力，仅仅是冰山一角吗？那些被遗忘的“智慧”，是否还能被重新唤醒？这篇深度报告，将带你揭开大模型“失忆症”的真相，并探索一项颠覆性的“炼金术”——“时间回溯”如何让模型性能暴涨19%，彻底改变我们对AI智能的理解和使用方式。

传统观念中，我们总认为大模型的训练过程是线性的：投入更多数据，进行更长时间的微调，模型能力就会稳步提升，最终检查点自然是其能力的巅峰。然而，现实却远比这复杂。大模型的“时间性遗忘”（Temporal Forgetting）现象，揭示了其训练是一个动态的、非线性的复杂过程。它并非“灾难性遗忘”（Catastrophic Forgetting）那种学习新任务时对旧任务或领域知识的系统性丢失。相反，在对大语言模型灾难性遗忘的实证研究中曾探讨，这种遗忘是发生在“跨任务学习”场景下的大语言模型灾难性遗忘实证研究[2]。而“时间性遗忘”则专注于在单任务训练过程内部，即使模型整体性能提升，特定问题的正确性却会在不同检查点间反复波动。

这种“健忘”的普遍性，超乎我们的想象。研究人员深入分析了 Qwen2.5-7B 等领先模型在强化学习（RL）训练中的表现，发现了一个触目惊心的事实：在 AIME 数学推理基准测试中，高达 76.7% 的问题曾被 Deepseek-R1-1.5B 模型在某个中间检查点正确解答，但最终模型却只保留了 30.1% 的正确率，这在论文《大语言模型中被遗忘推理的时间性采样》[3]中被清晰地呈现。这意味着，超过一半的正确答案在训练过程中被“遗忘”了。这种现象在其他先进模型中也屡见不鲜，比如 DeepseekR-1.5B 和 OpenR1-7B 在整体性能提升的同时，却遗忘了基础模型原本能正确回答的许多问题，在 OlympiadBench 数据集上的表现反而不如基础模型Temporal Sampling for Forgotten Reasoning in LLMs[4]。

为了更精准地量化这种“失忆症”，研究者引入了两个核心指标：

P_Lost（Lost Score）：衡量那些基础模型能正确回答，但经过微调后最终模型却回答错误的问题百分比。数据显示，P_Lost 值在 6.1% 到 16.0% 之间，平均高达 9.5%。这明确指出，即使整体性能有了提升，模型仍在某些旧知识上“失手”，付出了“遗忘”的代价。

P_TFS（Temporal Forgetting Score）：衡量在整个训练过程中（包括强化学习和有监督微调），曾在某个检查点正确，但最终在最终检查点却回答错误的问题百分比。这个数值更是惊人，从 6.4% 到 56.1%，平均高达 25%。这意味着，平均而言，基准测试中四分之一的问题，模型在训练的某个阶段是能解开的，但最终的“定稿”却错了。

这些数据显示的“健忘”并非模型在训练中变得“更差”了，而是其内部复杂的知识重塑过程。这种动态波动也体现在更广阔的行业场景中。在实际部署中，行业专业人士也遇到过类似的“意外遗忘”：例如，专门为医疗诊断微调的LLM突然失去了执行基本算术运算的能力，正如Unfold AI的博客文章 LLM中的灾难性遗忘[5]所阐述；或是原本用于垃圾邮件检测的模型，在微调识别社交媒体有毒内容后，完全失去了识别垃圾邮件的原始能力。此外，在AI客服产品升级后，也有报道指出，用户反馈其原本能够精准处理的复杂退货流程，突然出现逻辑混乱，导致用户体验下降。这种“技能漂移”现象在实际的多任务AI系统中并不少见，反映出大模型训练并非简单的“加法”过程。

那么，为何大模型会陷入这种“健忘”的怪圈？从理论层面看，这与模型的优化景观（Loss Landscape）密切相关，即模型训练过程中损失函数曲面的特性，正如预印本论文《人工智能的损失景观》[6]所深入探讨。在训练过程中，模型参数在复杂的损失景观中不断移动，就像在一个崎岖不平的山脉中寻找最低点。新知识的学习会使参数向新的方向调整，这可能无意中“破坏”或“覆盖”了早期训练中形成的、针对特定问题的正确路径。这种“遗忘-恢复-再遗忘”的循环，正体现了模型在不断重塑其“认知地图”以适应新目标时的复杂动态。研究甚至发现，随着模型规模的增大（在 1B 到 7B 参数范围内），遗忘现象的严重程度反而会加剧，正如一项对大语言模型灾难性遗忘的实证研究所示[7]。这打破了我们对“越大越强”的直觉认知，可能源于大模型在初始性能上的显著优势，使得遗忘在对比中更为明显，或是其复杂参数空间导致知识保持的难度增加。此外，研究还表明，知识的获取是通过微小概率增量的累积实现的，而当模型不再接触到该知识时，这种获取效果会逐渐被稀释，导致遗忘知识获取中的微小概率增量[8]。

既然大模型会“遗忘”曾掌握的知识，但这些知识又并非彻底消失，而是存在于训练轨迹的某个“历史快照”中，那我们能否将这些“隐藏的智慧”重新激活？答案是肯定的！

受这种“时间性遗忘”现象的启发，华盛顿大学、卡内基梅隆大学等机构的研究团队提出了一项颠覆性的技术——“时间性采样”（Temporal Sampling）。这项技术堪称大模型的“时光穿梭机”或“炼金术”，它大巧不工，却能解锁被封印的AI潜能，实现推理性能的质的飞跃。

“时间性采样”的核心思想非常直观，却又充满智慧：传统上，当我们需要大模型回答问题时，我们只依赖训练结束后的“最终模型”进行采样。这就好比一个学生，无论他过去有多少“灵光一现”的草稿，我们只看他最终交卷的成果。而“时间性采样”则改变了这一范式。它主张，在推理时，不再只依赖单一的最终检查点，而是将采样预算巧妙地分配到模型训练过程中的多个历史检查点（例如，最新的 8 个检查点），正如论文《大语言模型中被遗忘推理的时间性采样》[9]中所述。这就像让模型在不同历史阶段的“自我”中寻找答案，汇聚“集体智慧”。这项策略的革命性在于，它直接挑战了我们长久以来“只看结果不看过程”的评估定式，转而挖掘模型学习过程中的宝藏。

图例：时间性采样与传统推理对比

这项技术的“魔法”之处在于：

无需重新训练：它是推理时（Inference-time）的策略，不需要重新进行耗时耗力的模型训练或微调。

不增加模型复杂度：它不涉及模型架构的改变，也不需要昂贵的模型集成（Ensembling），只是更智慧地利用了已存在的检查点。

精准找回“遗忘”知识：由于被遗忘的知识可能存在于某个中间检查点，通过从多个检查点采样，模型就能大大增加找到正确答案的概率。

打个比方，就像一个医生在诊断复杂病例时，不仅仅依赖他现在最新的医学知识，还会回顾他职业生涯不同阶段、不同病例中积累的经验，从各种“历史快照”中寻找最相关的洞察。时间性采样正是为AI赋予了这种“时间维度上的回忆”能力，正如Robometrics AGI博客文章 《AI与人类记忆：通过时间记忆优化学习》[10]所深入探讨。这种通过汇聚不同时间点的“智慧”，提升最终决策准确率的思路，在其他研究中也有体现，比如预印本论文《超越最终检查点：大语言模型推理时扩展的新兴解码策略》[11]深入探讨了利用模型状态或动态的解码策略。这证明了“训练动态蕴含未被充分利用的潜力”这一前沿理念的正确性。

为了评估这种创新方法的有效性，研究者还引入了一个新指标：Pass@k|t。它表示当从 t 个检查点抽取 k 个样本时，至少获得一个正确答案的概率。这个指标直观地量化了“时间回溯”的威力。

理论的提出，最终是为了在实践中验证其价值。“时间性采样”这项技术，在实际基准测试中展现出了令人难以置信的性能提升，堪称一场“性能核聚变”。数据是最好的佐证，它将直观地告诉你，这项“炼金术”有多强大。

首先是 Pass@k 性能的飞跃：

研究人员在 AIME2024、AMC 和 AIME2025 等多个复杂数学推理基准测试中，对 Qwen2.5-7B 模型进行了深入评估。结果令人震惊：

相比仅使用最终检查点（t=1）的传统方法，时间性采样（Pass@k|t）的性能提升了惊人的 4 到 19 个百分点，正如论文《大语言模型中被遗忘推理的时间性采样》[12]中所述。

在 AIME24 上，当采样数量 k=64 时，使用 8 个检查点的 Pass@k|8 通过率比只使用最终检查点提升了超过 19 个百分点！这种增幅在AI领域堪称革命性。

更令人兴奋的是，时间性采样的效率优势：它仅需 5 个样本（k=5）就能达到传统方法使用 64 个样本（k=64, t=1）才能达到的通过率（22.5%。这意味着，我们能用更少的计算资源和推理时间，实现更高的性能，真正做到“少花钱多办事”。

其次，它对其他常用推理策略也带来了显著增益：

多数投票（Majority@k）性能强化：Majority@k 是一种通过生成多个答案并选择出现次数最多的答案来提高准确性的方法。在 AIME2024、AMC 和 AIME2025 基准上，结合时间性采样（t=8）后，多数投票的准确率比基线方法提升了 7 到 8 个百分点。具体而言，在 k=64 时，Majority@k|8 的准确率超过 **21%**，远超基线的 13%Temporal Sampling for Forgotten Reasoning in LLMs[13]。这对于需要在多种可能性中做出最佳判断的决策类AI应用（如自动驾驶决策、智能医疗诊断）具有非凡意义，因为它显著提升了AI系统作出“集体正确”决定的能力。

Best-of-N 性能优化：Best-of-N 策略通常会生成多个答案，并通过奖励模型选择最佳答案。即便结合了这种更高阶的解码策略，时间性采样（t=8）依然能带来额外的性能增益，在三个基准测试上提升了 1 到 8 个百分点Temporal Sampling for Forgotten Reasoning in LLMs[14]。这证明了“时间回溯”策略的普适性和兼容性，它能与现有优化方案叠加，实现“锦上添花”的效果。

不仅如此，“时间性采样”还在竞争中脱颖而出。它甚至 优于传统的“混合模型”（Mixture of Models, MoM）方法。MoM 需要调用多个独立的、可能是不同架构的基础模型来协作生成答案，而时间性采样仅用单一微调模型的历史检查点，在相同计算预算下，其性能比 MoM高出 4 到 9 个百分点Temporal Sampling for Forgotten Reasoning in LLMs[15]。

这些硬核数据无疑敲响了警钟：大模型真正的能力，也许并不只在“终点线”上。这种通过挖掘训练轨迹中的“隐藏智慧”来大幅提升性能的方法，预示着 AI 效率优化和能力释放的全新方向。当然，这种多检查点推理确实会带来一定的计算开销，例如每个检查点加载和初始化的额外延迟，正如USENIX OSDI 2024论文 《多检查点推理的计算成本与延迟影响》[16]中所述。但这种开销是一种“算力换性能”的明智选择，且比重训练和集成模型的成本低得多，特别是对于那些对精度和效率要求极高的关键应用，其投资回报率极高，正如The Moonlight AI的分析[17]。

“时间性采样”的这种“核聚变”效应，不仅在数学推理任务中表现突出，其核心原理也具有广泛的普适性。在代码生成中，它可以捕获模型在不同训练阶段掌握的编程范式和算法策略，提供多样化、可能更优的算法实现；在长文本内容创作中，它能利用模型不同时期对叙事结构、语言风格的理解，生成更丰富、更具深度的内容；甚至在科学发现领域，它也可能通过整合模型对基础理论和前沿应用的“瞬时洞察”，激发全新的假设和研究方向。可以说，这项技术正在重新定义AI能力的边界。

即便“时间性采样”如此强大，它也曾面临一个现实挑战：存储成本。如果每个大模型的历史检查点都完整保存，那将是天文数字般的存储需求[18]。例如，一个 Qwen2.5-7B 模型，仅仅 8 个检查点就需要约 112GB 的存储空间，而对于更大的 Llama-70B 级别模型，8 个检查点可能需要超过 1TB 的存储空间。这无疑会阻碍其在实际生产环境中的广泛部署。

然而，一项被称为 LoRA（Low-Rank Adaptation，低秩适应）的技术，与“时间性采样”实现了完美的“联姻”，彻底解决了这一存储痛点。LoRA 的核心思想非常巧妙：在微调大模型时，它并非修改全部参数，而只是在模型内部添加少量可训练的“适配器”权重。这些适配器参数量极小，却能以低成本实现与完整模型微调相媲美的效果，这一方法在论文《LoRA：大语言模型的低秩适应》[19]中被详细阐述。

当“时间性采样”遇到 LoRA，这种“降维打击”般的结合，直接将多检查点存储的成本压缩到了极致：

得益于 LoRA 技术，8 个检查点所需的存储空间从传统的 112GB 锐减到仅仅 800MB，这项惊人成就也记录在论文《大语言模型中被遗忘推理的时间性采样》[20]中。这相当于实现了99.3% 的存储需求减少！

关键在于，这种成本的大幅降低，并未以牺牲性能为代价。实验数据显示，LoRA SFT（有监督微调）的 Qwen2.5-7B 模型，在结合“时间性采样”后，其 Pass@k 和 Majority@k 性能在 AIME 等基准测试中依然能获得显著提升。这意味着，我们能够以极低的资源投入，解锁模型的高性能，真正实现“超能力”不再昂贵。

这项“完美联姻”，使得“时间性采样”从一项前沿研究，一跃成为极具商业价值和普惠潜力的部署方案。它为那些计算资源和存储空间有限的企业和开发者，打开了一扇通往高性能 AI 的大门。

想象一下：一家中小型企业无需投入巨资购买顶级算力，也无需聘请大量专家进行复杂模型集成，仅仅通过管理和利用少量 LoRA 适配器，就能让现有的 AI 模型爆发出超越预期的推理能力。这不仅能帮助他们提升效率，更可能在激烈的市场竞争中获得独特的优势。

此外，LoRA 技术本身也在不断演进，像 LoRA-Mini 通过更极致的矩阵分解，将训练参数进一步减少 20 倍，这项参数高效微调的创新在预印本论文 《LoRA-Mini：参数极致高效微调》[21]中得以展现；LowRA 甚至实现了业界首个低于 2 位/参数的超低精度 LoRA 微调，进一步节省内存，这项技术被详细介绍在名为《LowRA：子2位LoRA微调》[22]的论文中。其他新兴技术，如ByteCheckpoint，则提出了统一的检查点系统，能在不同并行配置间高效重分片检查点，显著减少运行时停顿和保存/加载时间，这项突破性工作由论文《ByteCheckpoint：一个统一的检查点系统》[23]详细阐述。这些技术与“时间性采样”的结合，将使得“普惠 AI”的愿景从概念走向现实，让更多企业和个人能够触及、利用和受益于顶尖的 AI 能力。

“时间性采样”的成功，绝不仅仅是又一个 AI 性能提升的工具。它更深层次的意义在于，对大模型传统“终点论”评估范式的根本性挑战，并引导我们重新思考 AI“智能”的定义和演化路径。

长期以来，我们习惯于只关注大模型训练的“最终版本”，认为它是智能的巅峰。但这项研究明确告诉我们：“真正的模型能力，可能并不 reside 于单一的参数快照中，而在于训练的集体动力学本身。”，这是论文《大语言模型中被遗忘推理的时间性采样》[24]中的核心论断。这种认识如同为AI评估体系敲响了警钟，促使我们从“结果导向”转向“过程导向”，去挖掘那些被忽视的“智慧轨迹”。它要求我们思考：未来的AI系统，是否需要一个能够回溯“记忆之河”的机制，才能真正发挥其全部潜力？

将大模型的“时间性遗忘”类比人类学习和记忆的非线性过程，也为我们提供了新的思考角度。人类在学习新知识时，有时会暂时性地遗忘旧知识；在解决复杂问题时，也常常会“回想”起不同人生阶段的经验和感悟，这与“时间性采样”从不同检查点聚合智慧的思路异曲同工。这提示我们，AI的“智慧”可能也并非静态储存，而是动态的、在不同时间点上流动的“记忆拼图”，正如Robometrics AGI博客文章 《AI与人类记忆：通过时间记忆优化学习》[25]所深入探讨。这种将“时序记忆”和“情节记忆”概念引入LLM的研究，如论文《Echo模型：大语言模型的情节记忆》[26]中提出的模型 和《视觉语言情节记忆（VLEM）框架》[27]所述的框架，正试图赋予AI更接近人类的长期和情景记忆能力。

未来，AI的发展将更加关注如何有效管理和利用这种“时间多样性”。论文也为我们指明了未来研究的方向：

进一步降低存储成本：尤其是针对强化学习（RL）训练轨迹，探索更高效的 LoRA 微调或类似机制。

将 Pass@k|t 优势迁移到 Pass@1|1：这意味着，如何在单次推理、单个模型中，也尽可能地融合多个检查点的智慧，实现更高效、更精准的“一次成功”，对此预印本论文《将Pass@k性能转化为单样本推理的挑战与方法》[28]进行了深入讨论。

构建更全面的学习和遗忘动力学理论框架：深入理解 AI “记忆”和“遗忘”的底层原理，为设计下一代更具韧性、更智慧的 AI 系统提供理论指导，例如论文《大语言模型中时间性遗忘的理论机制》[29]就探讨了相关理论。

“时间性采样”的出现，无疑是AI领域一次激动人心的突破。它让我们看到了，AI 的智能并非一成不变，而是充满了动态和可能性。它提醒我们，最珍贵的智慧，往往不是我们现在“拥有”的，而是我们曾经“经历”的。真正的 AI 智能，可能在于学会与自己不同时期的“认知状态”对话，从而实现前所未有的突破。

随着这项技术的成熟与普及，我们有理由相信，未来的大模型将不再仅仅是线性的“能力堆砌”，而是一个能够智能地管理和利用自身“学习历史”的复杂适应系统。这不仅将大幅提升 AI 的实用性能，更将深刻影响我们对通用人工智能（AGI）发展的理解——真正的 AGI 可能是一个能够在复杂动态中导航，并持续演化适应的“智慧生命体”，对此预印本论文 《训练集体动力学：对AGI发展的长期影响》[30]进行了深入探讨。这不禁让我们感叹，AI的学习之路，也充满了不确定性和意外的惊喜。

这场关于“记忆”和“智慧”的AI革命才刚刚开始。那么，你认为，这种对“过程”的重视，会如何改变你使用和理解大模型的方式？如果AI也能“回忆”，你希望它帮你解决哪些曾经的“难题”？欢迎在评论区分享你的思考！

参考资料

[1]

《大语言模型中被遗忘推理的时间性采样》:

[2]

大语言模型灾难性遗忘实证研究:

[3]

[4]

Temporal Sampling for Forgotten Reasoning in LLMs:

[5]

LLM中的灾难性遗忘:

[6]

《人工智能的损失景观》:

[7]

所示:

[8]

知识获取中的微小概率增量:

[9]

[10]

《AI与人类记忆：通过时间记忆优化学习》:

[11]

《超越最终检查点：大语言模型推理时扩展的新兴解码策略》:

[12]

[13]

[14]

[15]

[16]

《多检查点推理的计算成本与延迟影响》:

[17]

分析:

[18]

如果每个大模型的历史检查点都完整保存，那将是天文数字般的存储需求:

[19]

《LoRA：大语言模型的低秩适应》:

[20]

《大语言模型中被遗忘推理的时间性采样》:

[21]

《LoRA-Mini：参数极致高效微调》:

[22]

《LowRA：子2位LoRA微调》:

[23]

《ByteCheckpoint：一个统一的检查点系统》:

[24]

[25]

[26]

《Echo模型：大语言模型的情节记忆》:

[27]

《视觉语言情节记忆（VLEM）框架》:

[28]

[29]

《大语言模型中时间性遗忘的理论机制》:

[30]

《训练集体动力学：对AGI发展的长期影响》:

来源：人工智能学家