摘要：这项由MiniMax公司研究团队发表于2025年6月的突破性研究，介绍了世界首个开源的大规模混合注意力推理模型MiniMax-M1。这份发表在arXiv平台的论文（编号：arXiv:2506.13585v1），为有兴趣深入了解的读者提供了完整的技术细节和实验数

这项由MiniMax公司研究团队发表于2025年6月的突破性研究，介绍了世界首个开源的大规模混合注意力推理模型MiniMax-M1。这份发表在arXiv平台的论文（编号：arXiv:2506.13585v1），为有兴趣深入了解的读者提供了完整的技术细节和实验数据。

当我们谈论人工智能的"思考"过程时，就像人类解决复杂数学题需要在草稿纸上写下很多推理步骤一样，AI模型也需要生成大量的"思考文本"来解决难题。然而，传统的AI架构就像用昂贵的高档纸张写草稿——每多写一个字都要付出巨大的计算成本。MiniMax-M1的突破就在于发明了一种"经济型草稿纸"，让AI能够以更低的成本进行更长时间的思考。

MiniMax-M1采用了一种叫做"闪电注意力"的创新机制，这就像是给AI的大脑装上了一个高效的信息处理器。传统的注意力机制在处理长文本时，计算量会呈平方式增长——处理1000个词需要的计算量是处理100个词的100倍。而闪电注意力则实现了近似线性增长，就像从指数爆炸的房贷利率变成了固定的月租费。

这个模型拥有4560亿个参数，但在实际运行时只激活其中的459亿个参数，就像一个拥有巨大图书馆的学者，每次只调用需要的那几本书。更令人印象深刻的是，它能原生支持100万个词汇的上下文长度，这相当于能一次性阅读几十本小说的内容，比目前最好的开源模型多出8倍的处理能力。

在效率方面，当生成10万个词汇的推理内容时，MiniMax-M1只需要传统模型四分之一的计算资源。这种效率优势不仅体现在推理阶段，更重要的是在训练过程中大大降低了成本。研究团队仅用512块H800 GPU，花费3周时间就完成了完整的强化学习训练，总租赁成本约53.47万美元——这在大模型训练领域算是相当经济的投入。

一、技术创新的核心突破

MiniMax-M1的技术创新可以用建筑工程来类比。传统的AI注意力机制就像建造一座大厦时，每个工人都要和其他所有工人直接沟通协调，随着工人数量增加，沟通成本呈几何级数增长。而MiniMax-M1采用的混合架构则像是建立了一个高效的项目管理体系：大部分时候工人通过简化的线性沟通渠道工作，只在关键节点才启用全面协调机制。

具体而言，模型采用了7:1的混合比例设计——每7个使用闪电注意力的层后面跟着1个传统注意力层。这种设计既保持了处理复杂信息的能力，又大幅降低了计算开销。研究团队通过大量实验验证，这种比例能够在保持性能的同时实现最优的效率平衡。

在训练数据方面，研究团队首先对基础模型进行了7.5万亿词汇的继续预训练。这个过程就像给一个已经博学的学者提供更多专业书籍，让其在数学、编程和逻辑推理等领域变得更加精通。训练数据中70%专注于STEM、代码、书籍和推理相关内容，确保模型在复杂任务上具备坚实基础。

特别值得关注的是长上下文扩展策略。由于混合注意力架构的复杂性，过于激进的上下文长度扩展可能导致梯度爆炸问题。研究团队采用了渐进式扩展方法，从3.2万词汇开始，逐步扩展到100万词汇，就像训练长跑运动员时循序渐进增加训练强度，避免运动损伤。

二、强化学习算法的重大改进

在强化学习方面，研究团队开发了一种名为CISPO（Clipped Importance Sampling Policy Optimization）的新算法。理解这个算法的关键在于认识传统方法的局限性。

传统的PPO算法在处理低概率但重要的词汇时存在问题。这些词汇通常是推理过程中的关键转折点，比如"然而"、"重新检查"、"等等"、"啊哈"等表示反思的词汇。由于这些词在基础模型中出现概率较低，在策略更新时容易被"剪裁"掉，就像在编辑文章时把最精彩的转折句子删除了。

CISPO算法的创新在于改变剪裁策略。传统方法是对词汇更新进行剪裁，而CISPO是对重要性采样权重进行剪裁。这就像从"禁止某些学生发言"改为"调节所有学生发言的音量"，确保每个声音都能被听到，只是调整其影响力大小。

实验验证显示，CISPO在相同训练步数下显著优于GRPO和DAPO等竞争算法。在基于Qwen2.5-32B模型的对比实验中，CISPO实现了2倍的训练加速，在AIME 2024数学竞赛数据集上的表现也明显更优。这种效率提升对于大规模模型训练尤其重要，因为它直接转化为时间和成本的节约。

三、混合架构带来的独特挑战与解决方案

作为首个在大规模强化学习中使用混合注意力架构的团队，研究人员遇到了前所未有的技术挑战。最关键的问题是训练模式和推理模式之间的精度不匹配。

这个问题可以比作精密仪器的校准问题。在理论上，同一个模型在训练时和实际使用时应该给出完全相同的概率预测，就像同一把尺子无论何时测量都应该给出相同结果。然而研究团队发现，训练核心和推理核心之间存在微小但关键的精度差异，导致概率相关性从理想的1.0降到约0.9。

通过逐层分析，团队发现问题源于语言模型头部的高幅度激活。解决方案是将语言模型输出头的精度从原来的混合精度提升到FP32全精度。这就像把测量工具从普通精度升级到高精度版本，将相关性提升到0.99以上，确保了训练过程的稳定性。

另一个重要挑战是优化器超参数的敏感性。AdamW优化器的beta1、beta2和epsilon参数配置不当会导致训练不收敛。研究团队发现MiniMax-M1训练中的梯度幅度范围极广，从1e-18到1e-5，且相邻迭代间梯度相关性较弱。基于这些观察，他们调整参数为beta1=0.9、beta2=0.95、eps=1e-15，确保了训练稳定性。

为了防止生成过程中的病理性重复，团队还开发了基于概率的早期截断机制。当连续3000个词汇的概率都超过0.99时（表明模型陷入重复循环），系统会自动终止生成。这种机制既防止了模型不稳定，又提高了生成效率。

四、多样化的训练数据与奖励设计

MiniMax-M1的训练采用了规模庞大且类型丰富的数据集，涵盖了可验证和不可验证两大类任务。这种设计就像培养一个全能型人才，既要在标准化考试中表现优异，也要在开放性创作中展现创意。

在可验证任务方面，数学推理数据包含数十万个竞赛级别的高质量问题。数据清洗过程极其严格，包括去除不完整样本、格式错误和重复内容，同时进行语义去重以确保与监督学习数据的严格分离。团队还使用n-gram和嵌入方法消除与常用数学基准测试的潜在污染，确保评估公平性。

逻辑推理数据通过SynLogic框架合成，涵盖41种不同的逻辑推理任务，包括密码破解、数独等需要非平凡推理能力的问题。框架根据当前最强推理模型的能力边界动态调整难度参数，确保训练数据既有挑战性又不会过于困难。随着模型能力在训练过程中的提升，数据难度也相应增加，形成了动态的课程学习效果。

竞争编程数据来源于在线评判平台和流行编程网站，对于缺乏测试用例的问题，团队开发了基于大语言模型的工作流来生成comprehensive测试套件。类似于数学数据的处理，编程数据也基于模型采样的通过率进行质量和难度筛选。

软件工程数据最为复杂，受SWE-bench启发，团队构建了基于真实GitHub仓库的可验证强化学习环境。这些数据主要包括问题定位、代码修复和测试用例生成等常见软件开发挑战。为了实现有效的强化学习，团队开发了复杂的容器化沙盒环境，模拟真实的软件开发工作流程。

在不可验证任务方面，团队构建了2.5万个复杂样本的通用数据集。对于有标准答案但难以用规则验证的任务，他们开发了生成式奖励模型（GenRM），采用五级奖励量表评估模型响应与标准答案的一致性。对于完全开放式的任务，则采用成对比较框架，将模型输出与参考答案进行比较，得分为-1、0或1。

五、奖励模型的偏差控制

生成式奖励模型的一个关键挑战是长度偏差问题。研究发现，GenRM倾向于偏好更长的输出，而不考虑实际推理质量。这种偏差在复杂推理任务的强化学习中可能产生严重误导，激励模型产生冗长但无实质内容的输出。

团队的核心策略是在强化学习训练期间持续在线监控长度偏差。他们建立了特定指标来检测强化学习策略是否过度延长输出长度以最大化GenRM奖励，而没有在任务成功率或推理深度方面获得真正收益。一旦检测到这种有害的长度寻求行为，就会立即触发GenRM重新校准。

这种迭代调整机制对于防止与输出长度相关的奖励黑客至关重要，确保策略优先考虑实质性的能力提升而非表面的文本膨胀。同时，团队还系统性地采用了奖励塑形、数值裁剪和归一化等强化学习端技术，这些机制使奖励信号对极端值不敏感，将策略优化引导向长推理链的实质性质量和正确性。

六、课程式训练策略

考虑到强化学习数据跨越广泛的类别范围，训练单一策略同时在推理密集型任务和通用领域任务上表现优异是一个核心挑战。团队采用了精心管理的课程和动态权重策略来解决这个问题。

训练过程从仅包含基于规则奖励的推理密集型任务开始，然后逐渐混入通用领域任务。这确保了模型在继续改进其可验证技能（如数学和代码）的同时，逐步增强在从复杂指令遵循到开放式推理等多样化通用任务上的性能。

这种混合强化学习训练鼓励模型学习其推理能力的上下文依赖应用——对可验证问题应用严格的逐步演绎，对通用查询应用更灵活的自适应生成——所有这些都在统一的策略框架内。这种方法防止了专业技能的灾难性遗忘，同时促进了更广泛的泛化能力。

七、扩展到更长推理的挑战

研究团队首先训练了输出长度限制为4万词汇的模型，然后进一步扩展到8万词汇。这种扩展过程采用了阶段性窗口扩展策略，从4万词汇开始，逐步增加到4.8万、5.6万、6.4万、7.2万，最终达到8万词汇。

每个阶段的转换都基于经验指标确定，包括生成序列上的困惑度收敛以及输出长度的99th分位数是否接近当前上下文窗口限制。这些信号为模型在每个长度上的准备情况提供了宝贵见解，使团队能够在整个过程中保持robust训练。

在扩展过程中遇到的一个关键问题是后期训练阶段的模式崩溃倾向。具体表现为模型容易产生病理性的长重复响应，其梯度可能威胁模型稳定性。团队识别出根本原因：在输出长度扩展过程中，负样本的长度增长速度远快于正样本，经常更早达到上下文窗口限制。

这导致在生成序列的后续段中积累了不成比例的大负梯度。这种不平衡源于GRPO优势归一化和采用的token级损失的本质上不平等特性。为了解决这个问题，团队实施了三个关键解决方案：通过早期停止检测重复模式、采用结合sample级损失和token级归一化来缓解负正样本不平衡、降低梯度剪裁阈值和重要性采样上限以进一步稳定生成。

八、全面的性能评估

MiniMax-M1在多个关键领域的评估结果展现了其强大的综合能力。在数学推理方面，MiniMax-M1-80k在AIME 2024上达到86.0%的准确率，在开源模型中排名第二，仅次于最新的DeepSeek-R1-0528模型。在AIME 2025上获得76.9%的成绩，在MATH-500基准上达到96.8%的高分。

编程能力评估显示，模型在LiveCodeBench上达到65.0%的通过率，在FullStackBench上获得68.3%的成绩，与Qwen3-235B等leading开源模型性能相当。在推理与知识评估中，GPQA-Diamond测试获得70.0%，MMLU-Pro达到81.1%，ZebraLogic逻辑推理测试获得86.8%的优异成绩。

最令人印象深刻的是在复杂场景中的表现。在软件工程任务SWE-bench Verified上，MiniMax-M1获得56.0%的成功率，显著超越其他开源模型。借助100万词汇的上下文窗口优势，模型在长上下文理解任务中表现卓越，在OpenAI-MRCR (128k)上获得73.4%，在1M长度测试中达到56.2%，甚至超越了OpenAI o3和Claude 4 Opus等商业模型。

在智能体工具使用场景（TAU-bench）中，MiniMax-M1-40k超越了所有开源模型，甚至优于Gemini-2.5 Pro。MiniMax-M1-80k在大多数基准测试中持续优于MiniMax-M1-40k，证实了扩展测试时计算的益处。

这些评估结果验证了MiniMax-M1在数学竞赛和编程竞赛等标准任务上的竞争力，更重要的是，突出了其在软件工程、长上下文理解和智能体工具使用等更贴近实际应用场景中的独特优势。

九、强化学习效果的深度分析

为了深入理解强化学习扩展的效果，研究团队追踪了整个训练过程中的性能变化和响应长度演化。通过对AIME 2024、AIME 2025和LiveCodeBench v5等代表性基准的分析，发现了性能提升与响应长度增加之间的强烈正相关关系。

在AIME 2024测试中，模型准确率从训练初期的68%大幅提升到80%，同时平均响应长度从约1.2万词汇增长到超过2.2万词汇。这种趋势在AIME 2025和LiveCodeBench上同样明显，平均响应长度都超过了2万词汇，充分说明了扩展推理过程对于复杂任务求解的重要性。

这种现象揭示了一个重要观察：更长的推理链条并非简单的冗余重复，而是模型进行更深入、更细致思考的体现。就像人类数学家在解决困难问题时需要更多的草稿纸和计算步骤一样，AI模型也通过更长的"思考过程"来处理复杂的逻辑推理和问题求解。

强化学习过程中性能与长度的协同提升，证明了MiniMax-M1架构设计的合理性。混合注意力机制在保持计算效率的同时，确实能够支持更长、更复杂的推理过程，这为未来开发更强大的推理模型提供了重要的设计原则和经验证据。

说到底，MiniMax-M1代表了AI推理能力发展的一个重要里程碑。通过创新的混合注意力架构和高效的强化学习算法，它成功地解决了长期困扰该领域的计算效率问题。这项工作不仅在技术上实现了突破，更重要的是大幅降低了高性能推理模型的训练和使用成本，让更多研究者和开发者能够参与到AI推理技术的发展中来。

模型在复杂现实场景中的优异表现，特别是在软件工程、长文档理解和智能体应用等领域的突出能力，预示着AI技术正在从实验室走向真实世界的复杂应用。随着测试时计算的持续扩展，我们有理由相信这类高效架构将在推动AI解决真实世界挑战方面发挥重要作用，无论是自动化企业工作流程，还是协助科学研究，都将展现出巨大的应用潜力。

研究团队将模型完全开源并提供了详细的部署指南，这种开放态度为整个AI社区的发展做出了重要贡献。MiniMax-M1不仅是一个技术产品，更是推动AI推理技术民主化发展的重要一步，为构建下一代语言模型智能体奠定了坚实的技术基础。

Q&A

Q1：什么是"闪电注意力"机制？它比传统注意力好在哪里？ A：闪电注意力是MiniMax-M1的核心创新，它将传统注意力机制中平方级别的计算复杂度降低到近似线性。就像从指数增长的房贷利率变成固定月租费，处理长文本时计算成本大幅降低，使AI能够进行更长时间的"思考"而不会消耗过多计算资源。

Q2：MiniMax-M1的训练成本真的只要53万美元吗？这在行业内算什么水平？ A：是的，完整的强化学习训练仅需53.47万美元。这在大模型训练领域算是相当经济的投入，主要得益于混合注意力架构的效率优势和新开发的CISPO算法。相比其他同规模模型动辄数百万甚至千万的训练成本，这个数字确实很有竞争力。

Q3：普通开发者可以使用MiniMax-M1吗？有什么技术门槛？ A：可以使用。研究团队已将模型完全开源，并提供了vLLM和Transformers框架的支持，还有详细的部署指南。普通开发者可以通过GitHub和Hugging Face平台获取模型，MiniMax公司也提供商业级API服务。主要门槛是需要足够的计算资源来运行这个4560亿参数的大模型。

转自：至顶网

来源：新浪财经