摘要：这项由德国马克斯·普朗克智能系统研究所的邱泽驹、西蒙·布克霍尔兹、肖天泽、达克斯·马克西米利安、伯恩哈德·舍尔科普夫，以及香港中文大学的刘伟阳共同完成的突破性研究，发表于2025年6月的arXiv预印本服务器。有兴趣深入了解的读者可以通过arXiv:2506.

想象一下，如果你想训练一个超级聪明的AI助手，就像培养一个万能的学徒一样。传统的方法就像是让学徒死记硬背所有知识点，不仅费时费力，还可能让学徒变得呆板。而这个研究团队发明的新方法，就像是教学徒学会了一套神奇的记忆法，不仅学得更快更好，还能举一反三。更令人惊喜的是，这种方法只需要传统方法十分之一的"学费"，却能培养出更聪明的学徒。

这项研究之所以令人兴奋，是因为它解决了当今AI训练中的一个核心难题。就像盖一座摩天大楼需要巨额资金和精密工程一样，训练大型AI模型通常需要天文数字的计算资源和完美的参数调整。一次训练可能需要数月时间和数百万美元的电费，而且稍有不慎就可能前功尽弃。研究团队意识到，如果能找到一种更聪明的训练方式，就像找到了建筑学上的革命性突破，不仅能大幅降低成本，还能建造出更稳固、更高效的AI"建筑"。

一、揭开AI训练的神秘面纱：为什么需要一场革命

要理解这项研究的重要性，我们首先需要了解AI训练就像是什么。想象你正在教一个孩子学习，传统的AI训练方法就像是直接调整孩子大脑中每一个神经连接的强度，希望通过无数次的微调让孩子变聪明。这个过程就像是一个巨大的拼图游戏，有数十亿个小拼片需要精确摆放。

传统训练方法的问题就像是用蛮力解决精密问题。想象你在调音钢琴，传统方法就是同时拧动所有琴弦，希望最终能调出美妙的和谐音。这不仅需要惊人的技巧，还可能让某些琴弦绷得太紧而断裂，或者松得太松而失去音准。在AI的世界里，这种"绷断琴弦"的现象被称为梯度爆炸或消失，会让整个训练过程崩溃。

更令人头疼的是，传统方法就像是在黑暗中调音，你很难知道下一步应该怎么调整。研究人员经常需要像魔法师一样，凭借经验和直觉来设置各种神秘的"超参数"，比如学习速度、正则化强度等等。一旦设置不当，就像调错了钢琴的基准音，整个训练过程都会偏离正轨。

研究团队发现，传统训练方法还有一个根本性缺陷：它无法很好地控制AI大脑的"内在结构"。就像钢琴的每根琴弦都有其自然的振动特性一样，AI神经网络的权重矩阵也有其内在的"频谱特性"。这些特性决定了信息在网络中的传播方式，就像琴弦的特性决定了声音的传播一样。传统方法在训练过程中往往会无意中破坏这些重要特性，导致AI变得不稳定或者泛化能力差。

二、POET方法的核心智慧：重新定义AI训练的艺术

面对这些挑战，研究团队提出了一个革命性的想法：与其直接调整每个神经连接，为什么不学会控制整个神经网络的"变换方式"呢？这就像是从直接调琴弦转向学会使用调音器和共鸣箱，通过控制声音的传播环境来达到完美的音效。

POET方法的核心思想可以用一个生动的比喻来理解。想象每个神经网络层就像是一面神奇的镜子，能够反射和变换信息。传统方法是直接雕刻镜子表面，试图改变反射效果。而POET方法则是在镜子前后各放置一个可旋转的万花筒，通过旋转万花筒来控制光线的进入和反射角度，从而达到想要的效果。

具体来说，POET为每个权重矩阵配备了两个"正交变换器"，就像是两个精密的万花筒。这两个变换器有一个神奇的特性：无论如何旋转，它们都不会改变镜子本身的基本性质，只会改变信息传播的方向。这就保证了神经网络的核心特性始终保持稳定，就像钢琴的基本音准永远不会偏移。

这种设计的巧妙之处在于，它实现了一种"有约束的创造性"。就像诗人在严格的格律约束下反而能创作出更美的诗歌一样，POET通过限制某些变化来释放其他方面的潜力。权重矩阵的频谱特性被完美保存，而网络的表达能力却得到了充分发挥。

研究团队还发现了一个有趣的现象：POET训练过程呈现出三个清晰的阶段，就像植物的生长过程一样。第一阶段是"锥形壳搜索"，就像种子刚刚发芽，神经网络在寻找最佳的生长方向。第二阶段是"稳定学习"，就像植物在适宜的环境中稳定成长，这个阶段占据了整个训练时间的80%。第三阶段是"最终调整"，就像植物开花结果前的最后准备。

三、化繁为简的技术突破：让复杂变得可操作

虽然POET的核心思想很优美，但要在实际中应用却面临着巨大的技术挑战。想象你需要同时控制两个巨大的万花筒，每个都有数百万个可调节的镜片，这听起来几乎是不可能完成的任务。研究团队必须发明一系列巧妙的技术来让这个美好的想法变成现实。

第一个突破是"随机基元优化"技术。与其试图同时调整万花筒中的所有镜片，研究团队想出了一个聪明的办法：每次只调整一小部分镜片，但通过巧妙的组合来实现整体效果。这就像是用多个小的旋转动作来实现一个复杂的整体旋转，每个小动作都很简单，但组合起来却能产生惊人的效果。

这种方法有两种变体。第一种叫做"完全随机SPO"，就像是随机选择万花筒中的一些镜片进行调整，然后看看整体效果如何。第二种叫做"块随机SPO"，则是将万花筒分成若干个区域，每次调整一个完整的区域。实验证明，第二种方法更加有效，因为它能确保万花筒的每个部分都得到均匀的调整机会。

第二个突破是"卡雷-纽曼参数化"技术。这个听起来很高深的名字，实际上解决的是一个很实际的问题：如何确保万花筒在调整过程中始终保持其神奇特性。就像确保一个旋转的陀螺始终保持平衡一样，研究团队需要一种数学方法来保证正交变换器在优化过程中不会"失衡"。

传统的保持平衡的方法需要进行复杂的矩阵求逆运算，就像用复杂的工程计算来保持陀螺平衡。但这种方法既慢又容易出错。卡雷-纽曼方法则巧妙地用一系列简单的近似计算来替代复杂的精确计算，就像用一系列小的调整动作来保持陀螺平衡，既简单又有效。

第三个突破是"合并-重新初始化"技巧。想象你在用积木搭建一个复杂的结构，如果一直往上堆积，积木塔会变得越来越不稳定。聪明的做法是阶段性地将已搭好的部分固化，然后重新开始下一阶段的搭建。POET也采用了类似的策略：每隔一段时间，就将学到的旋转效果"固化"到原始的镜子中，然后重新开始训练新的旋转组合。

这个技巧解决了两个重要问题。首先，它大大减少了内存需求，因为你不需要同时记住所有的中间状态。其次，它防止了误差的累积，就像定期校准测量仪器一样，确保整个过程始终保持准确性。

四、实验验证：理论照进现实的精彩表现

为了验证POET方法的实际效果，研究团队进行了大规模的对比实验，就像是一场AI训练方法的奥运会。他们选择了不同规模的LLaMA语言模型作为测试对象，从6000万参数的"轻量级选手"到13亿参数的"重量级冠军"，全面测试POET在各种情况下的表现。

实验结果令人震撼。就像一个用了十分之一燃料的赛车却跑出了更快圈速一样，POET在使用远少于传统方法的训练参数的情况下，却实现了更好的性能。具体来说，在13亿参数的模型上，POET的最佳配置只用了传统AdamW方法十分之一的可训练参数，却将验证困惑度从14.73降低到13.70，这个改进幅度在AI领域是相当显著的。

更令人惊讶的是POET独特的学习曲线。传统方法的学习过程就像是一个学生在考试中发挥不稳定，时好时坏。而POET的学习过程则显示出明确的三个阶段特征。在第一阶段，模型快速寻找最佳的学习方向，就像登山者在山脚下确定攀登路线。在第二阶段，模型进入稳定的学习状态，性能持续而稳定地提升，就像登山者找到了最佳路径后的稳步攀升。在第三阶段，随着学习率的降低，模型进行最后的精细调整，就像登山者在接近山顶时的最后冲刺。

研究团队还进行了一个特别有趣的实验：即使给传统AdamW方法提供几乎三倍的训练数据，POET仍然能够取得更好的结果。这就像是一个高效学习法不仅学得更快，即使给传统方法更多时间和资源，新方法仍然能保持领先优势。

在内存使用效率方面，POET也表现出色。通过巧妙的技术优化，POET实现了3.8倍的速度提升。这个提升主要来自两个方面：纽曼近似方法贡献了1.5倍的速度提升，而专门设计的CUDA内核贡献了1.3倍的提升。就像一个经过精心调校的发动机，不仅更省油，而且动力更强。

五、深入机制：POET如何实现看似不可能的平衡

POET方法最令人着迷的地方在于它如何在看似矛盾的目标之间找到了完美的平衡。就像一个杂技演员能够同时保持多个球在空中旋转一样，POET成功地在保持模型稳定性的同时提升了学习效率和最终性能。

要理解这种平衡的奥秘，我们需要深入到POET的数学原理中。研究团队发现，任何能够完美保持权重矩阵频谱特性的线性变换，都必须具有RWP的形式，其中R和P是正交矩阵，W是原始权重矩阵。这个发现就像是发现了保持钢琴音准的万能公式，为POET的设计提供了坚实的理论基础。

在频谱保持方面，POET的效果可以用一个生动的比喻来理解。想象传统训练方法就像是在暴风雨中航行，船只的基本结构在风浪中不断变形，可能导致航行不稳定甚至船体损坏。而POET就像是给船只装上了一个神奇的稳定器，无论外界风浪多大，船只的核心结构始终保持稳定，只是调整航行的方向和角度。

研究团队通过向量探测技术详细分析了POET的学习动态。他们发现，在整个训练过程中，正交变换矩阵与随机向量的余弦相似度始终稳定在0.6到0.65之间，这表明POET确实在一个稳定的"锥形壳"空间内进行学习。这种稳定性就像是为学习过程提供了一个安全的"护栏"，确保优化过程不会偏离正轨。

在参数效率方面，POET展现出了惊人的灵活性。通过调整块大小参数，用户可以在计算效率和模型性能之间找到最佳平衡点。就像调节汽车的变速器一样，可以根据不同的路况选择最合适的档位。较小的块大小虽然参数更少，但收敛速度相对较慢，适合资源受限的场景。较大的块大小则能够提供更好的性能，适合对效果要求较高的应用。

六、理论保证：坚实的数学基础

POET方法不仅在实践中表现出色，更重要的是它建立在坚实的理论基础之上。研究团队为POET提供了多项理论保证，就像为一座建筑提供了详细的结构安全证明。

首先是频谱保持的数学保证。研究团队证明了，在标准高斯初始化和归一化高斯初始化下，POET训练的权重矩阵的最大和最小奇异值都能够得到严格的数学界限。这就像是为钢琴的音域提供了数学上的保证，确保无论如何调整，音调都不会超出可接受的范围。

具体来说，对于一个大小为d×n的权重矩阵，在归一化高斯初始化下，最大奇异值收敛到1+√λ，最小奇异值收敛到1-√λ，其中λ是矩阵维度比n/d。这个结果为POET的稳定性提供了数学保证，就像为建筑的承重能力提供了精确的计算公式。

其次是近似能力的理论保证。研究团队证明了，如果使用足够多的基元正交矩阵，随机基元优化方法能够以很高的概率表示任何正交矩阵。这就像证明了用足够多的小积木能够搭建出任何复杂的结构。具体来说，如果基元数量c大于等于αm ln(m)(m/b)?，那么以至少1-m^(-(α-2))的概率，任何正交矩阵都可以表示为基元矩阵的乘积。

第三是泛化能力的理论支撑。研究团队将POET与现有的泛化理论连接起来，特别是基于频谱范数界限的误分类误差分析。由于POET完美保持了权重矩阵的频谱特性，它能够继承所有基于频谱控制的泛化保证。这就像继承了一份强有力的保险单，确保模型的泛化能力不会因为训练过程而受损。

七、广泛应用：从预训练到微调的全面优势

POET方法的应用范围远比最初设想的更加广泛。研究团队不仅在大规模预训练任务上验证了POET的效果，还在微调任务上进行了深入的探索，结果表明POET就像是一个多才多艺的工具，在各种不同的应用场景中都能发挥出色的作用。

在预训练任务中，POET展现出了令人印象深刻的参数效率优势。与现有的参数高效方法如LoRA相比，POET在相似的参数预算下能够取得显著更好的性能。例如，在350M参数的模型上，使用大约30M可训练参数时，POET达到了18.05的验证困惑度，而LoRA只能达到25.19。这种差距就像是同样的燃料，一个能跑300公里，另一个只能跑200公里的差别。

在微调任务中，POET同样表现出色。研究团队在文本摘要任务上测试了POET，使用BART-large模型在XSum和CNN/DailyMail数据集上进行实验。结果显示，POET不仅超越了参数高效的微调方法如LoRA和OFT，甚至在某些指标上超过了全模型微调。这就像是一个更智能的学习方法，不仅学得更快，效果也更好。

特别值得注意的是POET在不同初始化方案下的表现。研究团队测试了四种不同的初始化方法：标准高斯初始化、Xavier初始化、均匀频谱初始化和归一化高斯初始化。结果表明，归一化高斯初始化能够带来最佳的性能，这为实际应用提供了重要的指导。就像找到了最佳的起跑姿势，能够让后续的训练过程更加顺畅。

研究团队还发现了POET在参数分配方面的一个有趣现象。在固定总参数预算的情况下，将参数在左右两个正交矩阵R和P之间均匀分配能够取得最佳效果。这个发现就像是发现了最佳的资源配置策略，为实际应用提供了重要参考。

八、技术细节：让POET真正可用的工程智慧

要让POET从理论概念变成实用工具，研究团队还解决了许多重要的工程问题。这些看似技术性的细节，实际上是让POET能够在真实环境中大放异彩的关键因素。

在实现层面，研究团队开发了高效的CUDA内核来处理倾斜对称矩阵的操作。想象你需要处理一个特殊形状的拼图，传统的工具可能不太适用，所以需要专门设计新的工具。倾斜对称矩阵只需要存储上三角部分，这将存储需求从n?减少到n(n-1)/2，同时通过专门的GPU计算内核实现了显著的速度提升。

合并-重新初始化的频率选择也经过了仔细的实验优化。研究团队测试了从5到1600不同的重新初始化间隔，发现400步是一个很好的平衡点。太频繁的重新初始化会打断学习过程，就像经常换道会影响驾驶效率。太少的重新初始化则可能导致误差累积，就像长时间不校准的仪器会逐渐偏离准确值。

在纽曼级数近似方面，研究团队发现使用5个项能够在计算效率和近似精度之间取得最佳平衡。使用太少的项会导致训练发散，就像用不够精确的工具无法完成精密工作。使用太多的项虽然更精确，但会增加不必要的计算开销，就像用过度精密的工具来做简单工作。

研究团队还仔细分析了不同POET变体的权重更新均匀性。他们发现，块随机SPO能够确保权重矩阵的每个元素都得到均匀的更新机会，而完全随机SPO则可能导致某些权重更新不足。这个发现解释了为什么块随机SPO在相同参数预算下能够取得更好的性能。

九、深层洞察：POET揭示的训练本质

通过对POET学习过程的深入分析，研究团队获得了一些关于神经网络训练本质的深刻洞察。这些发现不仅对理解POET本身很重要，也为整个深度学习领域提供了新的思考角度。

最引人注目的发现是POET训练过程中出现的三阶段现象。这种阶段性特征在所有不同规模的模型和不同类型的层中都一致出现，表明这可能反映了神经网络学习的某种内在规律。第一阶段的"锥形壳搜索"揭示了网络在寻找最佳学习方向时的动态过程，就像探险家在陌生地形中确定前进路线。

第二阶段的"稳定学习"占据了整个训练时间的80%，这个阶段虽然余弦相似度保持稳定，但验证困惑度却持续改善。这个现象表明，真正的学习发生在一个稳定的几何约束空间内，就像艺术家在固定的画布尺寸内创作出无穷变化的作品。这个发现挑战了传统观念中认为学习需要不断改变网络结构的假设。

第三阶段的"最终调整"虽然短暂，但对最终性能的提升很重要。这个阶段对应着学习率的衰减，网络进行最后的精细优化，就像雕塑家在作品完成前的最后修饰。

通过向量探测技术，研究团队还发现了正交矩阵学习过程中的一个普遍规律：无论是左乘矩阵R还是右乘矩阵P，无论是不同的层还是不同的网络组件，余弦相似度都稳定收敛到0.6-0.65这个范围。这个普遍性表明POET可能触及了神经网络优化的某种基本原理。

研究团队还观察到，与传统训练方法的权重频谱在训练过程中剧烈变化不同，POET训练的权重频谱始终保持稳定。这种稳定性不仅带来了更好的训练稳定性，也解释了POET为什么能够在更少的参数下取得更好的泛化性能。

十、未来展望：POET开启的新可能性

POET方法的成功不仅解决了当前大语言模型训练中的实际问题，更重要的是它为未来的研究开辟了全新的方向。就像一扇通向新世界的大门，POET揭示了许多值得进一步探索的可能性。

从方法论的角度看，POET证明了约束优化在深度学习中的巨大潜力。传统的无约束优化虽然看似自由，但往往导致训练不稳定和泛化能力差。POET通过引入几何约束，反而获得了更好的性能和稳定性。这个思路可能启发研究者探索其他类型的几何约束，比如基于其他群结构的参数化方法。

从理论理解的角度看，POET提供了一个全新的视角来理解神经网络的学习过程。传统观点认为学习就是在参数空间中寻找最优点，而POET表明学习可能更像是在固定的几何结构中寻找最佳的变换组合。这种理解可能带来对深度学习本质的新认识。

从应用前景看，POET的参数效率优势使得在资源受限环境中训练大模型成为可能。这意味着更多的研究机构和公司能够负担得起大模型训练，可能加速整个AI领域的民主化进程。同时，POET的稳定性优势也使得大模型训练变得更加可靠和可预测。

研究团队还指出了几个值得进一步探索的方向。首先是探索更多样的正交参数化方法，比如基于其他李群的参数化。其次是研究POET在其他类型神经网络中的应用，比如卷积神经网络和图神经网络。第三是深入理解POET三阶段学习现象的理论机制，这可能为设计更好的优化算法提供指导。

从更广阔的视角看，POET体现了一种新的工程哲学：通过深入理解问题的数学结构来设计更优雅的解决方案。这种方法不是简单地增加计算资源或调整超参数，而是从根本上重新思考问题的本质。这种思路在人工智能的其他领域也可能带来类似的突破。

说到底，POET的真正价值不仅在于它提供的具体技术方案，更在于它展示了一种全新的思考模式。在AI训练越来越依赖暴力计算的今天，POET提醒我们，有时候巧妙的数学洞察比单纯的计算力量更加重要。它就像是在提醒我们，真正的智慧不在于蛮力，而在于找到事物运行的内在规律，然后顺势而为。

对于普通人来说，POET的成功意味着AI技术将变得更加普及和实用。更低的训练成本意味着更多创新应用的可能性，更稳定的训练过程意味着更可靠的AI系统。或许在不久的将来，我们每个人都能够拥有自己定制的AI助手，而这一切都要感谢像POET这样的技术突破。正如这项研究所展示的，有时候最好的解决方案不是更复杂的方法，而是更深刻的理解。有兴趣深入了解的读者可以通过arXiv:2506.08001v1访问完整的研究论文，体验这项技术突破的完整魅力。

来源：至顶网一点号