摘要：这项由Meta公司FAIR实验室的贾晨朱（Jiachen Zhu）领导的研究团队完成的突破性工作，发表于2025年6月的arXiv预印本平台（论文编号：arXiv:2503.10622v2），研究团队还包括来自纽约大学、MIT和普林斯顿大学的顶尖研究人员。有兴
这项由Meta公司FAIR实验室的贾晨朱（Jiachen Zhu）领导的研究团队完成的突破性工作，发表于2025年6月的arXiv预印本平台（论文编号：arXiv:2503.10622v2），研究团队还包括来自纽约大学、MIT和普林斯顿大学的顶尖研究人员。有兴趣深入了解的读者可以通过项目主页jiachenzhu.GitHub.io/DyT获取完整代码和论文资料。
十多年来，标准化层一直被认为是现代神经网络不可或缺的核心组件，就像建筑必须有地基一样重要。然而，这项研究彻底颠覆了这一传统认知，提出了一个令人惊讶的观点：我们完全可以不用标准化层，而且效果可能更好。
回到2015年，谷歌的研究人员发明了批标准化技术，这就像给神经网络装上了一个智能调节器，能够让模型训练变得更快更稳定。从那以后，几乎所有的深度学习模型都离不开各种形式的标准化层，特别是在当今最流行的Transformer架构中，层标准化更是被视为必需品。
然而，Meta的研究团队通过深入观察发现了一个有趣的现象：这些标准化层的工作方式非常像双曲正切函数（tanh），都会产生一种S型的输入输出关系。基于这个洞察，他们提出了一个极其简单却有效的替代方案——动态双曲正切（Dynamic Tanh，简称DyT）。
DyT的工作原理可以用调音师调节乐器音量来类比。传统的标准化层就像一个复杂的调音台，需要计算各种统计数据才能决定如何调节，而DyT则像一个简单的音量旋钮，通过一个可学习的参数α来控制输入信号的强度，然后用tanh函数将过于极端的值"压缩"到合理范围内。
最令人惊讶的是，这个看似简单的替换在各种任务中都表现出色。研究团队在图像识别、语言模型、语音处理、图像生成等多个领域进行了广泛测试，DyT不仅能够匹配标准化层的性能，在某些情况下甚至表现更好。更重要的是，这种替换几乎不需要额外的超参数调整，就像更换一个更好用的工具一样简单直接。
一、揭开标准化层的神秘面纱
要理解这项研究的重要意义，我们首先需要了解标准化层到底在做什么。可以把神经网络想象成一个巨大的信息处理流水线，每一层都在处理和传递信息。在这个过程中，数据的分布会发生各种变化，就像流水线上的产品规格可能会逐渐偏离标准一样。
标准化层的作用就像质量检查员，它会检查每批数据的平均值和变化范围，然后将它们调整到一个标准的分布。具体来说，标准化层会计算输入数据的均值μ和方差σ?，然后通过公式(x-μ)/√(σ?+ε)将数据标准化，最后再通过可学习的参数γ和β进行缩放和平移。
不同类型的标准化层主要区别在于如何计算这些统计量。批标准化在整个批次和时间维度上计算统计量，就像对整条流水线的产品进行质检。而层标准化则针对每个样本的每个位置独立计算，就像给每个产品单独做质检。在Transformer架构中，层标准化因其简单性和有效性而成为主流选择。
近年来，RMS标准化进一步简化了这个过程，它省略了减去均值的步骤，只进行方差标准化，就像只检查产品的变化范围而不关心平均水平。这种简化版本在大语言模型中得到了广泛应用，包括LLaMA、Mistral等知名模型。
二、意外的发现：标准化层的真实工作方式
研究团队的一个关键发现来自对已训练网络中标准化层行为的细致观察。他们选择了三个具有代表性的模型进行分析：在ImageNet数据集上训练的视觉Transformer（ViT-B）、在LibriSpeech上训练的语音模型wav2vec 2.0，以及在ImageNet上训练的扩散Transformer（DiT-XL）。
通过对这些模型中标准化层的输入输出关系进行可视化分析，研究团队发现了一个令人惊讶的现象。在网络的早期层中，标准化层的行为确实比较接近线性变换，输入输出关系基本呈直线状。然而，在网络的深层，情况发生了根本性变化。
深层的标准化层表现出强烈的非线性特征，其输入输出关系呈现出典型的S型曲线，与双曲正切函数极其相似。这种S型曲线的关键特征是：对于大部分处于中等范围的输入值，变换基本是线性的；但对于那些极端的输入值，标准化层会将它们"压缩"到较小的输出范围内。
为了更深入理解这种现象，研究团队进行了进一步的分析。他们发现，当按照token（数据单元）对输入输出点进行着色时，每个token的数据点确实形成了直线，这符合层标准化的线性特性。然而，由于不同token具有不同的方差，这些直线的斜率各不相同。当把所有token的数据点放在一起观察时，它们共同构成了一个S型的整体模式。
更有趣的是，当按照通道维度进行着色分析时，研究团队发现不同通道的输入值分布范围差异很大。只有少数几个通道会产生极端值，而这些极端值正是被标准化层"压缩"最厉害的部分。这个发现揭示了标准化层的一个重要作用机制：它主要是在对少数极端激活值进行非线性压缩处理。
三、DyT的诞生：从观察到创新
基于对标准化层行为的深入理解，研究团队提出了动态双曲正切（DyT）这一替代方案。DyT的设计理念可以用一个简单的类比来解释：如果标准化层是一个复杂的自动调节系统，那么DyT就是一个手动但精确的调节旋钮。
DyT的数学表达非常简洁：DyT(x) = γ * tanh(αx) + β。这里α是一个可学习的标量参数，负责调节输入的缩放程度；tanh函数则负责将极端值压缩到[-1,1]的范围内；γ和β是与标准化层相同的可学习向量参数，用于最终的缩放和平移。
这个设计的巧妙之处在于它直接模拟了标准化层的核心行为模式。α参数扮演着"智能缩放器"的角色，它会学习如何将输入调节到合适的范围，使得tanh函数能够发挥最佳的压缩效果。对于大部分正常范围内的输入，tanh函数表现得近似线性；对于极端值，它则提供强有力的非线性压缩。
与传统标准化层相比，DyT有几个显著优势。首先，它不需要计算任何统计量，这意味着计算开销更小，实现更简单。其次，它是一个纯粹的逐元素操作，不涉及跨维度的信息聚合，这使得它在并行计算方面更有优势。最重要的是，它直接针对标准化层的核心功能——极值压缩进行了优化设计。
在实际应用中，将DyT集成到现有架构中非常简单，就像更换一个零件一样直接。每个标准化层都可以被一个DyT层直接替换，无论是在注意力块、前馈网络还是最终的输出层。这种简单性使得DyT具有很强的实用价值。
四、全面验证：跨领域的卓越表现
为了验证DyT的有效性，研究团队进行了一系列全面而严格的实验。这些实验覆盖了从监督学习到自监督学习，从计算机视觉到自然语言处理的各个领域，就像对一个新产品进行全方位的质量测试。
在图像分类任务中，研究团队使用了ImageNet-1K数据集对视觉Transformer和ConvNeXt模型进行了测试。结果显示，DyT在所有测试配置中都达到或超过了标准化层的性能。以ViT-B为例，使用层标准化的准确率为82.3%，而使用DyT的准确率达到了82.5%。更大的ViT-L模型表现出更明显的改进，从83.1%提升到83.6%。
在自监督学习领域，研究团队测试了两种流行的方法：掩码自编码器（MAE）和DINO。这些方法的特点是不使用标注数据进行预训练，而是让模型从数据本身学习有用的表示。实验结果表明，DyT在这些更具挑战性的任务中同样表现出色，证明了其泛化能力。
图像生成领域的测试同样令人印象深刻。研究团队使用扩散Transformer（DiT）模型在ImageNet数据集上进行了图像生成实验。他们使用Fréchet Inception Distance（FID）作为评估指标，这是衡量生成图像质量的金标准。结果显示，DyT在大多数模型配置中都获得了更好的FID分数，意味着生成的图像质量更高。
在大语言模型领域，研究团队对LLaMA系列模型进行了全面测试，包括7B、13B、34B和70B参数的版本。这些模型在200B个token上进行预训练，然后在15个零样本常识推理任务上进行评估。结果显示，使用DyT的模型在所有规模上都达到了与RMS标准化相当的性能，证明了DyT在大规模语言建模中的有效性。
语音处理领域的实验使用了wav2vec 2.0模型，这是语音自监督学习的经典架构。在LibriSpeech数据集上的预训练结果表明，DyT能够很好地适应语音数据的特殊性质，保持了与层标准化相当的性能。
最有趣的是DNA序列建模实验。研究团队测试了HyenaDNA和Caduceus两个专门用于基因组分析的模型。这些模型需要处理极长的DNA序列，对标准化层的要求特别严格。实验结果显示，DyT在这个高度专业化的领域同样表现出色，进一步证明了其广泛的适用性。
五、深入解析：DyT成功的秘密
为了理解DyT为什么如此有效，研究团队进行了一系列深入的分析实验。这些分析就像对一个成功产品进行逆向工程，试图理解其成功的关键要素。
首先，研究团队验证了tanh函数的重要性。他们尝试用其他激活函数替换tanh，包括hardtanh和sigmoid函数。实验结果表明，虽然这些函数都具有压缩极值的能力，但tanh函数的性能最佳。研究团队认为这可能与tanh函数的平滑性和零中心特性有关。更重要的是，当他们尝试移除压缩函数，只保留线性缩放时，模型训练变得不稳定甚至发散，这证明了非线性压缩的关键作用。
其次，可学习参数α的作用同样至关重要。当研究团队移除α参数时，所有压缩函数的性能都出现了显著下降。这表明，简单的固定压缩是不够的，模型需要学习如何动态调节输入的缩放程度。
对α参数的深入分析揭示了DyT工作机制的另一个重要方面。研究团队发现，在训练过程中，α的值与输入激活标准差的倒数高度相关。这意味着α实际上在学习一种标准化的效果，但它是在全局层面而不是局部层面进行标准化。训练结束后，不同层的α值与对应层输入激活的标准差倒数之间存在强烈的正相关关系，而且深层的α值普遍较大，这与深层网络激活方差较大的特点相吻合。
这个发现揭示了DyT的一个重要特性：它部分承担了标准化的功能，但采用了完全不同的方式。传统标准化层通过计算统计量来动态调节，而DyT通过学习固定的缩放参数来达到类似效果。这种方法的优势在于计算效率更高，同时避免了统计量计算可能带来的数值不稳定问题。
六、与其他无标准化方法的对比
为了更全面地评估DyT的优势，研究团队将其与其他旨在移除标准化层的方法进行了比较。这些方法主要分为两类：基于初始化的方法和基于权重标准化的方法。
基于初始化的方法，如Fixup和SkipInit，试图通过精心设计的参数初始化策略来稳定训练过程。这类方法的理念是，如果能够在训练开始时就确保激活值和梯度在合理范围内，就可以避免使用标准化层。然而，实验结果表明，这些方法通常需要显著降低学习率才能保持训练稳定，而且最终性能往往不如使用标准化层的模型。
基于权重标准化的方法，如σReparam，通过对网络权重施加约束来维持训练稳定性。这类方法的思路是控制权重的谱范数，从而间接控制激活值的分布。虽然这种方法在某些情况下能够达到与标准化层相当的性能，但它增加了训练的复杂性，而且对超参数设置比较敏感。
相比之下，DyT的优势非常明显。它不需要复杂的初始化策略，不需要对权重施加额外约束，也不需要大幅调整学习率。在ViT-B和ViT-L的实验中，DyT的性能始终优于其他无标准化方法，而且在MAE等自监督学习任务中优势更加明显。
这种对比揭示了DyT成功的一个重要原因：它直接针对标准化层的核心功能进行了优化，而不是试图通过间接手段来避免使用标准化层。这种直接的方法使得DyT既简单又有效。
七、初始化策略：不同场景的精细调优
虽然DyT在大多数情况下都可以使用默认设置，但研究团队发现，在某些特殊场景下，适当的初始化调优可以进一步提升性能。这就像调节乐器一样，虽然标准调音适用于大多数场合，但在特殊演出中可能需要微调。
对于大多数非语言模型任务，α的默认初始值0.5已经足够好。研究团队在各种视觉、语音和生物序列建模任务中验证了这一点。在这些任务中，调整α初始值通常只能带来微小的性能提升，而且有时甚至没有改善。
然而，在大语言模型训练中，情况有所不同。研究团队发现，仔细调优α的初始值可以显著提升模型性能。更有趣的是，他们发现不同位置的DyT层需要不同的初始化策略。具体来说，注意力块中的DyT层需要较大的α初始值，而前馈网络和最终输出层的DyT层需要较小的初始值。
这种差异化初始化策略的发现过程本身就很有趣。研究团队通过系统性的网格搜索实验，测试了不同α初始值组合对LLaMA模型性能的影响。他们发现，模型宽度是决定最优α初始值的关键因素：越宽的模型需要越小的α初始值，而且注意力块和其他位置之间的差异也越大。
这个发现为我们理解大语言模型的训练动态提供了新的视角。研究团队推测，这种初始化敏感性可能与大语言模型的超大宽度有关。在这些模型中，不同层和不同位置的激活分布可能存在显著差异，因此需要更精细的初始化策略来确保训练稳定性。
八、DyT的局限性与适用边界
尽管DyT在多个领域都表现出色，但研究团队也诚实地报告了其局限性。这种科学的态度体现了严谨的研究精神，也为后续研究指明了方向。
最明显的局限性出现在经典卷积神经网络中。当研究团队尝试用DyT替换ResNet-50和VGG19中的批标准化层时，性能出现了明显下降。ResNet-50的准确率从76.2%下降到68.9%，VGG19从72.7%下降到71.0%。这个结果表明，DyT并不是标准化层的通用替代品。
研究团队分析认为，这种局限性可能与网络架构的特性有关。在经典卷积网络中，标准化层出现得非常频繁，几乎每个卷积层后都有一个批标准化层。而在Transformer架构中，标准化层的密度相对较低，每个Transformer块只包含少数几个标准化层。这种差异可能导致DyT在高密度标准化的网络中难以发挥最佳效果。
另一个需要注意的局限性是计算效率方面的。虽然DyT在理论上更简单，但研究团队发现，在经过编译优化的情况下，DyT并不比标准化层更快。这主要是因为现代深度学习框架对标准化操作进行了高度优化，而tanh函数的计算虽然简单，但在某些硬件上可能不如优化过的标准化操作快。
不过，研究团队也指出，DyT作为逐元素操作，在某些特殊硬件配置或部署环境中可能具有优势。特别是在那些reduction操作成为瓶颈的场景中，DyT可能表现得更好。此外，DyT与前面的矩阵乘法操作融合的潜力也值得进一步探索。
九、理论意义与实践价值
这项研究的意义远远超出了提出一个新的技术组件。它挑战了深度学习领域一个根深蒂固的观念：标准化层是现代神经网络不可或缺的组成部分。
从理论角度来看，这项研究为我们理解标准化层的工作机制提供了新的视角。通过揭示标准化层实际上主要发挥非线性压缩的作用，研究团队帮助我们重新思考这些组件在神经网络中的真正价值。这种理解可能会启发更多关于网络架构设计的新思路。
DyT的成功也证明了一个重要观点：复杂的解决方案并不总是最好的。有时候，简单直接的方法可能更加有效。这个教训在工程实践中具有重要价值，提醒我们在设计新系统时不要过度复杂化。
从实践角度来看，DyT为现有模型的改进提供了一个简单易行的选择。由于DyT可以直接替换标准化层而无需大幅修改训练流程，它为已有的模型和训练代码库提供了一条低成本的升级路径。这种实用性使得DyT具有很高的应用价值。
更重要的是，这项研究展示了深入分析现有技术的价值。通过仔细观察和分析标准化层的实际行为，研究团队发现了改进的机会。这种方法论对其他研究者也具有启发意义：有时候，最大的创新来自对现有技术的深入理解，而不是完全从零开始。
十、对未来的启发与展望
DyT的成功开启了多个有趣的研究方向。首先，这项工作可能会激发研究者重新审视其他被认为"必需"的网络组件。如果标准化层可以被简化，那么其他复杂组件是否也存在类似的机会？
其次，DyT在不同领域表现出的差异化特性值得深入研究。为什么它在Transformer架构中表现出色，但在经典卷积网络中效果不佳？理解这种差异可能会帮助我们更好地理解不同架构的本质特征。
从工程实践的角度来看，DyT的成功也提醒我们关注算法的可解释性和简洁性。在追求更高性能的同时，保持算法的简洁和可理解性同样重要。这种平衡在实际应用中具有重要价值。
此外，DyT在大语言模型中需要精细初始化调优的发现，也为我们理解超大规模模型的训练动态提供了新的线索。这可能会推动对大模型训练理论的进一步研究。
研究团队也诚实地指出了当前工作的不足。DyT目前主要针对使用层标准化或RMS标准化的模型进行了验证，对于其他类型标准化层的适用性还需要进一步研究。此外，DyT在不同硬件平台上的性能优化潜力也值得探索。
说到底，这项研究最大的价值可能在于它展示了科学研究中"质疑常识"的重要性。十年来，整个深度学习社区都认为标准化层是必需的，但通过仔细的观察和分析，研究团队发现了一个更简单有效的替代方案。这种勇于挑战既定观念的精神，正是推动科学进步的根本动力。
对于普通读者来说，这项研究传达了一个重要信息：在快速发展的技术领域，保持质疑精神和探索欲望至关重要。有时候，最重要的发现就隐藏在我们习以为常的事物中，关键是要有发现它们的眼光和勇气。
随着DyT代码的开源发布，相信会有更多研究者和工程师尝试这种新方法，进一步验证和扩展其应用范围。这种开放的研究态度也体现了现代科学研究的协作精神，通过共享知识和工具来加速整个领域的进步。
Q&A
Q1：DyT是什么？它是如何工作的？ A：DyT（Dynamic Tanh）是Meta提出的一种用来替代神经网络中标准化层的新技术。它的工作原理很简单：通过一个可学习的参数α来调节输入信号的强度，然后用tanh函数将极端值压缩到合理范围内。就像用一个智能音量旋钮来控制信号，既能放大微弱信号，又能压制过强信号。
Q2：DyT会不会完全取代传统的标准化层？ A：目前不会完全取代。虽然DyT在Transformer架构中表现出色，但在经典的卷积神经网络（如ResNet）中效果不如传统标准化层。研究团队发现DyT更适合标准化层密度较低的架构，而在高密度标准化的网络中可能难以发挥最佳效果。
Q3：普通开发者如何使用DyT？有什么要求？ A：使用DyT非常简单，只需要将现有模型中的标准化层直接替换成DyT层即可，几乎不需要修改其他代码。研究团队已经在GitHub上开源了完整代码（jiachenzhu.github.io/DyT），支持各种主流深度学习框架。对于大多数任务，使用默认参数设置就能获得良好效果。
来源：至顶网一点号
