摘要：近日，Will小哥又做出了一个让人瞩目的突破，那就是“noise_step”技术！这项创新技术意味着我们可以将更低精度的数值运算应用于计算机视觉、自然语言处理等领域，从此以后不再需要依赖反向传播！

近日，Will小哥又做出了一个让人瞩目的突破，那就是“noise_step”技术！这项创新技术意味着我们可以将更低精度的数值运算应用于计算机视觉、自然语言处理等领域，从此以后不再需要依赖反向传播！

传统的训练方法需要使用高精度的权重并进行大量的计算，只是在神经网络中大量的前向传播中进行一次小小的权重更新，但“noise_step”技术的出现，完全消除了对反向传播的依赖。

“noise_step”所带来的训练时间大幅缩减和模型体积缩小，可以让研究者们在更短的时间内获得更好的训练效果，节省了大量的计算和存储资源，何乐而不为？

一、“noise_step”技术火了，算力直降97%

“noise_step”技术的魔力在哪里？

相比之前需要利用反向传播来训练模型的方式， “noise_step”技术允许在1.58-bit的低精度下直接训练模型。在 “noise_step”技术的帮助下， 训练的算力消耗降低了97%， 模型的存储需求降低了90%，这意味着，我们可以在更少的计算资源下，直接进行模型的训练和微调！

传统训练需要大量内存和存储

传统的神经网络训练方法，需要存储大量的中间计算结果，尤其是在使用复杂的模型结构时，所需的内存和存储空间更是惊人，这给很多研究者和工程师带来了很大的挑战。

“noise_step”技术的出现， 显著降低了训练的算力消耗和存储需求，使得训练更加高效和便捷，这对于很多研究者和工程师来说，是一个非常大的福音。

“noise_step”技术是如何实现的？

如果不利用反向传播，怎样才能估计模型参数的梯度？答案就是 “JVP”（雅可比向量积）。

它的作用是将输入x 与雅可比矩阵J进行乘法运算，得到输出y，从而实现对函数的局部线性化。JVP通常用于快速计算函数在给定点处的导数，可以通过计算雅可比矩阵对输入进行乘法运算来实现。

Will小哥团队进行了大量实验验证，使用 “JVP”方法能有效地估计梯度，而且完全不需要存储大量数据，从而大幅度减少了模型的尺寸。

此外， “JVP”方法还具有高效性和灵活性，可以在进行大规模训练时为模型提供更多的灵活性和可控性，在训练过程中，我们还可以对模型的历史步骤进行修改，从而进一步优化模型的性能。

二、“noise_step”技术打破了常规的训练方式

此时的微调会更加高效和灵活，避免了”灾难性遗忘”

在传统的训练方法中， 训练好的模型参数往往会被后续的训练过程覆盖，这就导致了“灾难性遗忘”现象的发生。 通过“noise_step”技术，我们可以将训练好的模型参数存储在一个独立的空间中，在后续的训练中，我们可以根据需要读取、修改或替换之前的训练结果，从而避免了“灾难性遗忘”的发生，这使得模型的微调变得更加高效和灵活。

“JVP”需要一定的先验知识和计算资源

但需要注意的是，使用 “JVP”技术需要一定的先验知识和计算资源，用户需要了解模型的结构和参数的分布情况，并能够在适当的时机对模型进行调整和优化。

如果没有足够的计算资源和技术能力，可能会导致模型的训练效果不佳，甚至无法正常运行。

三、“noise_step”技术适合分布式训练，真香警告

在 Will 小哥的多项实验中发现 “noise_step”技术可以显著提高训练速度，尤其是在大规模模型训练时。 传统训练需要等待大量计算和通信完成，而 “noise_step”技术可以实时更新模型参数，减少了通信和计算的延迟。

因此， “noise_step”技术非常适合分布式训练，使得训练效率更高，可以更快地获得更好的模型效果。

四、GPT-3存储只用20MB，这篇新论文火了

Will小哥的研究论文暂时没有在arXiv等学术平台上发布，目前已经将代码和数据上传到了GitHub上，感兴趣的读者可以前往查看和学习。

在这篇论文中，Will小哥通过 “noise_step”技术成功地实现了GPT-3模型的压缩，将其存储需求减少到了只需要20MB，这意味着GPT-3模型在存储和计算资源上更加高效。将“noise_step”技术应用于GPT-3的压缩，使得模型的训练和应用变得更加灵活和高效。

Will小哥表示， “noise_step”技术的应用不仅限于GPT-3模型，还可以扩展到其他深度学习模型的训练和应用中，这为AI模型的开放性与共享提供了新的可能性。

此外， “noise_step”技术的成功也将推动低精度训练方法在更多领域的应用，如医疗影像处理、自动驾驶等，降低模型的训练成本和存储需求，为人工智能的发展提供了新的动力。

未来的想象：

“noise_step”技术有望成为未来AI模型训练和应用的重要工具，为开源机器学习社区的发展带来新的机遇，推动AI模型的开放性和共享，为AI的发展提供了新的动力。

随着“noise_step”技术的出现，我们可以更加灵活地进行模型的微调和更新，避免了“灾难性遗忘”的问题，未来的AI模型开发将更加依赖于持续学习的模式，而非一次性的训练过程。

Will小哥强调， 在使用“noise_step”技术时，需要注意数据泄露的风险，特别是在涉及到敏感数据和个人隐私的情况下。此外，可能还需要开发新的安全协议，以保护训练过程中的数据隐私和模型知识，避免模型知识被恶意泄露或被不当使用的情况。

后续的探索和应用：

将“noise_step”技术与其他前沿技术结合，如实时数据处理、个性化推荐系统等，可以催生出更多创新的AI解决方案，创造更大的价值和影响力。

特别是在需要对大规模数据进行实时分析和处理的场景下，“noise_step”技术的优势将更加明显，为AI的应用带来更多可能性。

Will小哥的“noise_step”技术的成功应用，为AI模型的训练和应用带来了新的机遇和挑战，未来的研究者和工程师可以在此基础上进行更深入的探索和应用，开拓更广阔的AI应用场景，为AI的发展带来新的动力。

来源：阿强大科普