scalinglaw资讯_B站影视

遗憾不？百度早研究过Scaling Law，Anthropic CEO灵感都来自百度

原来早在 2017 年，百度就进行过 Scaling Law 的相关研究，并且通过实证研究验证了深度学习模型的泛化误差和模型大小随着训练集规模的增长而呈现出可预测的幂律 scaling 关系。只是，他们当时用的是 LSTM，而非 Transformer，也没有

The Information表示，据OpneAI内部人员透露，GPT系列模型更新缓慢，即将推出的下一代旗舰模型Orion并没有实现质的飞跃，虽然性能上超过了以往模型，但相较于从GPT-3到GPT-4的迭代，改进幅度缩小，OpenAI正在转变策略。

在自然语言处理领域，一个显著的转折点正在显现：单纯的模型规模和数据量增加，似乎已触及性能提升的瓶颈。业界开始质疑，Scaling Law是否已走到尽头，低精度训练与推理是否正导致模型性能提升的边际效益不断递减。然而，这一挑战也为新的探索开辟了道路。

Scaling Law 或将终结——这是最近备受热议的话题之一。该讨论最初源自于哈佛大学一篇名为《Scaling Laws for Precision》的论文，其研究表明当下的语言模型在大量数据上经历了过度训练，继续叠加更多的预训练数据可能会产生副作用。