scaling资讯_B站影视

Scaling law正在放缓，实时学习才是通往AGI之路？

Ilya 表示，深度学习之所以成功，要归功于「规模假设」，即利用非常大的数据集来训练一个足够大的神经网络，只需要大力出奇迹，成功就“几乎可以预见”，这一暴力法则也被称为“Scaling law”。

agi scaling scalinglaw 2024-12-26 17:56 1

12 月 2-6 日，亚马逊云科技在美国拉斯维加斯举办了今年度的 re:Invent 大会。会上，亚马逊云科技发布了相当多东西，其中之一便是新的大模型系列 Nova。说实话，这确实出乎了相当多人的意料 —— 毕竟亚马逊已经重金押注 Anthropic，似乎没有

在最新研讨会上，OpenAI大神，o1核心成员Noam Brown表示，o1代表的是一种全新的，以推理计算为代表的Scaling。

在近期的一次科技讨论热潮中，关于人工智能领域中的Scaling Law再次成为焦点。这一讨论紧随Ilya关于“预训练时代或将落幕”的言论之后，引起了业界的广泛关注。

11月27日早晨，Meta研究员Jack Morris在社交媒体发文称：“大多数人不知道，关于Scaling Law的原始研究来自2017年的百度，而不是2020年的OpenAI。”

大多数人可能不知道，Scaling law原始研究来自2017年的百度，而非三年后（2020年）的OpenAI。

Scaling Law 或将终结——这是最近备受热议的话题之一。该讨论最初源自于哈佛大学一篇名为《Scaling Laws for Precision》的论文，其研究表明当下的语言模型在大量数据上经历了过度训练，继续叠加更多的预训练数据可能会产生副作用。

迈向超级智能系统的AI实验室正意识到，可能需要改换道路。分析指出，相比传统的堆砌计算能力和数据的训练方法，被称为“测试时计算”（Test-time Compute）的新方法更有助于提高AI模型的预测能力。