昨日，前OpenAI联合创始人、SSI创始人Ilya Sutskever在NeurIPS 2024大会上发表演讲时表示，预训练时代即将结束，数据作为AI的化石燃料是有限的，目前用于AI预训练的数据已经达到了峰值。

数据集 villalobos 计算机编码 2024-12-15 10:38  2

过去十年中，人工智能的飞速进步在很大程度上依赖于扩大神经网络的规模，并使用越来越多的数据对其进行训练。这种“扩展化”方法在提高大型语言模型（LLMs）能力方面表现出了出人意料的有效性，不仅使其在模仿对话语言方面表现更为出色，还赋予了它们诸如推理等的“涌现特性”

研究 llm villalobos 2024-12-12 13:59  3