百度或比OpenAI更早发现Scaling Law

B站影视 2024-12-31 08:18 4

摘要:据悉,“ScalingLaw”原则认为,训练数据和模型参数越大,模型智能能力就越强。该思想一直被认为是出自OpenAI在2020年发表的论文《ScalingLawsforNeuralLanguageModels》中。

据悉,“ScalingLaw”原则认为,训练数据和模型参数越大,模型智能能力就越强。该思想一直被认为是出自OpenAI在2020年发表的论文《ScalingLawsforNeuralLanguageModels》中。

不过,OpenAI论文合著者前OpenAI研究副总裁、Anthropic创始人DarioAmodei在一期播客中称,他在2014年与吴恩达在百度研究AI时,就已经发现了模型发展的规律ScalingLaw这一现象。

也有行业人士发文称,关于ScalingLaw原始研究实际上来自2017年的百度公司。

来源:拿趣黑科技

相关推荐