谷歌团队再次证明Scaling Law的准确性，即使总通信量减少99%，仍能超越数据并行训练
Scaling Law 由 OpenAI 团队于 2020 年正式提出，并在其论文《神经语言模型的扩展定律》（Scaling Laws for Neural Language Models）中进行了详细阐述。Scaling Law 揭示了模型性能与模型规模、数
训练 谷歌 scaling scalinglaw 通信量 2025-03-18 03:12 1
通信量
谷歌团队再次证明ScalingLaw的准确性，即使总通信量减少99%
Scaling Law 由OpenAI团队于 2020 年正式提出，并在其论文《神经语言模型的扩展定律》（Scaling Laws for Neural Language Models）中进行了详细阐述。Scaling Law 揭示了模型性能与模型规模、数据量
谷歌 scalinglaw batch 通信量 diloco 2025-03-17 20:15 2