神经热力学

神经热力学定律:大模型训练学习率调配与热力学定律的深层联系

除了神经标度律之外,人们对大语言模型(LLMs)背后的定律知之甚少。我们介绍了神经热力学定律(NTL)——一个新的框架,为LLM训练动力学提供了新的见解。在理论方面,我们证明了关键的热力学量(如温度、熵、热容、热传导)和经典的热力学原理(如热力学三大定律和均分

训练 模型 热力学 热力学定律 神经热力学 2025-06-06 17:54  3