【 ICLR 2025 】Adam 有了 mini 版：内存减半，吞吐量可提升 50%
在这项工作中，研究团队通过分析 Transformer 模型的 Hessian 结构，提出了一种轻量化优化器 Adam-mini。Adam-mini大幅减少了 Adam 优化器中学习率的数量，在降低 50%优化器内存开销的同时保持了与 Adam 优化器相当甚至
hessian
《生鲜产品冷链减排决策及政府补贴机制》理论基础
Today, the editor brings you the "Decision-making on cold chain emission reduction for fresh produce and government subsidy mechan
清华大学校友袁域重要成果在数学顶刊Annals of Mathematics上发表
近日，由普林斯顿大学出版的数学四大顶刊之一的《Annals of Mathematics》（数学年刊，双月刊）更新了本年度第二期的正式上线发表的文章，本次共更新上线了6篇文章，本次无国内机构作者参与发表，但有两位华人学者。其中一位就是大名鼎鼎的第二位华人菲尔兹
泰勒展开与Hessian矩阵
黑塞矩阵（Hessian Matrix），又译作海森矩阵、海瑟矩阵、海塞矩阵等，是一个多元函数的二阶偏导数构成的方阵，描述了函数的局部曲率。黑塞矩阵最早于19世纪由德国数学家Hesse提出，并以其名字命名。在工程实际问题的优化设计中，所列的目标函数往往很复杂，
当Batch Size增大时，学习率该如何随之变化？
本文约5700字，建议阅读15分钟本文从多个视角讨论了 “Batch Size 与学习率之间的 Scaling Law” 这一经典炼丹问题。