factorization

大模型领域常用名词之模型优化与压缩篇——数字化转型网

一种技术，通过训练一个小模型（学生模型）来模仿大模型（教师模型）的行为，以达到减少计算复杂度和资源消耗的目的。这种技术不仅限于大小模型之间的转换，也可以用于模型间的知识迁移。