摘要：一种技术，通过训练一个小模型（学生模型）来模仿大模型（教师模型）的行为，以达到减少计算复杂度和资源消耗的目的。这种技术不仅限于大小模型之间的转换，也可以用于模型间的知识迁移。

大模型领域常用名词之模型优化与压缩篇——数字化转型网人工智能专题

知识蒸馏/模型蒸馏（Knowledge Distillation/Model Distillation）

一种技术，通过训练一个小模型（学生模型）来模仿大模型（教师模型）的行为，以达到减少计算复杂度和资源消耗的目的。这种技术不仅限于大小模型之间的转换，也可以用于模型间的知识迁移。

量化（Quantization）

将模型的参数和激活值映射到较低的位数（如从32位浮点数降至8位整数），以减少模型的存储需求和计算复杂度。这有助于降低内存占用并加速推理过程。

剪枝（Pruning）

去除神经网络中冗余的权重或神经元，包括非结构化剪枝（逐个权重）和结构化剪枝（如整个通道、滤波器或层），以达到压缩模型的目的，简化模型结构，便于硬件实现。

稀疏激活（Sparse Activation）

采用特定类型的激活函数（如ReLU变体）或通过结构化稀疏训练，使得神经网络的激活函数在大部分情况下输出零值，从而减少计算量和存储需求。

模型压缩（Model Compression）

通过一系列技术手段，如知识蒸馏、量化、剪枝等，减少模型的参数量和计算量，使其能够在资源有限的设备上高效运行。

低秩分解（Low-Rank Factorization）

通过近似高维矩阵为两个或多个低维矩阵的乘积来减少模型参数量的技术，这种方法可以有效降低计算成本和存储需求。

权重共享（Weight Sharing）

在某些神经网络架构中，通过在不同位置使用相同的权重来减少参数数量。典型例子包括卷积神经网络中的滤波器重用，以及循环神经网络中的权重共享机制。

更多人工智能相关内容可加入数字化转型网人工智能研习社~与全球关注人工智能的顶尖精英一起学习！数字化转型网建立了一个专门讨论人工智能技术、产业、学术的研究学习社区，与各位研习社同学一起成长！欢迎扫码加入！

来源：小火说科技