摘要：该论文提出了一种新的长尾分类方法，称为“云形损失函数”（Cloud Loss Function，简称GCL）。该方法通过在特征空间中引入“云形扰动”，自动平衡不同类别之间的样本分布，并有效地解决了传统softmax饱和问题和负梯度抑制问题。

该论文提出了一种新的长尾分类方法，称为“云形损失函数”（Cloud Loss Function，简称GCL）。该方法通过在特征空间中引入“云形扰动”，自动平衡不同类别之间的样本分布，并有效地解决了传统softmax饱和问题和负梯度抑制问题。

具体来说，GCL将每个类别的特征点看作一个“云”，并根据其与类别中心的距离对其进行扰动。对于目标类别，扰动向量指向类别中心；对于非目标类别，扰动向量则远离类别中心。这样可以增加尾部类别的样本有效性，减少过拟合，并提高模型的鲁棒性和泛化能力。此外，GCL还具有较小的时间复杂度，不会给训练过程带来额外负担。

相较于传统的交叉熵损失函数和局部敏感度注意力机制（LDAM），GCL通过引入云形扰动来改善样本分布不平衡问题，避免了传统方法中的负梯度抑制问题。同时，GCL也能够扩大尾部类别的边界范围，从而更好地校正特征空间的扭曲。

该方法主要解决了长尾分类任务中存在的两个核心问题：

传统softmax饱和问题：由于尾部类别的样本数量较少，导致模型难以学习到有效的区分信息，使得尾部类别的样本有效性降低。

负梯度抑制问题：在交叉熵损失函数下，尾部类别的样本容易被惩罚，导致模型偏向于预测头部类别，进一步加剧了尾部类别的分类错误率。

通过引入云形扰动，GCL能够自动平衡不同类别之间的样本分布，提高尾部类别的样本有效性，缓解负梯度抑制问题，从而显著提升长尾分类任务的性能。

原文地址：https://ieeexplore.ieee.org/document/10531112

来源：宁教授网络空间元宇宙