突破零样本分类极限：IDEA与T-IDEA模型的革新之路

摘要：本文介绍了一种名为IDEA（Image Description Enhanced CLIP-Adapter）的方法，用于将CLIP模型适应于零样本或少量样本图像分类任务。该方法利用了视觉特征和图像文本描述之间的互补信息和相关性，通过捕捉更细粒度的特征来提高模型

本文介绍了一种名为IDEA（Image Description Enhanced CLIP-Adapter）的方法，用于将CLIP模型适应于零样本或少量样本图像分类任务。该方法利用了视觉特征和图像文本描述之间的互补信息和相关性，通过捕捉更细粒度的特征来提高模型性能。IDEA是一种无训练需求的CLIP模型适配方法，并且在多个任务上可以与甚至超过当前最佳模型的表现相当。此外，作者还引入了T-IDEA（Trainable-IDEA），通过添加两个轻量级可学习组件（投影器和可学习潜在空间）进一步提高了模型性能，并在11个数据集上实现了最先进的结果。作者使用Llama模型设计了一个全面的管道来为这11个数据集中的图像生成文本描述，共产生了1,637,795张图像文本对，命名为“IMD-11”。代码和数据已在https://github.com/FourierAI/IDEA上发布。

本文提出了两种增强CLIP模型性能的方法：Image Description Enhanced CLIP-Adapter（IDEA）和Trainable Image Description Enhanced CLIP-Adapter（T-IDEA）。其中，IDEA通过引入图像描述信息来加强CLIP模型在零样本分类任务中的表现；而T-IDEA则进一步优化了IDEA，并设计了一个可训练的语义空间来纠正训练集中样本之间的语义偏差。

具体来说，IDEA利用图像描述信息作为视觉信息的补充，通过计算测试图像与训练集中的每个类别的K个样本之间的相似度，将这些相似度融合为一个整体的“少数样本知识”，并与CLIP模型的“零样本知识”相结合，以提高模型的识别能力。而T-IDEA则在此基础上增加了投影层和语义空间两个组件，用于对齐视觉和文本信息以及修正训练集中样本之间的语义偏差。

IDEA是一种无需训练即可使用的CLIP模型增强方法，它通过引入图像描述信息来改善模型在零样本分类任务中的表现。然而，由于训练集中样本数量有限，可能会导致语义偏差的存在。因此，T-IDEA在IDEA的基础上增加了投影层和语义空间两个组件，以进一步优化模型性能。

本文主要解决了CLIP模型在零样本分类任务中存在的一些问题，如缺乏图像描述信息、无法充分利用少量样本等。通过引入图像描述信息并结合视觉和文本信息，IDEA和T-IDEA能够显著提高CLIP模型在零样本分类任务中的表现。此外，通过增加投影层和语义空间这两个组件，T-IDEA还能够进一步优化模型性能，降低语义偏差的影响。

本文主要介绍了两个方法：IDEA和T-IDEA，并在11个公共计算机视觉数据集上进行了比较实验。IDEA是一种无训练步骤的方法，它通过融合视觉和文本特征来提高模型性能。而T-IDEA是IDEA的改进版，它增加了可学习的组件以进一步优化模型性能。

在实验中，作者将IDEA和T-IDEA与五个基准模型（Zero-shot CLIP、CoOp、CLIP-Adapter、Tip-Adapter和Tip-Adapter-F）进行了比较。结果表明，在1到16个shot设置下，IDEA比CoOp表现更好，比Tip-Adapter也有所提升。同时，T-IDEA比IDEA表现更好，随着shot数量的增加，T-IDEA的优势更加明显。此外，T-IDEA配备了两个可学习的组件，比Tip-Adapter-F在所有shot设置下都取得了SOTA性能。

作者还对IDEA和T-IDEA进行了多个子实验，包括超参数调整和可学习组件分析等。在超参数调整实验中，作者发现平衡视觉相似性和图像-文本对相似性的超参数α的最佳值为0.5，平衡零知识和少知识的超参数β的最佳值为2.75，激活函数sharpness控制超参数θ的最佳值为3。在可学习组件分析实验中，作者发现添加投影层Wproj和语义隐空间Ebias可以显著提高模型性能。

总的来说，IDEA和T-IDEA在各种计算机视觉任务中均表现出色，特别是在少量样本的情况下。这种方法具有很强的泛化能力，适用于不同的backbone网络。