卷积网络又双叒叕行了？OverLoCK:一种仿生的卷积神经网络视觉基础模型

摘要：作者是香港大学俞益洲教授与博士生娄蒙。你是否注意过人类观察世界的独特方式？当面对复杂场景时，我们往往先快速获得整体印象，再聚焦关键细节。这种「纵观全局 - 聚焦细节（Overview-first-Look-Closely-next）」的双阶段认知机制是人类视觉

作者是香港大学俞益洲教授与博士生娄蒙。你是否注意过人类观察世界的独特方式？当面对复杂场景时，我们往往先快速获得整体印象，再聚焦关键细节。这种「纵观全局 - 聚焦细节（Overview-first-Look-Closely-next）」的双阶段认知机制是人类视觉系统强大的主要原因之一，也被称为 Top-down Attention。虽然这种机制在许多视觉任务中得到应用，但是如何利用这种机制来构建强大的 Vision Backbone 却尚未得到充分研究。近期，香港大学将这种认知模式引入到了 Vision Backbone 的设计中，从而构建了一种全新的基于动态卷积的视觉基础模型，称为 OverLoCK (Overview-first-Look-Closely-next ConvNet with Context-Mixing Dynamic Kernels)。该模型在 ImageNet、COCO、ADE20K 三个极具挑战性的数据集上展现出了强大的性能。例如，30M 的参数规模的 OverLoCK-Tiny 模型在 ImageNet-1K 达到了 84.2% 的 Top-1 准确率，相比于先前 ConvNet, Transformer 与 Mamba 模型具有明显的优势。