摘要：为解决这些问题，我们提出一种创新方案：将高效尺度融合模块（ESFM）融入先进的YOLO架构，从而得到增强模型YOLO-ESFM。ESFM在检测中既充当骨干网络，又作为头部网络，与基准模型YOLOv5、YOLOv7-tiny和YOLOv7相比，显著提升了性能。此
从此不迷路
计算机视觉研究院
公众号ID｜计算机视觉研究院
学习群｜扫码在主页获取加入方式
计算机视觉研究院专栏
Column of Computer Vision Institute
环境感知和目标检测是海洋领域的关键研究课题。海面存在诸多挑战，如恶劣天气条件、波浪干扰和多尺度目标，导致检测结果往往不尽人意。
PART/1
概述
为解决这些问题，我们提出一种创新方案：将高效尺度融合模块（ESFM）融入先进的YOLO架构，从而得到增强模型YOLO-ESFM。ESFM在检测中既充当骨干网络，又作为头部网络，与基准模型YOLOv5、YOLOv7-tiny和YOLOv7相比，显著提升了性能。此外，为克服YOLOv7中CIOU的局限性，我们引入了改进方法ZIOU，并在海面目标数据集上进行了严格评估，证明其有效。对比研究表明，YOLO-ESFM不仅在参数数量和浮点运算次数（FLOPs）方面保持高效，而且在海面目标数据集和PASCALVOC07+12数据集上的检测精度均超过YOLOv7。
PART/2
背景
SAR图像因对光照条件和大气条件等环境变量具有固有抗性，具备全天候和远距离检测能力。然而，在SAR图像中对不同类型船舶进行特征提取和分类的过程仍极具挑战性，因此需要先进的计算技术来提高准确性和可靠性（里扎耶夫等人，2022）。相比之下，卫星遥感图像能提供更全面的目标结构特征，并以真实色彩直观反映目标与背景的关系。然而，获取卫星遥感图像往往颇具难度且耗时，不太适用于海上目标检测。红外图像因对昼夜条件不敏感，且对雨、雾、烟等不利环境因素具有出色的隐蔽能力。但红外图像易受温度和噪声干扰，且为灰度图像，缺乏丰富色彩信息，使其更适合军事目标检测（莫伊谢耶夫等人，2020）。与红外和雷达图像相比，用于海上目标和船舶识别的可见光图像拥有丰富色彩和纹理信息，获取成本较低且分辨率高，更适用于海上目标检测（李等人，2024）。然而，在复杂且动态变化的海洋环境中进行目标检测极具挑战性。水面反射、多变的光照条件和复杂的天气模式等因素都会影响目标检测精度（宋等人，2024）。此外，小尺度和低对比度目标的检测尤其困难，因其视觉线索有限，且海洋背景广阔（吴等人，2021）。另外，海洋场景存在多种视觉模式，具体而言，海面上会有各种类型和大小的物体，如下图所示。
海面上物体的大小可能各异，比如浮标和小船尺寸不同。此外，物体周围的上下文信息所占面积往往比物体本身更大。例如，要区分大型船只上的指挥塔和灯塔顶部，需要结合船只作为上下文参考。最后，在细粒度分类和检测领域，不同尺度信息的融合对于理解目标组成和属性至关重要。为应对这些艰巨挑战，本文引入一种新型多尺度融合模块，即ESFM模块，旨在更精细地捕捉目标特征信息。此外，我们提出ZIOU，用以弥补CIOU的局限性。基于ESFM模块，构建了一种新的骨干和头部网络，即YOLO-ESFM网络。实验结果有力证明，所提出的ESFM模块和YOLO-ESFM架构在海洋工程领域具有更强的适用性。
YOLOV7架构回顾
YOLOv7通过包括扩展高效远程注意力网络、使用基于连接的模型进行模型缩放以及卷积重参数化等策略，实现了速度与精度的最佳平衡。
如上图所示，YOLOv7（Wang等人，20222）由输入阶段、骨干网络、头部和预测组件组成。输入阶段调整输入图像的大小，以满足骨干网络的训练要求。骨干网络融合了CBS卷积模块、ELAN模块和MP模块。CBS模块由卷积层、批归一化层和SiLU激活层组成。ELAN模块包含卷积模块，这些模块通过控制最短和最长梯度路径，更高效地学习和收敛。MP模块有上下分支，执行下采样操作，将图像的高度、宽度和通道数减半，随后进行特征融合以增强特征提取。YOLOv7的头部架构使用路径聚合特征金字塔网络（PAFPN）结构进行多尺度特征融合。自上而下，深层语义特征被向下传递，对整个金字塔进行特征增强。自下而上，图像结构、颜色和边缘等浅层特征被向上传递，实现不同层次特征的高效融合。预测阶段使用REP模块调整输出中不同尺度特征的通道，并将其转换为边界框、类别和置信度值。然后卷积层作为检测头进行下采样，以在多个尺度上检测大、中、小目标。
PART/3
新算法框架解析
YOLO-ESFM我们用提出的ESFM模块取代了作为YOLOv7骨干和头部的ELAN模块，增强了其特征提取和分类能力。此外，我们用ZIOU替换了CIOU，这是一项为进一步提高目标检测精度而设计的小改进。这些修改最终形成了YOLO-ESFM网络，如下图所示。
ESFM受Res2Net（高等人，2021）和ELAN（王等人，2022）结构设计理念的启发，我们提出了一种新型高效的尺度融合模块（ESFM），如下图所示。
如上图所示，YOLOv7使用CIOU损失函数，该函数纳入了三个关键几何因素：重叠面积（IOU）、质心距离和长宽比。
PART/4
实验及可视化
下图6展示了在海面目标数据集上，YOLOv7分别采用CIOU和ZIOU指标时损失函数趋势的对比分析。该图清晰显示，在训练和验证阶段，与CIOU相比，ZIOU的使用始终产生更低的损失值。这有力验证了ZIOU的性能优于CIOU，进而提升了模型性能。
上图展示了YOLOv7和YOLO-ESFM算法在目标检测方面的性能对比。第一行和第四行展示了在恶劣天气条件（包括暴雨和恶劣海况）下对货船和军舰的识别情况。这些结果明显表明，在这种场景下，YOLO-ESFM算法相比原始算法在目标检测方面具有更高的准确率。第二行和第五行强调了改进后的YOLOv7算法在检测不同尺度船只方面能力的提升。值得注意的是，YOLO-ESFM网络在所有四种尺度下始终优于原始YOLOv7算法，突显了其检测能力的显著进步。第三行和第六行聚焦于海面小船检测的有效性。显然，标准YOLOv7算法在漏检方面存在不足，检测准确率相对较低。相比之下，改进后的YOLOv7算法完全消除了漏检问题，大幅提高了检测准确率，有效克服了这些局限。总之，图6中呈现的结果突出了改进后的YOLOv7算法在目标检测方面的有效性，尤其是在多尺度场景中。改进后的算法不仅在性能上超越了原始算法，还解决了漏检问题，显著提高了海面小船检测的准确率。
PART/5
结论
本文提出了一种创新高效的多尺度模块——ESFM模块，它能在更精细的粒度层面有效提取特征。此外，我们引入了一种全新的ZIOU方法，以解决YOLOv7中CIOU的局限性，并在海面目标数据集上取得了不错的成果。通过将ESFM模块集成到YOLOv7中，我们得到了YOLO-ESFM。实验证明，所提出的ESFM模块不仅在YOLOv7上表现出色，在YOLOv5和YOLOv7-tiny上也效果显著，突显了其广泛适用性。在海面目标数据集和VOC07+12数据集上进行的对比实验表明，YOLO-ESFM网络相比原始网络取得了更优的结果。大量实验充分证明了改进模型以及ESFM模块的有效性。未来，我们计划进一步优化算法，同时扩充和完善数据集，覆盖更广泛的海事场景、船只类别、海面目标尺度，以及更多样化的海洋目标类别。目标是构建一个更强大、更通用的大洋目标检测模型。
有相关需求的你可以联系我们！
来源：科技站长
