摘要：基于卫星图像的多类别船舶检测和分类由于在军事和民用领域的重要应用而备受关注。在本研究中，团队在FUSAR船舶数据集和SimpleCopyPaste方法的基础上生成了一个新的Artificial-SAR-Vessel数据集中。我们进一步提出了一种新的多类船检测，

论文信息

题目：CRAS-YOLO: A Novel Multi-Category Vessel Detection and Classification Model Based on YOLOv5s Algorithm

论文链接：

https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=10035382

摘要

基于卫星图像的多类别船舶检测和分类由于在军事和民用领域的重要应用而备受关注。在本研究中，团队在FUSAR船舶数据集和SimpleCopyPaste方法的基础上生成了一个新的Artificial-SAR-Vessel数据集中。我们进一步提出了一种新的多类船检测，称为CRAS-YOLO，它由卷积块注意力模块（CBAM）、感受野块（RFB）和基于YOLOv5s的自适应空间特征融合（ASFF）组成。CRAS-YOLO改进了基于路径聚合网络（PANet）的特征金字塔网络，该网络集成了RFB特征增强模块和ASFF特征融合策略，以获得更丰富的特征信息，并实现多尺度特征的自适应融合。同时，在骨干中增加了CBAM，以准确定位船只位置，提高检测能力。结果证实，CRAS-YOLO模型的准确度、召回率和平均准确度（mAP）（0.5）分别高达90.4%、88.6%和92.1%。所提出的模型在另一个Sar船舶检测（SSDD）数据集中的精度、召回率和mAP得分分别高达97.3%、95.5%和98.7%，也优于先前的研究结果。

项目背景

在人工智能时代，航运业正迅速变得更加智能化。港口监控服务已将计算机视觉用于多船/船舶图像检测和分类。基于远程合成孔径雷达（SAR）图像的可靠检测和分类方法因其在军事和民用领域的广泛应用而备受关注。合成孔径雷达 (SAR) 卫星是一种有源微波成像传感器，不受天气、光照和其他条件的影响，在军事和民用领域，尤其是在监测船舶、飞机、车辆和桥梁方面发挥着重要作用。

早期的合成孔径雷达图像舰船探测方法大多基于传统的物体探测算法，而且是半自动化的。在传统方法中，有一种恒定误报率（CFAR）算法。此外，还有其他一些方法，如熵、小波变换和用于船舶目标检测的模板匹配。这些传统算法在检测精度和模型可部署性都存在一系列问题。

如今，深度学习已经突破了传统目标检测算法的瓶颈，成为检测的主流算法。深度学习方法不需要在SAR图像中分离海洋和陆地，只需要通过标记的数据集进行训练，在目标检测方面具有很大的优势。目前流行的目标检测算法有两种类型。一种是基于区域推荐的两阶段目标检测算法，其中代表性的方法有基于区域的卷积神经网络（R-CNN）、Fast R-CNN和Faster R-CNN。其主要思想是利用选择性搜索方法来生成建议区域，然后在建议区域中进行回归分类。另一种是一阶段目标检测算法，它将检测问题简化为回归问题，只需要卷积神经网络就可以直接获得目标的类概率和位置坐标。代表性算法包括YOLO、SSD、Retina-Net等。YOLO系列算法通常比其他算法更快，对小目标检测效果良好。它们是经典的一阶段检测方法，通常比其他算法具有更快的识别速度，并且在小目标检测中表现出优异的检测能力。

迄今为止公开发布的上述SAR船舶探测数据集大多只包含船舶位置数据，缺乏船舶类别数据。同时，唯一一个名为SRSDD的公共多类别船舶检测数据集存在严重的类别不平衡问题，严重影响了船舶检测的准确性。因此，我们在研究中，基于FusarShip数据集和HAISI-1卫星拍摄的海面远程合成孔径雷达（SAR）图像的组合，生成了一个新的数据集，称为Artificial-SAR-Vessel数据集。创新性地将SimpleCopyPaste方法引入到数据集的构建中，希望对SAR船舶检测数据集进行补充，为船舶检测数据缺乏的问题提供新的解决方案。

网络结构

首先，生成了Artificial-SAR-Vessel数据集。其次，通过在YOLOv5s网络中添加CBAM、RFB和ASFF，形成了所提出的CRAS-YOLO模型。接下来，给出了性能度量，以评估所提出的模型与其他模型相比的性能。最后，将所开发的CRAS-YOLO模型应用于基于卫星图像的船舶探测。

在我们的研究中，提出的CRAS-YOLO船舶检测和分类模型基于YOLOv5s，通过在PANet（RA PANet）中添加RFB和ASFF来改进FPN，以获得更丰富的特征信息，并实现多尺度特征的自适应融合。拟议的CRAS-YOLO还将CBAM集成到网络的颈部。

我们研究的CRAS-YOLO是为了在给定SAR图像的情况下，在精确定位船只位置和提高检测能力方面提供高性能而形成的。下图中的流程图显示了所提出的CRAS-YOLO是如何开发的。

首先，生成新颖的ArtificialSAR-Vessel数据集。其次，将CBAM、RFB和ASFF添加到YOLOv5s网络中，形成假定的CRAS-YOLO模型。接下来，介绍性能指标以评估与其他模型相比的性能。最后，将所开发的CRAS-YOLO模型用于基于卫星图像的船舶探测。

注意机制主要包括空间注意和渠道注意。SE和ECA是渠道关注机制的代表。CA是空间注意机制的代表。CBAM融合了通道和空间注意力机制，具有良好的性能。我们将CBAM插入颈部结构中，以实现更有效的特征提取。从下图中，CBAM通过通道模块和空间模块提取特征信息，并使用串行结构融合特征信息。

从下图中，首先，输入特征图通过通道模块生成通道权重，并将获得的权重与输入相乘以生成通道图。接下来，将通道特征图导入空间模块以生成空间权重，并将权重与导入的特征图相乘以生成空间图。最后，将最终的加权特征图和原始输入逐元素相加，得到最终的输出结果，详细的CBAM结构如图所示。

浅层滤波器提取的特征包含更具体的特征信息。因此，我们在浅层集成了CBAM，以从浅层特征图中学习和选择重要特征，提高船舶的定量性能。

SAR图像特征图的可视化

RFB特征增强模块网络结构

ASFF网络结构

实验结果

消融实验

在YOLOv5s方法的基础上，我们选择了CBAM和RA-PANet fea- ture金字塔网络作为自变量模块，并调整了控制变量方法，以研究各模块在 ArtificialSAR-Vessel数据集上的改进情况。通过多次实验，我们通过消融实验验证了CRAS-YOLO中不同模块的能力。表1显示了CRAS-YOLO与其他模型相比的实验结果。

可以看出，与原始YOLOv5s（基线）模型相比，CRAS-YOLO模型的精确度（P）提高了2.7%，召回率（R）提高了2.6%，mAP（0.5）值提高了1.5%，mAP（0.5-0.95）提高了0.6%，改进后的CRAS-YOLO的性能优于原始YOLOv5s算法。

同时，为了验证CRAS-YOLO模型的有效性，我们在另一个公开的船舶检测数据集SSDD上进行了额外的实验。详细的实验结果如表5所示。

船舶探测结果

图14显示了所提出的CRAS-YOLO模型在ArtificialSAR-Vessel数据集上的船舶检测结果，其中a、b 和 c 分别为复杂海岸背景下的船舶检测结果，d、e 和f分别为深海稀疏分布的船舶检测结果。由此可见，所提出的模型不仅能有效定位海岸上不同大小的船只，还能准确定位分布稀疏、体积较小的深海船只。该模型具有良好的探测性能和部署能力。

图15a和15b分别显示了CRAS-YOLO和YOLOv5s在各个类别中的精度-召回曲线。从图15a和b中可以看出，CRAS-YOLO模型在货物、疏浚、捕鱼和油轮等4个类别中的表现优于YOLOv5s。其中，CRAS-YOLO在油轮类别中的mAP比YOLOv5s高8.6%。CRAS-YOLO在货运、疏浚和捕鱼类别中的AP分别增加了4.1%、4.4%和3.5%。在其他类别中，CRAS-YOLO的mAP只比 YOLOv5s略微下降1.5%。因此，在人工合成孔径雷达-船只数据集中，CRAS-YOLO的探测能力优于YOLOv5s。

图16a显示了YOLOv5s和CRAS-YOLO在ArtificialSAR-Vessel数据集上的 mAP（IOU = 0.5）曲线。可以看出，在训练开始时，YOLOv5s的mAP值增长速度快于CRAS-YOLO。随着训练的进行，YOLOv5s和CRAS-YOLO的mAP值趋于一致。最后，CRAS-YOLOv5s的mAP值高于YOLOv5s。总之，经过一定次数的训练，改进后的CARS-YOLO模型可以获得更好的检测能力。

图16b显示了YOLOv5s和CRAS-YOLO在Arti-ficialSAR-Vessel数据集上的训练损失曲线。

结论

基于YOLOv5s算法的新型多类别船舶检测与分类模型不仅可以检测船舶位置信息，还可以检测船舶类别/类型，如货船、挖泥船、拖船、渔船和油轮。我们还提出了一种名为CRAS-YOLO的新型船舶检测和分类模型，该模型由基于YOLOv5s算法的CBAM、RFB和ASFF组成。实验结果证实，与最初的YOLOv5s及其他模型相比，所提出的CRAS-YOLO在SAR船舶检测方面表现更好，检测精度平均提高了3.6%，召回率提高了1.8%，mAP（0.5）提高了0.5%，mAP（0.5-0.95）提高了1.0%。在另一个Sar Ship Detection (SSDD) 数据集上进行的其他实验和比较研究表明，所提出的CRAS-YOLO模型的精确度、召回率和 mAP 分数分别高达97.3%、95.5%和98.7%，优于其他模型和以前的研究结果。

总体而言，所提出的模型具有较强的泛化能力，在船舶目标检测方面表现出色，在多类别船舶检测应用领域具有重要的现实意义。最后，我们的研究结果可用于决策者开发基于卫星图像的船舶检测模型，以准确、自动地对多类船舶进行检测和分类。

数据集下载