智慧矿区分享|面向边缘计算的改进YOLOv8矿区障碍检测模型研究

B站影视 2025-01-02 15:05 2

摘要:近年来,随着矿用卡车自动驾驶技术的兴起,使得矿区道路行车障碍物检测变得至关重要,基于深度学习的目标检测模型应用于矿区道路障碍检测取得了显著的效果,为矿用卡车自动驾驶技术的完善提供了可能。为解决现有模型应用于矿区障碍物检测,往往存在算法庞大与部署成本较高的问题,

论文信息


题目:面向边缘计算的矿区障碍检测模型研究

作者:阮顺领、王京、顾清华、卢才武

论文链接:

引言

近年来,随着矿用卡车自动驾驶技术的兴起,使得矿区道路行车障碍物检测变得至关重要,基于深度学习的目标检测模型应用于矿区道路障碍检测取得了显著的效果,为矿用卡车自动驾驶技术的完善提供了可能。为解决现有模型应用于矿区障碍物检测,往往存在算法庞大与部署成本较高的问题,提出一种面向边缘计算平台的改进YOLOv8矿区道路障碍检测模型,该模型针对资源有限的边缘计算设备进行优化部署,以实现对障碍物的快速、精准检测。该模型在特征提取阶段,引入深度可分离卷积和通道注意力机制,提高模型对障碍物整体特征提取能力,从而提升对不同尺寸障碍物的检测精度;特征融合阶段采用 BiFPN网络结构,轻量化颈部网络并自适应地调整融合权重,减少冗余信息,提高特征的表达能力;使用局部卷积PConv对检测头进行重新设计,减少网络参数量以提高检测效率;最后,通过引入Inner-CIoU函数对边界框损失进行优化,加快模型收敛速度并提升边界框定位效果。实验结果显示,该网络在所使用的矿区障碍物数据集上,mAP@0.5仅下降0.05的前提下,模型参数减少了44%,推理时间缩短了34%。相比其他轻量型检测网络,该模型在实验硬件设备上的检测速度更快,且在精度和轻量化之间实现了更好的平衡,为障碍物检测模型的实际部署提供了可行方案。

网络结构

YOLOv8是基于YOLOv5模型的一次重大更新版本,后者因其较早问世且性能优异,在工业领域得到了广泛应用。YOLOv8在骨干网络采用了C2f结构替代了C3结构,增强了梯度流和特征提取能力,此外,YOLOv8 对不同大小模型(n型、s型、m型、l型、x型)的缩放系数进行了微调,以满足不同场景的检测需求。在检测头方面,采用了解耦头(Decoupled-Head)结构,将回归和分类任务分成独立的分支,取消了参数共享。这一结构在缓解两类任务内在冲突的同时,提升了模型性能。标签分配方面,YOLOv8使用了无锚框(Anchor-Free)思想,减少了计算时间和资源消耗,同时避免了因锚框设置不合理导致的漏检和重复检测问题。此外,在损失函数方面,引入了 Distribution Focal Loss与CIoU Loss,进一步提升了模型的性能和边界框回归的准确性。YOLOv8整体结如图1所示:

算法改进

现有矿区道路障碍检测模型存在模型体积较大、小目标检测能力弱、在嵌入式设备上性能表现较差的问题。为确保精度降低最小的情况下,极大程度降低模型参数量与运算量,提升模型检测速度,使其在边缘计算设备上达到速度和精度要求,本文对网络进行了以下具体改进:

1)针对露天矿道路障碍物尺度跨度不规则及障碍物遮挡等因素导致的漏检和误检问题,修改了C2f 模块网络结构,引入带有通道注意力机制的MB Conv模块,提高对障碍物特征的提取能力,从而提升检测精度。

2)为解决矿区道路上坑洞、水坑等小目标障碍物因边界不清晰而难以检测的问题,改进了颈部网络连接方式,将特征提取网络的P2层信息引入颈部网络进行特征融合,并采用BiFPN网络结构自适应地调整不同尺度特征的融合权重,增强对小目标障碍物的特征提取能力,同时减少模型参数。

3)为了降低模型参数与计算量,引入了局部卷积PConv(Partial Convolution)对检测头进行重新设计,减少冗余计算,提高检测速度。

4) 针对回归框匹配精度问题,采用InnerCIoU辅助边界框计算IoU损失,更好地指导模型的训练和优化,提升模型在复杂场景下的鲁棒性。

改进后的轻量化检测模型如图2所示:

模型具体优化设计

特征提取阶段优化

露天矿区的障碍物具有多样性,为增强主干网络的特征提取能力并尽可能降低其参数量,在保留原有Backbone网络结构的基础上,使 用MBConv对 Bottleneck层进行了修改,从而形成新的特征提取模块C2f-EMB,其结构如图3所示:

特征融合阶段优化

露天矿区道路存在各种不同种类和大小的障碍物,例如落石和坑洞。这些障碍物通常外形不规则、大小不一,尤其在距离卡车较远时,容易与路面混淆,难以被有效检测。此外,由于这些障碍物的语义信息较少,容易导致目标丢失,特别是小尺寸障碍物,更容易出现漏检情况。为进一步提升算法对小目标障碍物的检测性能,本文在原始模型中仅将P3、P4、P5层的特征提取输出送入融合网络的基础上,加入了P2层的输出结果,并按照图6所示的特征融合方式进行融合。此外,针对障碍物尺寸不一的情况,本文在Neck 网络部分引 入 了BiFPN(Bi-directional Feature Pyramid Network)结构,通过多层级的特征融合,使模型能够在不同尺度上感知和理解目标,从而提高对不同尺度目标的检测性能。具体结构如图7所示:

检测头优化

本文重点研究之一是实现模型的轻量化设计,以最终达到在计算资源有限的边缘计算平台实现更加快速、准确的检测效果。为此,在前两步网络改进的基础上,设计了新的检测头模块Efficent-Detect,Efficent-Detect延续了YOLOv8使用解耦头(decoupled head)的思想,共享底层特征提取层,减少模型参数量的同时,两个解耦头可以分别更加关注边界框坐标回归和目标类别分类任务,能够更好地提高多任务学习效率。在此基础上,本文引入局部卷积(PConv)优化检测头,其原理如图8所示:

损失函数优化

为了加速模型的收敛速度,使检测模型能更快地学习到矿区障碍物的特征,本文采取了对回归损失函数的相应优化。边界框回归损失函数是检测器定位的关键组成部分,定位精度在很大程度上取决于边界框回归,在检测器中具有不可替代的作用。IoU损失函数[17] 可以准确描述预测边界框与真实目标边界框之间的匹配程度,其定义如式(8):

为了弥补现有CIoU损失函数在露天矿障碍物检测任务中的泛化能力较弱且收敛速度较慢的问题,本文引入了Inner-CIoU函数辅助边框计算损失,从而加速边框回归过程。通过多次调试,选择了合适的尺度因子比r以控制辅助边框的尺度大小,以能够克服原有CIoU在泛化能力和收敛速度方面的局限。Inner-IoU损失继承了IoU损失的一些特征,同时具备了自己的特点。Inner-IoU的原理描述如图9所示。

实验与结果

使用改进后的轻量化模型在自制数据集上进行训练与测试,图11展示了改进模型的性能指标可视化曲线,包括训练集和验证集的置信度损失、边界框损失 、类别损失曲线,以及精确度、召回率、mAP@0.5、mAP@0.5∶0.9四个性能指标曲线,横坐标表示迭代次数,纵坐标为具体数值。观察损失曲线可以发现,改进后的模型在训练集和验证集上各项指标收敛速度较快,特别是关闭mosaic 操作的后10轮训练进一步加快了收敛速度。最终,mAP@0.5稳定在90.9%,mAP@0.5∶0.9稳定在71.6%,准确率接近93.7%,召回率接近88.7%。

消融实验

为了验证改进后的网络模型的有效性及各个改进模块的影响,本实验进行了消融实验对比,对各 阶段改进后的模型分别命名为Method 1、Method 2、Method 3和Method 4。其具体对比结果见表1。

表1中,YOLOv8n以及Method 1、Method 2、Method 3均使用 CIoU作为损失函数,Method 4 采用Inner-CIoU作为损失函数,由表中数据可见,将骨干网络在将C2f 模块的Bottleneck层替换为EMBC后,其mAP@0.5 由0.914上升至0.928,mAP@0.5∶0.95由0.731上升至 0.739,GFLOPs(每秒 10 亿次浮 点运算次数)由8.2降至7.6,这表明 MBConv模块的引入不仅降低了运算量,还使特征图更加关注障碍物本身,提高了重要特征的权重,进而提升了模型的精度。此外,轻量型颈部和检测头的设计,使得模型大小从6.6MB降至3.6MB,GFLOPs也从7.6降至 3.6,进而导致Method 3的精度最低,表明新的特征融合方法和检测头的引入,以少量的精度下降换取大量的模型体积和参数量的减少,随着 Method 4中Inner-CIoU的引入,使得精度有所回升,最终实现了精度与速度的良好平衡。

图13展示了YOLOv8n原始结构的C2f特征提取模块和改进后的C2F-EMBC 特征提取模块在障碍物检测中的Grad-CAM对比图。从图中可以看到,原始网络结构对障碍物中心区域和边缘区域的关注度相对较低。相较而言,改进后的C2F-EM-BC结构对各种障碍物的敏感程度整体高于原模型,尤其在障碍物中心区域的热度显著提升。结合二者的mAP值与注意力热力图分析,得出C2F-EMBC特征提取模块更适合矿区道路障碍物检测场景。

图 14 展示了模型在训练过程中使用CIoU和Inner-CIoU的框回归损失对比。图中横坐标为迭代次数;纵坐标为损失值。在训练的初始阶段,Inner CIoU的起始损失值明显低于CIoU,并且在前50轮中,Inner-CIoU的损失下降速度显著快于CIoU。直到训练结束,Inner-CIoU的损失值始终低于 CIoU。在训练的最后10个epoch关闭了mosaic操作,以进一步提升精度。从图中可以明显看到,在这最后10个epoch中损失值显著下降。综上所述,Inner-CIoU的使用有助于模型更准确地定位目标位置,确保模型具有更好的检测性能。

对比实验

由表2可见,相较于原始的YOLOv8n模型,改进后的模型在mAP@0.5和 mAP@0.5:0.95上略有下降。然而,由于颈部和头部网络的轻量化效果,改进后的模型参数减少了近44%,模型大小减少了40%,GFLOP 也从 8.2 降低至 3.6,推理时间减少了34%。整体而言,改进后的模型在满足轻量化任务的同时,性能仍然令人满意。与其他先进的YOLO系列模型相比,YOLOv5s在mAP@0.5方面表现最佳,但模型较大,推理时间最长;此外,改进后的模型相对于YOLOv5n,尤其在mAP@0.5:0.95 上表现更好,而且参数量、模型大小、FLOPs以及推理时间都明显优于其他先进的 YOLO系列模型。总体而言,改进后的模型在略微降低精度的前提下,实现了显著的速度提升。

由表3可见,本文提出的模型在mAP@0.5和mAP@0.5:0.95两项指标上均明显优于其他两个模型,彰显了更为卓越的检测准确性;虽然在参数量和模型大小方面稍逊于前两者,但由于其良好适配性,其在Raspberry Pi上的推理时间显著优于其他两者。这一结果不仅证实了本文模型在适应嵌入式设备上具有更高的检测精度和更好的适配性,同时也强有力地证明了本文所提出的改进方案的有效性,为轻量化检测模型在精度和速度的平衡方面提供了极大的保障。

结论

1)针对现有矿区障碍检测算法模型较大、复杂场景适应性差等问题,提出一种基于改进YOLOv8n的矿区障碍轻量化检测模型,准确率几乎不变的情况下,模型参数降低了44%,推理时间减少了34%,并且提升了对远距离小目标的检测能力。

2)颈部网络所采用的BiFPN结构以及重新设计的残差连接模块,能自适应调节小目标障碍物的融合权重,增强网络对远距离小目标障碍的特征表达能力,更好读取其语义信息,避免漏检情况发生。

3)轻量化检测头的设计虽能极大降低模型参数量与运算量,但对整体精度影响较大,需谨慎考虑使用。

4)使用Inner-CIoU能加快模型的收敛速度,提升模型检测性能,但针对不同数据集,需选取适合的缩放因子,以实现更优训练结果。

Coovally AI模型训练与应用平台

今天给大家推荐一个模型训练与应用平台——Coovally,它整合了整合30+国内外开源社区1000+模型算法以及各类公开识别数据集

如果你也想进行关于智慧矿区的人员安全帽、叉车、挖掘机等各类数据模型训练,直接登录Coovally,数据集一键分享,开源算法直接下载使用!

公开数据集可一键免费分享给用户

平台已部署1000+模型算法

来源:小码科普君

相关推荐