螺栓铆钉故障的视觉检测方法研究进展

摘要：螺栓/铆钉作为输电线路、铁路交通、桥梁及飞行器等领域工程应用中不可或缺的连接紧固件，其在受到外界环境因素影响时，不免会出现销钉缺失、螺母松动、螺栓锈蚀及铆钉损伤等故障，准确识别有故障的螺栓/铆钉对保障输电线路、铁路交通、飞行器等的安全稳定运行具有重要意义。

螺栓/铆钉作为输电线路、铁路交通、桥梁及飞行器等领域工程应用中不可或缺的连接紧固件，其在受到外界环境因素影响时，不免会出现销钉缺失、螺母松动、螺栓锈蚀及铆钉损伤等故障，准确识别有故障的螺栓/铆钉对保障输电线路、铁路交通、飞行器等的安全稳定运行具有重要意义。

随着输电线路、铁路轨道里程数的不断增长，螺栓/铆钉应用分布越来越广泛，传统人工巡检方式已无法满足当前巡检要求。

无人机或巡检机器人搭载摄像装置对输电线路和铁路轨道进行巡检并拍摄高清图像或视频已为主要巡检方式。由于可见光图像具有丰富的形状、纹理等特征，其成为螺栓/铆钉故障检测的首选数据源。为进一步提高无人机巡检运维工作的智能化、自动化程度，众多研究者致力于航拍图像中螺栓/铆钉故障检测研究。

随着航空技术的快速发展，飞行器的数量也越来越多。飞行器由数以万计的零部件装配而成，而零部件大多由铆钉进行连接，铆接质量的检测显得极其关键。因此，如何快速、准确地发现螺栓/铆钉故障并进行修复是巡检运维工作亟待解决的问题。

海量的无人机航拍图像中螺栓/铆钉故障检测包括人工观察法和视觉检测方法。人工观察法受主观因素影响较大，且检测效率较低。基于视觉的检测方法利用图像处理技术实现螺栓/铆钉故障快速检测，可以有效避免上述人工观察法的不足。

目前，视觉检测方法已广泛应用于输电线路、输电铁塔、高铁接触网、钢结构建筑、航空发电机等诸多领域的螺栓/铆钉识别及故障检测。

1、螺栓/铆钉故障类型

在输电线路、铁路交通、飞行器等领域，大量的设备和零部件通过螺栓/铆钉进行固定连接。螺栓以螺纹形式连接，通常由螺钉、螺母、销钉组成；铆钉采用铆接方式连接，包括头部和钉杆。

螺栓/铆钉故障类型如图1所示，包括销钉缺失、螺母松动、螺钉松动、螺栓锈蚀、铆钉划痕、铆钉裂纹等。

2、螺栓/铆钉故障检测面临的挑战

随着机器视觉技术的快速发展，越来越多的图像处理和深度学习技术应用到螺栓/铆钉故障检测中。螺栓/铆钉在航拍图像中占比较小，背景信息多且复杂，使用传统图像处理和深度学习方法既不能滤除大量背景信息，又难以提取特征，因此，基于视觉的螺栓/铆钉故障自动检测面临着严峻的挑战。

(1) 螺栓/铆钉及其故障占整幅图像的比例非常小，通常不足整幅图像面积的1%，难以获取足够的特征对其进行故障识别。

(2) 受光照强度、拍摄角度和拍摄距离等因素影响，图像中螺栓/铆钉及其故障的形状、大小、颜色和清晰度各不同，导致故障检测的准确率较低。

(3) 缺乏用于螺栓/铆钉识别的公开数据集，故障样本图像难以获取，少量的图像用于训练容易过拟合。

(4) 传统图像处理方法针对特定的图像有较好的检测结果，其鲁棒性和泛化能力不好。

(5) 更快的区域卷积神经网络（Faster R-CNN）、SSD、YOLO等主流的目标检测网络模型小目标检测效果不佳，将上述深度学习算法用于螺栓/铆钉识别及故障检测任务时，易造成漏检或误判。

深度学习作为机器学习的一个分支，自2006年以来在图像处理与机器视觉等领域中的应用取得了突破性进展。深度学习技术将传统目标检测方法的候选区域生成、特征提取、分类器整合到一起，利用卷积神经网络（CNN）自动提取目标特征，实现目标端到端的检测。

在海量数据驱动下，深度学习网络模型充分利用CNN自动逐层学习图像的深层特征，通过大规模训练优化网络模型参数，具有较强的特征提取能力和泛化能力，其检测性能相对于人工设计特征的传统目标检测方法有了大幅提升。

Faster R-CNN作为主流的目标检测算法，在目标分类和定位等方面具有优良性能，是目前使用比较广泛的双阶段检测算法之一，诸多研究者利用Faster R CNN及其改进算法进行航拍图像中螺栓/铆钉故障检测研究。

为了实现输电线路巡检图像中电力部件故障智能识别，付晶等利用Faster R-CNN对九大类故障（杆塔、导地线、绝缘子、大尺寸金具、小尺寸金具、基础、通道环境、接地装置、附属设施）进行检测，并讨论了样本分布对算法检测准确率的影响。

为解决复杂背景下小尺寸目标检测难题，赵丽娟等通过叠加残差网络结构（Res2Net替代ResNet）、引入可变形卷积、平衡损失函数等策略改进Faster R-CNN，改进模型的销钉缺失故障检测准确率达到了72.3%，与原始Faster R-CNN相比提高了10%，但是改进算法检测精度的提升是以增加计算量和时间成本为代价。

为了提高航拍图像中小目标销钉检测准确率，顾超越等以ResNet101为前置特征提取网络，利用金字塔网络结合多尺度特征融合改进Faster R-CNN，改进模型的销钉缺陷检测精度达到了85%，与原始Faster R-CNN（68%）和YOLOv3（40%）相比，分别提高了17%和45%，但模型的小目标检测效果仍有提升空间。

针对小目标螺栓视觉信息丢失问题，齐鸿雨通过多尺度特征融合和扩展感兴趣区域特征提取改进Faster R-CNN，改进模型的螺栓故障检测准确率达到63.87%，与Faster R CNN（60.31%）相比提高了3.5%，但小目标特征丢失问题仍可能存在。

针对样本质量对网络模型检测精度的影响问题，赵振兵等提出了结合KL散度与形状约束的典型金具检测方法，在Faster R-CNN的基础上引入目标边界框分布预测和KL散度损失函数，改进模型的金具识别精度达到了83.68%，与YOLO、Cascade R-CNN、Faster R-CNN相比，分别提高了11%、6%和4%，为后续的螺栓故障状态检测奠定了基础。

无人机巡检输电线路的航拍图像背景复杂，深度学习网络模型在提取小目标螺栓特征时容易造成信息丢失，为了解决这一问题，一些学者通过添加注意力机制模块改进Faster R-CNN。

戚银城等将双注意力机制（多尺度注意力和空间注意力机制）嵌入Faster R-CNN中，通过注意力机制提高螺栓与背景的差异程度，改进网络模型如图2所示，改进模型的螺栓故障识别精度达到了82.05%，与Faster R-CNN相比提高了2%，但是多尺度注意力机制需要对不同尺度的特征进行处理和计算注意力权重，增加了模型的复杂度。