王凤超副教授团队：基于3C-YOLOv8n和深度相机的葡萄识别与定位方法（《智慧农业（中英文）》2024年第6期）

摘要：刘畅, 孙雨, 杨晶, 王凤超, 陈进. 基于3C-YOLOv8n和深度相机的葡萄识别与定位方法[J]. 智慧农业(中英文), 2024, 6(6): 121-131. DOI: 10.12133/j.smartag.SA202407008

引用格式：

刘畅, 孙雨, 杨晶, 王凤超, 陈进. 基于3C-YOLOv8n和深度相机的葡萄识别与定位方法[J]. 智慧农业(中英文), 2024, 6(6): 121-131. DOI: 10.12133/j.smartag.SA202407008

LIU Chang, SUN Yu, YANG Jing, WANG Fengchao, CHEN Jin. grape Recognition and Localization Method Based on 3C-YOLOv8n and Depth Camera[J]. Smart Agriculture, 2024, 6(6): 121-131. DOI: 10.12133/j.smartag.SA202407008

官网全文在线阅读

基于3C-YOLOv8n和深度相机的葡萄识别与定位方法

刘畅, 孙雨, 杨晶, 王凤超*, 陈进*

（上海应用技术大学理学院，上海 201418，中国）

摘要

［目的/意义］ 为了提高葡萄采摘效率、做到葡萄采摘自动化，提出了3C-YOLOv8n目标检测模型，与RealSense D415深度相机结合，对葡萄进行识别和定位。

［方法］首先对YOLOv8n主干网络进行改进，将卷积块注意力模块（Convolutional Block Attention Module, CBAM）与原本的网络结构融合，使模块全面捕获特征中的关键信息。再嵌入坐标注意力（Coordinate Attention, CA），既可以对一个通道的特征进行全面捕获，又可以对不同方向的特征进行敏锐感知。然后，在YOLOv8n颈部将最近邻插值上采样算法替换为内容感知特征重组算法（Content-aware ReAssembly of Features, CARAFE），弥补YOLOv8n的原始上采样模块没有利用特征图语义信息的缺点，增大了感受野。最后转换相机坐标系，将目标葡萄的二维平面坐标和距离深度相机的垂直距离结合，得到目标葡萄的世界坐标，实现葡萄的识别和定位。

［结果和讨论］ 经过对比试验和消融试验，3C-YOLOv8n模型在并交比为0.5（IOU=0.5）的平均精度均值（Mean Average Precision, mAP）达到94.3%，高于YOLOv8n模型1%，准确率（Precision, P）和召回率（Recall, R）分别为91.6%和86.4%，3种改进策略的结合使损失初始值降低，曲线收敛更快。与其他主流YOLO系列算法对比，3C-YOLOv8n各个评价指标都有所提升，且漏检率、错检率为所有算法中最低，在实际检测中具有很大的优势。

［结论］基于3C-YOLOv8n网络模型和RealSense D415深度相机，对葡萄进行精准识别和定位，为采摘自动化提供了技术手段。

关键词：机器视觉; YOLOv8n; 目标检测; 葡萄; CBAM; 深度相机

文章图片

图1 3C-YOLOv8n整体结构

注：最左边的长箭头代表流向。

Fig. 1 Overall structure of 3C-YOLOv8n

图2 CBAM通道注意力模块网络结构图

Fig. 2 Network architecture diagram of CBAM channel attention module

图3 CBAM空间注意力模块网络结构图

Fig. 3 Network architecture diagram of CBAM spatial attention module

图4 CARAFE模块网络结构

Fig. 4 Network structure of CARAFE module

图5 世界坐标系、相机坐标系、图像坐标系和像素坐标系的参考模型和它们之间的关系

Fig. 5 Reference models for world coordinate system， camera coordinate system， image coordinate system， and pixel coordinate system， and their relationships

图6 基于3C-YOLOv8n检测到的葡萄预测框进行二维坐标定位

Fig. 6 2D coordinate localization based on grape predicted boxes detected by 3C-YOLOv8n

图7 目标葡萄中心点的空间坐标与像素平面和深度相机之间的关系

Fig. 7 Relationship between spatial coordinates of target grape center point and pixel plane and depth camera

图8 葡萄识别试验的部分数据集图像

Fig.8 Partial dataset images of grape recognition experiment

图9 3C-YOLOv8n模型与其他主流YOLO模型的损失曲线

Fig. 9 Loss curves of 3C-YOLOv8n model and other mainstream YOLO models

图10 葡萄识别试验中3C-YOLOv8n模型与其他主流YOLO模型在测试集的检测效果对比

Fig. 10 Comparison of detection performance between the 3C-YOLOv8n model and other mainstream YOLO models in grape recognition experiments on the test set

图11 葡萄识别与定位试验在不同距离和角度下对葡萄群的识别定位效果

Fig. 11 The research method of grape recognition and localization experiment on the recognition and localization effect of grape clusters at different distances and angles

作者简介

王凤超副教授

王凤超，上海应用技术大学理学院副教授。主要从事纳米材料与器件、半导体照明技术与工程、生物微芯片检测等方面的的研究。在Journal of Materials Science: Materials in Electronics,Chin. Phys. B，Chinese Optics Letters等国内外著名期刊上发布论文近20篇。近3年主持上海市科促会联盟计划1项、参与国家自然科学青年基金1项，并主持多项横向课题。