摘要：翁智, 范琦, 郑志强. 基于多模态图像信息及改进实例分割网络的肉牛体尺自动测量方法[J]. 智慧农业(中英文), 2024, 6(4): 64-75.
转载请联系编辑部授权
本期支持单位
潍柴雷沃智慧农业科技股份有限公司
引用格式
翁智, 范琦, 郑志强. 基于多模态图像信息及改进实例分割网络的肉牛体尺自动测量方法[J]. 智慧农业(中英文), 2024, 6(4): 64-75.Citation:WENG Zhi, FAN Qi, ZHENG Zhiqiang. Automatic Measurement Method of beef Cattle Body Size Based on Multimodal Image Information and Improved Instance Segmentation Network[J]. Smart Agriculture, 2024, 6(4): 64-75.
官网全文免费阅读
知网阅读
基于多模态图像信息及改进实例分割网络的肉牛体尺自动测量方法
翁智1，2， 范琦1，2， 郑志强1，2*（1.内蒙古大学 电子信息工程学院，内蒙古呼和浩特 010021，中国；2.省部共建草原家畜生殖调控与繁育国家重点实验室，内蒙古呼和浩特 010010，中国）
摘要：［目的/意义］牛的体尺参数是反映牛身体发育状况的关键指标，也是牛选育过程的关键因素。为解决规模化肉牛牧场复杂环境对肉牛体尺的测量需求，设计了一种图像采集装置以及体尺自动测量算法。
［方法］首先搭建肉牛行走通道，当肉牛通过通道后进入限制装置，用英特尔双目深度相机D455对牛只右侧图像进行RGB与深度图的采集。其次，为避免复杂环境背景的影响，提出一种改进后的实例分割网络Mask2former来对牛只二维图进行前景轮廓提取，对轮廓进行区间划分，利用计算曲率分析方法找到所需体尺测点。然后，将原始深度图转换为点云数据，对点云进行点云滤波、分割和深度图牛只区域的空值填充，以保留牛体区域的点云完整，从而找到所需测点并返回到二维数据中。最后，将二维像素点投影到三维点云中，利用相机参数计算出投影点的世界坐标，从而进行体尺的自动化计算，最终提取肉牛体高、十字部高、体斜长和管围4种体尺参数。
［结果与讨论］改进的实例分割网络与Mask R-CNN、PointRend、Queryinst等模型相比具有更好的分割结果。采用本研究测得的这4种体尺平均相对误差分别为4.32%、3.71%、5.58%和6.25%。
［结论］本研究开发的肉牛图像采集装置及相应的图像处理方法可以满足该牧场对肉牛体尺无接触自动测量误差小于8%的精度要求，为非接触式肉牛体尺自动化测量提供了理论与实践指导。
关键词：肉牛体尺测量；深度学习；点云分割；实例分割；注意力机制；Mask2former
文章图片
图1 牛体尺参数测量示意图
Fig. 1 Schematic diagram of measurement of beef cattle body size parameters
图2 肉牛体尺参数实地采集环境图
Fig. 2 Collection environment of beef cattle body size parameters
图3 肉牛体尺参数人工测量照片
Fig. 3 Beef cattle body size measurement photos manually
Fig. 4 Flowchart of body size measurement system of beef cattle
图5 牛体实例分割试验部分数据集展示
Fig. 5 Partial dataset of instance segmentation of beef cattle body size
图6 注意力机制结构图
Fig. 6 Structure of the attention mechanism
图7 CC-Mask2former模型结构图
Fig. 7 CC-Mask2former model structure
图8 深度值的16领域优化原理图
Fig. 8 Principle of 16-domain optimization for depth values
图9 肉牛体高、十字部高测点提取流程
Fig. 9 Point extraction process of beef cattle body height and cross section height measurement
图10 坐骨端后缘测点区域和管围测点区域图示
Fig. 10 The region of the posterior border of the sciatic end of the point of measurement and the region of the tube perimeter measurement point
图11 管围测点区域的像素距离值曲线
Fig. 11 The pixel distance value curve of the tube circumference measurement area
图12 CC-Mask2former模型牛体尺在测试结果
Fig. 12 Test results of beef cattle body of CC-Mask2former model
图13 不同实例分割模型的分割结果示例
Fig. 13 Examples of segmentation results for different instance segmentation models
图14 肉牛点云统计学滤波结果
Fig. 14 Statistical filtering results of beef cattle point clouds
图15 肉牛点云分割结果
Fig. 15 Beef cattle point cloud segmentation results
图16 肉牛点云分割后的深度图优化结果
Fig. 16 Depth map optimization results after point cloud
图17 不同牛只的体尺参数提取结果示例
Fig. 17 Example of extracted results of body size parameters for different cattles segmentation of beef cattle
图18 肉牛体尺参数相对误差结果图
Fig. 18 Plot of relative error results for beef cattle body size parameters
作者介绍
翁智 教授
翁智，教授，博士，硕士生导师，中国图象图形学会理事，内蒙古自治区教坛新秀，内蒙古自治区教学团队负责人，主持国家自然科学基金项目1项，内蒙古自治区关键技术攻关计划项目2项，内蒙古自治区高等学校青年科技英才支持计划项目1项。发表学术论文39篇，其中SCI检索23篇，出版教材4部。授权发明专利7项，实用新型专利15项，软件著作权11项。
郑志强 副教授
郑志强，副教授，博士，硕士生导师，主持或参与国家基金项目1项、中国自然资源部项目2项、内蒙古自治区关键技术攻关计划项目1项，内蒙古自然科学基金项目2项，教育厅科研项目1项，横向项目2项。发表学术论文15篇，其中SCI检索8篇。授权国家发明专利2项，实用新型专利3项，软件著作权4项。
转载请联系编辑部授权
本期支持单位
潍柴雷沃智慧农业科技股份有限公司
为方便农业科学领域读者、作者和审稿专家学术交流，促进智慧农业发展，为更好地服务广大读者、作者和审稿人，编辑部建立了微信交流服务群，有关专业领域内的问题讨论、投稿相关的问题均可在群里咨询。入群方法：加小编微信331760296，备注：姓名、单位、研究方向，小编拉您进群，机构营销广告人员勿扰。
发布征集
欢迎在我公众号发布科研团队介绍、创新科研成果及相关活动等信息。
来源：智慧农业资讯一点号
