摘要:传统的导航线提取方法通常依赖于手工设计的特征和规则,存在着提取效果不稳定、适应性差等问题。为了解决这些问题,本研究探讨了卷积神经网络在农作物导航线提取中的应用,提出了基于卷积神经网络的导航线提取方法。首先说明了导航线的传统提取方法以及卷积神经网络各层的结构特点,然后介绍了导航线提取中用到的经典卷积神经网络模型及其相互间的区别,最后简要综述了卷积神经网络在导航线提取中的应用,并指出了卷积神经网络未来的研究方向。研究结果表明,在导航线提取中,常用的卷积神经网络模型有U-Net、YOLO、FCN-VGG等,通常用于语义分割和目标检测,可以用来捕获图像中的全局特征信息,并在语义类别和图像像素之间建立一对一的映射关系,以获得更好的分割结果和检测效果。未来,还可以从模型更灵巧、识别更精准等方面逐步优化其对导航线的提取效果,进一步推动农业生产方式转变与农业产业结构优化升级,为农业生产现代化发展提供科技助力。
加入收藏
在当前农田环境中,作业强度大、人力短缺等问题已经成为制约农业发展的瓶颈。为了解决这些问题,提出了基于卷积神经网络的机器视觉技术,用于农业环境的路径导航,该技术可应用于农业中的除草、喷药等农业生产中,从而提高效率和精度,降低劳动力成本。优化种植技术、推广节水灌溉等措施,都是提高农业生产效率和价值的有效途径。同时,加强农业科技创新,推动农业生产方式转变与农业产业结构优化升级,也可促进农业的可持续发展。
近年来,深度学习在机器视觉导航领域的广泛应用使得自主导航系统的性能得到了显著提高,尤其是全卷积神经网络被广泛应用在各类非结构化的农业道路识别场景中,并实现了较好的识别效果。田间农用机械的视觉导航技术越来越成熟,目前田间视觉导航线的提取主要是通过提取导航特征点的方式拟合导航线。而田间复杂多变视觉导航线的提取仍然面临着很多问题,随着作物的生长,存在叶片遮挡道路的现象,直接导致了提取的导航线精度降低,因而本文提出将卷积神经网络应用到视觉导航中进行优化。
1、导航线的提取
导航线的提取需要基于图像分割算法,将一幅数字图像分割成若干具有独特属性的特定区域,并识别图像中物体的位置和边界点。根据分割出来的图像进行特征点提取,并进行直线的拟合[1]。导航线提取流程主要有图像预处理、特征点特征提取、直线拟合三个步骤,具体如下:
常见的图像预处理方法主要有基于颜色索引的分割(2-G-R-B)方法和基于阈值的OUST分割方法。基于颜色索引的分割方法首先将RGB空间转换到替代颜色空间,以获得具有高对比度的灰度图像,从而突出植物的像素区域和分割效果[2]。基于阈值的分割方法则是将灰度图像中的所有像素与指定的阈值进行比较,并基于比较的结果将每个像素分配到不同的类别,从而达到分割的效果。而常用的直线拟合和检测算法包括霍夫变换、最小二乘法、粒子群聚类算法、随机样本共识(RANSAC)算法,通常通过这些算法来拟合导航线。
未经处理的大豆分割图如图1所示,容易受到天气、杂草、断行等因素的影响,从而导致分割结果不理想。因而引入卷积神经网络来降低影响,卷积神经网络预处理后的图如图2所示,它避免了杂草以及断行的影响。随着卷积神经网络(Convolutional Neural Networks,CNN)图像处理技术的快速发展,图像处理技术正以更便捷、更准确的方式应用到视觉导航中[3-4]。
图1 未经处理的大豆分割图
图2 卷积神经网络预处理后的分割图
2、卷积神经网络概述
卷积神经网络(CNN)是一种深度学习多层网络结构,用于处理原始数据(如图像或音频)。它通过对图像的局部信息进行多层传递和迭代抽象,最终实现复杂的学习任务,如分类。与传统的图像识别相比,CNN可以通过自学习来自动提取识别物的特征,而不再需要人工经验来设定图像特征。此外,CNN采用网络局部连接以及权值共享的方式,大幅度降低了网络的复杂性,从而能够更快更好地学习更复杂的结构[5-6]。
卷积神经网络的网络结构包括输入层、全连接层、池化层、卷积层和输出层。输入层用来接收原始数据,卷积层通过卷积操作对输入的数据进行特征提取,池化层用来降低特征图的维度,全连接层用来进行分类或回归任务,输出层用来输出模型的预测结果[7]。
在卷积神经网络中,卷积操作是核心部分,它通过卷积核在输入数据上滑动,计算每个位置的特征值。通过不同的卷积核和多个卷积层,网络可以学习到不同层次的特征,从边缘、纹理到更高级别的物体部分和整体结构。卷积神经网络结构如图3所示。
图3 卷积网络结构
卷积神经网络的训练通常使用反向传播算法和梯度下降的优化器,通过最小化损失函数、梯度不断下降来更新网络参数,以便CNN网络能够更好地拟合训练数据并具有良好的泛化能力。
总的来说,卷积神经网络是一种强大的深度学习模型,特别适用于处理图像和视频数据,在计算机视觉导航、图像识别和图像处理等领域有着广泛的应用[8-9]。
3、导航线提取中常用的卷积神经网络模型
在导航线提取中,常用的卷积神经网络模型有U-Net、YOLO、FCN-VGG等。
U-Net的网络结构是一种编码器-解码器的U形结构,它包含4个下采样(编码器)和4个上采样(解码器)部分[10-11]。编码器部分由卷积层和池化层组成,用于提取图像特征。解码器部分则由反卷积层以及跳跃连接组成,用于将特征映射还原为原始图像大小,且保留特征图的细节信息。每个下采样模块中有2个3×3卷积层以及1个2×2最大池化层,用于将特征图尺寸缩小;每个上采样模块中有1个2×2反卷积层、1个跳跃连接以及2个3×3卷积层,用于将特征图尺寸扩大。U-Net网络通过ReLU函数进行激活,网络结构如图4所示。
YOLO(You Only Look Once)的网络结构主要包括以下几个部分:1)输入层。接收输入图像,并将其传递到卷积神经网络中。2)卷积层。使用卷积操作提取图像特征,这些特征用于后续的目标检测。3)下采样层。通过池化操作缩小特征图的尺寸,同时保留主要信息特征。4)多个卷积层和下采样层的堆叠。YOLO网络通常包含多个卷积层和下采样层的堆叠,以提取更高级别的图像特征。5)全连接层。将卷积特征图转换为一维向量,并将其送入输出层进行目标检测。6)输出层。输出层将卷积特征图转换为目标检测结果,包括目标类别、位置和置信度等信息[12]。
F C N-V G G是V G G网络的改进,V G G网络是CNN卷积神经网络结构的变形,它在图像识别领域获得了很大的成功。VGG网络的结构非常简单而且深度较深,由多个卷积层和池化层组成。VGG网络的特点是使用较小的卷积核尺寸(通常是3×3),并且采用多个连续的卷积层来提取图像特征。VGG网络的结构可以分为若干个阶段,每个阶段包含若干个卷积层和池化层。在VGG网络中,卷积层的深度逐渐增加,而特征图的尺寸逐渐减小。最后通过全连接层实现分类[13-14]。而FCN-VGG将VGG网络中的全连接层替换为卷积层,以便对输入图像进行像素级别的分类。这种网络结构可以实现端到端的像素级别语义分割,对于图像分割任务非常有效。
图4 U-Net神经网络结构
4、卷积神经网络在提取导航线中的应用
4.1 语义分割
基于深度学习的分割方法使用机器学习算法来学习图像中对象的共同属性,然后将具有相同特征的像素分为同一类[15-16]。基于监督和非监督学习的植被分割方法的应用可以有效地改善各种光照条件下的分割效果。在农业机器人导航过程中,典型的基于机器学习的图像分割方法包括模糊聚类(FC)、马尔可夫随机场(MRF)、随机森林(RF)、支持向量机(SVM)、基于决策树的细分模型(DTSM)。然而,由于实际农业场景的环境复杂性和作物多样性,仅使用底层特征信息难以获得期望的分割结果。深度学习技术可以用来捕获图像中的全局特征信息,并在语义类别和图像像素之间建立一对一的映射关系,以获得更好的分割结果。
韩振浩等[17]提出了一种基于U-Net网络的果园视觉导航路径识别方法。他们针对果园环境中果树背景复杂、场外干扰因素多等问题,使用Labelme对采集到的图像中的道路信息进行标注,制作了果园道路数据集。然后,基于U-Net语义分割算法,在数据增强的基础上对U-Net卷积神经网络进行训练,得到了果园道路分割模型。通过U-Net进行图像分割,再提取导航线。分割交并比达到86.45%,平均距离横向误差占比为1.4%。
4.2 目标检测
卷积神经网络在图像识别任务中具有广泛的应用,如人脸识别、车辆识别、目标检测等。其优点在于能够自动学习图像中的特征,无需手动提取,且具有很好的鲁棒性和泛化能力。而卷积神经网络在导航线领域的应用主要是导航线的识别和目标检测[18]。
卷积神经网络通过卷积层可以自动学习图像中的特征,例如道路的边缘、颜色、纹理等,然后将这些特征输入到全连接层进行分类和识别,从而自动识别图像中的导航线、提取导航线。例如胡健[19]通过使用深度学习算法来提取大豆苗带行线,融合注意力机制,提出了一种基于改进Inception V3-SE的大豆苗带行线提取方法。
而在目标检测方面,彭书博等[20]针对复杂果园环境中传统机器视觉算法难以处理光影变化、遮挡、杂草等因素的干扰,导致导航道路分割不准确的问题,提出了一种改进YOLOv7的果园内导航线检测方法,模型检测精度达到了95.21%。
5、总结
本文首先介绍了传统导航线提取技术存在的问题,进而引入了卷积神经网络的深度学习方法;其次,介绍了CNN网络结构中各层的结构和特点以及3种经典的卷积神经网络模型;最后,简要综述了卷积神经网络在提取导航线中的应用。卷积神经网络如今广泛应用于视觉导航领域,其特征识别精度更高、速度更快,能够更好地进行导航线的提取,但也存在一些问题需要在未来研究中加以(下转第26页)改进:1)对于上位机设备的配置要求较高,因而成本较高。2)神经网络在部分特征提取上存在一定的局限性。3)网络模型大,需要大量数据集参与进行学习。建议未来的卷积神经网络从模型更灵巧、识别更精准等方面发展。
参考文献:
[1]严家金.基于卷积神经网络的图像分类算法研究[D].淮南:安徽理工大学,2022.
[2]季长清,高志勇,秦静,等.基于卷积神经网络的图像分类算法综述[J].计算机应用,2022,42(4):1044-1049.
[3]董光辉.基于偏微分方程的图像分割及应用研究[D].哈尔滨:哈尔滨工程大学,2014.
[4]巴桂.基于卷积神经网络的图像分类算法[J].电脑与信息技术,2020,28(1):1-3.
[5]朱骏宇.基于卷积神经网络的图像识别的技术分析[J].长江信息通信,2023,36(8):66-68.
[6]孙思濂.基于卷积神经网络的图像识别在农业领域的应用[J].软件,2020,41(11):173-175.
[7]刘栩宁.基于多目标孪生卷积神经网络的遥感图像场景分类方法研究[D].徐州:中国矿业大学,2020.
[8]赵岩,张人天,董春旺,等.采用改进Unet网络的茶园导航路径识别方法[J].农业工程学报,2022,38(19):162-171.
[9]李博,张洪刚.基于多通道小波卷积神经网络的路面异常检测算法[J].华中师范大学学报(自然科学版),2019,53(2):200-206.
[10]付多民.基于卷积神经网络的花粉图像识别方法研究[D].唐山:华北理工大学,2022.
[11]刘波,嵇启春.基于U-NET网络的心律失常信号识别算法研究[J].计算机测量与控制,2020,28(6):175-179.
[12]丁仁集,陈丙三.基于改进YOLOv5的番茄识别检测算法[J].福建理工大学学报,2023,21(6):585-591.
[13]马治楠.基于深度学习的计算优化技术研究[D].贵阳:贵州大学,2019.
[14]梁博.基于卷积神经网络的语义分割算法研究[D].哈尔滨:哈尔滨工程大学,2019.
[15]阮承治,林根深,陈旭,等.基于图像处理的蟹塘水草图像导航线拟合方法[J].中国农机化学报,2023,44(7):147-153+235.
[16]常江,李春圣,王嘉明,等.一种基于单目视觉农业机器人提取导航线的方法[J].佳木斯大学学报(自然科学版),2023,41(1):92-95.
[17]韩振浩,李佳,苑严伟,等.基于U-Net网络的果园视觉导航路径识别方法[J].农业机械学报,2021,52(1):30-39.
[18]王毅,刘波,熊龙烨,等.基于深度学习的果园道路导航线生成算法研究[J].湖南农业大学学报(自然科学版),2019,45(6):674-678.
[19]胡健.基于机器视觉的大豆苗带对行与控制系统研究[D].大庆:黑龙江八一农垦大学,2023.
[20]彭书博,陈兵旗,李景彬,等.基于改进YOLOv7的果园行间导航线检测[J].农业工程学报,2023,39(16):131-138.
基金资助:2023黑龙江省重点研发计划“揭榜挂帅”(2023ZXJ07B02);
文章来源:刘千硕,赵军.卷积神经网络在农作物导航线提取中的应用[J].南方农机,2024,55(17):20-22+26.
分享:
党的二十大擘画了以中国式现代化全面推进中华民族伟大复兴的宏伟蓝图,全面建设社会主义现代化国家,推动百千万工程的落地,最艰巨、最繁重的任务仍然在农村。强国必先强农,农强方能国强。
2024-11-09粮食产量直接关系到国家粮食安全和人民生活水平[1]。 随着粮食需求量的不断增加, 粮食安全问题受到政府、 企业和消费者的广泛关注。 小麦作为世界主要粮食作物之一, 在中国有巨大的市场需求, 其生产状况直接影响到国家农产品的稳定性。 在农业生产过程中, 对作物产量的准确预测至关重要, 有助于政府和生产者科学地制定粮食政策。
2024-10-09光是影响植物生长发育的重要因子,它可以为光合作用提供能量,也可作为环境信号调节植物的生命活动,如种子萌发、光形态建成、气孔运动等[1]。21世纪以来,植物照明在LED(Lighting Emitting Diode)技术加持下飞速发展。以半导体LED为核心的照明技术有力地促进了植物工厂的大规模应用[2]。
2024-09-02在当前农田环境中,作业强度大、人力短缺等问题已经成为制约农业发展的瓶颈。为了解决这些问题,提出了基于卷积神经网络的机器视觉技术,用于农业环境的路径导航,该技术可应用于农业中的除草、喷药等农业生产中,从而提高效率和精度,降低劳动力成本。优化种植技术、推广节水灌溉等措施,都是提高农业生产效率和价值的有效途径。
2024-09-02目前,我国农村外出务工人数不断增加,人口逐渐流失,农忙时节往往会出现劳动力短缺的现象。随着经济水平的提高,人们对蔬菜、水果的需求量不断增大,蔬菜、瓜果类种植面积大幅增加,果蔬种植与劳动力短缺之间的矛盾越来越突出,对采摘机器人的需求也越来越迫切。
2024-07-10我国是农业大国,但人均耕地面积较少,为了满足人们日益增加的粮食需求,亟需增加粮食等农作物的产量,而农作物产量的增加离不开灌溉。我国传统的灌溉方式为大水漫灌、沟灌或淹灌等,需要多人对灌溉过程进行观测并及时关闭水源。这种方式灌水不均,容易导致农作物病害或涝死,还造成水资源的极大浪费。
2024-07-10中国是世界上最大的农产品生产和输出国之一,主要农产品产量居于世界领先地位[1]。然而,目前中国农业还处于转型阶段,耕地质量和机械化水平不高,且随着农产品产量的增多,农业废弃物等也随之增加,环境问题日益突出,已成为制约农业和农村经济发展的重要因素[2,3,4]。据统计,我国每年农林废弃物产量在10亿t以上[5],其中,仅秸秆废弃物平均每年产量就超过9亿t,有效利用率不足40%,农业环境污染严重[6,7]。
2023-11-29目前传感器技术在农业中应用最普遍的领域就是精准农业和智慧农业。通过对气候、土壤、水、空气质量、作物成长、鱼禽畜的生长,甚至是设备和劳动力的成本以及可用性方面的实时数据采集,预测分析之后用来做出更科学、更精准的决策。另一方面,农业作为中国的基础产业,面临着农产品需求不断在增加、资源短缺、气候多变导致灾害频发。
2021-12-08灌溉与施肥是农业生产和种植的重要环节,同时也对农业产量起关键作用。农业灌溉与施肥的精准与否对农作物的生长起到决定性作用。为了充分利用水资源和实现精准施肥,推动现代化农业的发展,将水肥灌溉系统与物联网相结合,以PLC(可编程控制器)模块作为核心控制单元,根据外部水压的变化和EC/pH值确定灌溉的频率和方式,给灌溉设备以智能化。
2021-04-27我国是农业大国,农业生产与农业经济在我国社会经济发展中占据了重要地位,但由于国内农村地区资源利用率比较低,进而导致农业发展水平受限,国内各地区农业发展水平存在很大的差距,为了进一步提高农业生产中电气自动化技术的应用水平,节约农业生产劳动力,有效提高生产效率,从而更好地发挥自动化技术对农业经济的促进作用。
2020-12-16人气:2221
人气:2206
人气:2043
人气:1764
人气:1031
我要评论
期刊名称:南方农机
期刊人气:1525
主管单位:江西省农业农村厅
主办单位:江西省农业机械研究所
出版地方:江西
专业分类:农业
国际刊号:1672-3872
国内刊号:36-1239/TH
邮发代号:44-110
创刊时间:1970年
发行周期:半月刊
期刊开本:大16开
见刊时间:4-6个月
影响因子:4.369
影响因子:0.000
影响因子:0.000
影响因子:0.000
影响因子:0.000
您的论文已提交,我们会尽快联系您,请耐心等待!
你的密码已发送到您的邮箱,请查看!