摘要:针对日益严重的海洋垃圾污染问题,提出了一种基于深度学习的水下垃圾检测机器人,实现对水下垃圾的识别检测和定位。该机器人采用紧凑的机械结构,集成了多种传感器,通过6个螺旋推进器能够在复杂水下环境中自由运动。采用Raspberry Pi 3B作为主控模块,结合Cortex-M3的stm32开发板,实现了高效的数据处理和运动控制。基于阿里云服务器的手机App远程监控系统,实现了对机器人状态的实时监控和操作。通过改进的YOLOv5算法,实现对水下塑料垃圾识别检测任务。试验研究结果表明:改进的YOLOv5算法可以实现对水下垃圾的识别检测,并且相比于传统算法检测速度和准确性得到提高。该研究将深度学习技术与水下机器人技术相结合,为海洋环境保护提供了新的技术途径。
加入收藏
随着人类对海洋资源的不断开发和利用,海洋垃圾污染问题日益严重,这不仅对海洋生态系统造成了巨大威胁,也影响了人类对于海洋资源的可持续利用。因此,开发一种高效、准确的水下垃圾检测系统成为当前环境保护和海洋科技领域的重要研究课题。本研究旨在通过深度学习技术,设计并实现一种能够自主识别并定位水下垃圾的检测机器人,以提高海洋垃圾清理的效率和准确性。
在过去的研究中,水下机器人技术已得到了长足的发展[1],并在海洋探测、资源勘查等领域发挥了重要作用[2]。然而,针对水下垃圾检测这一特定任务,现有的机器人技术仍面临诸多挑战,如水下环境的复杂性和不确定性,如光线折射、水质浑浊等问题和垃圾种类的多样性,以及检测精度和实时性的要求等,给水下垃圾检测带来了极大的挑战。近年来,深度学习在图像识别、目标检测等领域取得了显著成果,为水下垃圾检测提供了新的技术途径。前人在此方面已有诸多探索,如利用卷积神经网络CNN(Convolutional Neural Networks)进行水下图像识别[3],或者采用深度学习模型[4]进行垃圾图像分割等。
本研究基于深度学习理论,采用改进的YOLOv5算法,针对水下环境的特殊性进行模型优化,以提高垃圾检测的准确率和效率。通过搜集大量水下垃圾的图像数据,以及深度学习模型的训练与验证,开发一种能够在复杂水下环境中准确检测并定位垃圾的智能机器人系统。该系统能够实现对水下垃圾的高效检测,为保护海洋环境提供有力支持。此外,本研究还将为深度学习在水下机器人视觉领域的应用提供新的思路和方法,推动相关技术的发展。期待未来智能系统能够在海洋保护、水下考古[5]、海洋资源勘探等多个领域发挥重要作用[6]。
1、垃圾检测机器人设计
1.1机械设计部分
1.1.1主体结构
该水下机器人的设计充分考虑了其在水下作业的多功能性和适应性。其400 mm×450 mm×700 mm的尺寸设计,使其能够在狭窄的水下环境中灵活穿梭。这种紧凑的设计也意味着它能够更容易地被运输和部署,增加了其在各种场合的应用潜力。控制仓集成了自动操舵装置控制系统,为机器人提供了高度的自主性。它能够根据预设的路径或实时的操作指令,自动调整航行方向和速度,这不仅提高了作业的效率,也减少了人为操作的误差。此外,自动控制系统还可以集成多种传感器,如漫反射式红外光电传感器模块、红外摄像头模块和深度传感器,以搜集水下环境的详细信息。此外,控制舱可以提供6面接头端向推进器传感器输出控制信号。
为了水下机器人可以提供强大的动力和精确的操控能力,对电力驱动和水下电推进器进行了设计。水下电推进器采用四涵道推进器,确保了机器人在水下具有出色的机动性和稳定性,能够快速响应操作者的指令,执行精确的定位和转向。为了水下机器人能够在海水等恶劣环境中长期使用而不受损害,控制舱使用轻质和高强度特性铝合金外壳,通过精密加工的外壳确保了机器人的密封性,有效防止水分和杂质进入,保护了内部的敏感电子设备和核心控制系统,从而显著提高了机器人的耐用性和可靠性[7]。控制舱结构如图1所示。
图1 控制舱结构图
1.1.2动力系统
垃圾检测机器人的动力系统由6个螺旋推进器、2个XPS浮力块和对应的配重块组成,通过浮力块调整姿态,用配重块调节浮力和姿态,让整个机器人在水中保持零浮力状态,密度和水相近。垃圾检测机器人采用的螺旋推进器如图2所示,机器人动力系统结构图如图3所示。通过6个推进器协同工作,为机器人提供了强劲的推力,使其能够在水下自由移动,同时保持稳定的姿态。而2个XPS浮力块和对应的配重块可以帮助机器人在水中保持适当的浮力,结合螺旋推进器,确保其能够灵活地在不同深度的水域中穿梭。机器人具备先进的智能识别功能,能够精准地分辨出各种水下垃圾,并将其与周围环境区分开来。该机器人拥有自动巡航和避障能力,能够自主规划路径,巧妙地避开水下的障碍物,确保任务的顺利进行。不仅如此,该机器人采用电力驱动,具有出色的节能效果。通过主控模块对水下图像数据的深入分析和处理,精确地控制着6个电机的运转,使得机器人能够实现自主巡航和垃圾检测的双重任务,高效地完成各项工作。通过主控芯片对推进器的控制,可以精准地控制着机器人的上下浮沉和前进方向,使机器人能够在复杂的水下环境中自如地行动。同时,一体化的结构设计,让整个系统具备卓越的防水性能,能够有效保护机器人内部的电子元件和机械结构免受水的侵蚀。
图2 螺旋推进器
图3 动力系统结构图
1.2智能控制部分
1.2.1硬件部分
水下机器人的硬件部分涵盖多个关键组件,其中主控模块在选型上尤为重要。主控模块需具备强大的数据处理能力和图像分析功能,以确保系统稳定可靠地运行。针对垃圾的图像采集与识别,本设计选择了Raspberry Pi 3B作为核心开发板。其丰富的硬件接口与强大的计算能力,能够轻松配置神经网络模型框架,并通过连接摄像头等外接设备,可以轻松构建出一个所需要的微型计算机系统。
Raspberry Pi 3B可以提供大量的接口来灵活应对各种外设连接需求。在水下机器人的视觉检测系统的设计中,用于检测垃圾的摄像头模块通过开发板的接口进行与单片机的连接和通信。此外,为了对其进行进一步的开发和调试,对开发板的进行充分利用,外接了辅助光源等设备。
水下机器人的下位机则主要负责实现机器人运动的控制流程。本设计选择了基于Cortex-M3内核的stm32开发板作为下位机的核心硬件[8]。这款开发板具有高性能、低功耗等特点,非常适合用于水下机器人运动系统的开发。在下位机的控制过程中,电机驱动器输出的信号控制电机以此来驱动螺旋桨,通过螺旋桨旋转控制机器人的运动。这一系列动作实现了水下机器人自由移动。
为了满足下位机的控制需求,选择使用高性能、低成本的野火STM32F103VET6型号开发板。这款开发板采用CortexM3内核,最高工作频率可达72 MHz,具有丰富的片上资源和强大的处理能力,还提供了丰富的硬件资源和接口,更方便地与各种传感器和执行器进行通信和控制,从而实现水下机器人的运动控制等功能,如图4和图5所示。
图4 Raspberry Pi 3B硬件接口图
图5 野火STM32F103X开发板硬件接口图
1.2.2软件部分
该水下机器人检测垃圾系统通过阿里云服务器实现手机App对机器人情况进行远程监控,并在检测到存在大量垃圾或特定类型垃圾时触发邮件通知系统,将相关信息及时发送给垃圾回收人员。具体实现过程如下:
(1)水下机器人部署与数据采集在水下机器人上安装高清摄像头,机器人通过摄像头拍摄水下环境,利用垃圾识别传感器检测并识别垃圾类型,同时通过位置定位装置获取当前位置信息。
(2)数据传输与初步处理水下机器人将采集到的视频流、垃圾识别结果和位置信息通过Wi Fi传输至阿里云服务器。
(3)服务器端处理与分析阿里云服务器接收来自水下机器人发送的数据后,进行初步分析。服务器利用图像处理和机器学习算法对视频流进行垃圾识别和分类,同时结合位置信息确定垃圾的具体位置。
(4)触发警报与邮件通知当服务器分析出某个区域存在大量垃圾或特定类型垃圾时,会触发警报系统,并通过邮件通知系统向预设的垃圾处理人员发送警报邮件。邮件内容包括垃圾类型、数量和位置信息等。
(5)手机App远程监控与操作手机App通过HTTP请求实时通信技术与阿里云服务器保持连接,实时获取水下机器人检测到的垃圾信息。App界面可以查询垃圾类型、数量和位置分布等信息,并提供历史记录查询功能。用户可通过App进行远程操作,如调整摄像头角度、控制机器人移动等,以便更准确地检测和定位垃圾。
(6)用户界面与交互设计手机App的用户界面设计应简洁明了,方便用户快速了解水下垃圾情况。界面应包含实时监控、历史记录、警报通知和远程操作等模块,并提供友好的交互体验。
2、改进YOLOv5算法分析
YOLOv5是一个基于深度学习的实时目标检测模型[9],YO-LOv5在保持YOLOv4算法核心优势的基础上,通过一系列创新性的数据增强技术和网络结构设计,显著提升了小目标的检测性能,并且模型尺寸更小,更适合在嵌入式设备上部署。YO-LOv5的模型结构主要由4个部分组成:输入层、主干网络、颈部网络和输出层[10],其结构如图6所示。
YOLOv5的输入层通过采用图像大小调整、Mosaic数据增强技术来丰富背景信息和增加目标数量,同时结合自适应锚框计算以更精确地匹配目标框,并通过自适应图像缩放来精确匹配和适应不同尺寸的输入图像,从而显著提升模型的检测性能和泛化能力[11]。
YOLOv5的主干网络通过Focus模块将图像进行切片,通过切片操作增大输入图像的通道数,同时降低空间维度,再经过卷积处理,有效降低运算量,为后续的特征提取和检测任务提供了高效且准确的基础,其结构如图7所示。
图6 YOLOv5算法网络结构图
图7 Focus模块结构图
Conv模块作为基础卷积单元,通过连续的卷积、批量归一化和激活函数操作,进一步提炼特征。C3模块通过卷积操作提取特征,并利用残差连接融合不同层次的特征信息,从而增强了模型对目标的识别能力,其结构如图8所示。
图8 C3模块结构图
SPP(Spatial Pyramid Pooling)模块则通过不同尺度的最大池化操作,实现了对多尺度特征的整合。其结构如图9所示。
图9 SPP模块结构图
YOLOv5初始模型在检测小尺寸目标时可能会导致特征提取不足。同时,其复杂的网络结构和大量参数导致模型体积庞大、硬件要求高,限制了其在资源受限设备上的应用。为改善这些问题,引入Shuffle Net v2轻量级网络架结合一个多卷积融合坐标注意力机制MCA(Multidimensional Collaborative Attention)模块构作为主干,不仅显著减少了参数和计算复杂度,还保留了YOLOv5的高效性和实时性,提升了小尺寸目标检测效果,降低了硬件要求,使模型更易于部署到各种硬件平台。
Shuffle Net v2轻量级网络结构采用了通道重排和组卷积的方式来减少计算量和参数数量,实现更轻量化的网络。在每个基本单元中,通道拆分操作将输入特征分为两路,一路进行恒等映射,另一路则进行卷积操作,并通过通道混洗实现两路特征的融合。MCA是一种用于降低Transformer架构中自注意机制计算成本的随机近似方法。它利用输入序列中每个标记的重要性随注意力分数而变化的特性,对低关注度的标记进行低精度编码,而对显著元素保持高精度。YOLOv5主干网络通过结合Shuffle Net V2和MCA注意力模块,既保持了轻量级网络的性能优势,又提高了目标检测的精度和效率。改进的YOLOv5主干网络结构如图10所示。
图1 0 改进的YOLOv5主干网络结构图
在深度学习目标检测任务中,损失函数对模型训练速度和推理准确性具有决定性作用。针对传统损失函数未考虑真实框与预测框匹配方向的问题,将原有的CIOU(Complete-IOU)损失函数替换为SIOU(Smoothed Intersection Over Union)损失函数,通过优化训练过程并考虑匹配方向,从而提升模型的性能。
SIOU损失函数由角度、距离、形状和IOU损失组成,它通过引入向量角度来重新定义距离损失,降低了回归的自由度,从而加速了网络收敛并提高了回归精度。同时,通过引入向量角度,减少了与距离相关的变量。SIOU损失函数表达式为:
式中:Δ——距离损失;
Ω——形状损失;
IOU——预测框与真实框之间的交并比。
改进后的YOLOv5模型,首先通过优化先验框设计提高拟合度,再结合Shuffle Net V2和MCA注意力模块改进主干网络,并使用SIOU损失函数降低定位误差,从而提高了模型的检测精度。模型在保持轻量级的同时,显著提升了检测准确性并加快了收敛速度,满足了水下机器人对垃圾进行检测的任务需求。
3、试验测试
试验数据集使用2000张塑料垃圾图像作为训练集,其中包含水下塑料垃圾、水下生物[12]。模型在训练中使用Mosaic、水平翻转和平移等数据增强方式,可以得到图像增强后的训练集和测试集[13],以增强模型的泛化能力[14]。
在数据增强后,进行环境配置并搭建改进的YOLOv5模型,设置初始参数并初始化模型权重。训练及验证过程基于改进的YOLOv5网络框架,通过迁移学习的方式对原YOLOv5和改进版模型进行了训练。训练中,设置步长为16,初始学习率为0.01,每个训练周期结束后学习率降低5%,且对训练集中的全部样本训练300次为一个训练周期。训练的可视化结果如图11所示。
图1 1 训练结果
经过150个阶段的训练,改进后的YOLOv5模型的均值平均精度m AP(mean Average Precision)趋于稳定,并最终达到了92.10%的高精度。在训练初期的前100个阶段,模型的损失值迅速下降,显示出良好的收敛性能,随后在大约150个阶段后损失值趋于稳定,证明了模型训练的有效性和稳定性。
对改进的YOLOv5模型和改进前模型在各个类别的准确率P(Precision)、召回率R(Recal)、平均精度AP(Average Precision)3个指标方面的对比。对比结果如图12所示。具体计算公式为:
式中:TP——模型预测值和真实值正样本一致;
FP——模型将目标真实值正样本预测为负样本;
FN——模型将真实值负样本预测为正样本。
图1 2 算法的对比结果
从图12中的数据可以看出,对于所有目标物,改进后的YOLOv5算法在准确率、召回率和平均精度上均优于原始的YOLOv5算法。对于水下塑料垃圾,改进后的YOLOv5算法在准确率上提升了2%,在召回率上提升了2%,在平均精度上提升了0.84%。对于水下生物,改进后的算法在准确率上提升了2%,在召回率上提升了2%,在平均精度上提升了1.17%。根据试验数据说明,改进后的YOLOv5算法在检测水下塑料垃圾和水下生物在准确率、召回率和平均精度方面均有显著提升。
4、结论
文中提出的水下垃圾检测机器人能够在复杂水下环境中准确识别和定位垃圾。机器人的机械设计考虑了多功能性和适应性,配备了自动控制系统和多种传感器,提高了作业效率和准确性,并且一体化的设计结构使机器人的防水性能得到提高。智能控制部分采用Raspberry Pi 3B和基于Cortex-M3的stm32开发板,实现了其数据处理和运动控制。改进后的YO-LOv5模型提升了小目标的检测性能,同时降低了模型的计算复杂度,提高了模型的高效性和准确性。使其更适合在嵌入式设备上部署。未来的研究可以进一步优化算法,提高检测速度和准确性,增强机器人的环境适应性,并探索其在海洋保护、水下考古等领域的应用。
参考文献:
[1]李硕,吴园涛,李琛,等.水下机器人应用及展望[J].中国科学院院刊,2022,37(7):910-920.
[3]陈凯峰,梁鉴如,陈强,等.基于FPGA和CNN的水下目标识别系统[J].传感器与微系统,2021,40(4):103-105.
[4]吴观茂,王涛.基于改进YOLOv5s的海下垃圾检测算法[J].湖北理工学院学报,2024,40(1):47-51.
[5]王松,王田苗,梁建宏,等.机器鱼辅助水下考古实验研究[J].机器人,2005,(2):147-151.
[6]梁惠萍,熊云飞.水下抓取机器人[J].机械设计,2024,41(4):178.
[7]曲宝家,陈奕杭,夏泽豪,等.基于YOLOv7的水下泄漏检测机器人研究[J].机械设计,2023,40(S2):88-93.
[8]杨荣,王明伟,刘思铭.基于图像处理算法的目标识别、定位与跟踪系统设计与实现[J].物联网技术,2020,10(9):75-79.
[9]胡春海,姜昊,刘斌.改进YOLO5Face的小鼠行为实时分析方法研究[J].燕山大学学报,2023,47(4):359-369.
[10]魏林铎,董浪,姜孝,等.基于参照物法的高速公路车距检测算法研究[J].现代交通与冶金材料,2023,3(3):24-29.
[12]朱伟东,何月顺,陈杰,等.基于改进YOLOv5的海洋生物检测算法[J].计算机与数字工程,2022,50(8):1631-1636.
[14]李小军,邓月明,陈正浩,等.改进YOLOv5的机场跑道异物目标检测算法[J].计算机工程与应用,2023,59(2):202-211.
基金资助:沈阳航空航天大学创新创业训练计划(Z202310143182);
文章来源:唐祖才,王路平,盛爱通,等.基于深度学习的水下垃圾检测机器人研究[J].机械设计,2024,41(S2):14-19.
分享:
人工智能文学是指以人工智能程序作为文学创作主体,通过模拟人类文学创作的思维模式,实现文学作品的自动或半自动化的生成过程。它设置了“人工文学数据库搭建——机器智能数据分析——文学作品自动半自动生成”的基本创作模式,借助“自动写作”和“辅助写作”两种形式使得数字时代文学发生了全新的变革。
2025-05-05火灾是一种常见而严重的灾害,给人们的生命安全带来了巨大的威胁,造成了巨大的财产损失。在高楼建筑中发生的火灾,由于建筑高度、人员密集度以及安全疏散难度的增加,往往会导致更为严重的后果。近几年来,我国平均每年发生火灾约30万起,如何有效地监测和预防高楼火灾成为了当今社会亟待解决的问题。
2025-01-20湖泊水位是衡量一个地区水资源状况的重 要指标,对于保障区域供水安全、防洪减灾以及 生态环境保护等方面具有重要意义。 准确预测 湖泊水位的变化趋势,可为相关部门制定合理的 决策提供科学依据。 然而,由于湖泊水位的变化 受到复杂多变的自然和人为因素的影响,传统的 定量预测模型在精度和适应性方面面临诸多 挑战[1-3] 。
2024-12-27人工智能(Artificial Intelligence,AI)技术是公认最有可能改变未来世界的颠覆性技术。AI在军事领域有广阔的应用前景,国内外已将AI不断应用到情报分析处理、目标识别监视、作战辅助决策、网络安全防护以及无人作战系统等智能装备中,在能力和可用性方面取得了巨大的飞跃[1]。
2024-12-03数据安全风险的存在,不仅威胁到个人隐私权益,影响企业发展,甚至关系到国家安全和社会稳定。在这一背景下,强化数据安全措施,构建全面的数据安全防护体系,已经成为迫切需要。这需要政府、企业和个人共同努力,通过立法、技术创新及提高公众的数据安全意识等手段,共同构建一个更加安全、健康的信息社会。
2024-12-03随着遥感卫星和高空平台的快速发展,高空间分辨率遥感图像的应用也变得越来越普遍[1]。遥感影像的语义分割在地貌特征的像素级分类方面具有重要意义,该技术已经在许多工业级图像中得到广泛应用[2-4]。例如,环境灾害监测[5]、土地利用与土地覆盖制图[6-7]、农业资源管理[8]、滑坡识别[9]和交通管理[10-12]等。
2024-12-035G技术以其高速率、低时延、大连接的特点,为各行各业带来了前所未有的发展机遇,但同时也面临着基站选址与优化的巨大挑战[3–4]。因此,深入研究5G基站选址决策与优化问题,对于提升5G网络覆盖质量、优化资源配置、提高通信效率具有重要意义。
2024-12-03随着科学技术的进步,各种协作机械臂和工业机械臂越来越受欢迎.为提高机械臂的智能性和自主性,机械臂自主抓取一直是机器人领域的研究热点之一[1-2].传统的协作机械臂需要操作者具备相关知识,通过编程或拖拽指令实现机械臂的抓取操作[3-4].
2024-12-03在气象观测、工农业、航空航天、食品和药品储存等制造领域,对湿度和温度有着严格要求,因此,对这两个参数的检测变得尤为重要。温湿度传感器近年来得到了大力发展和应用。传统的电子式温湿度传感器易受电磁干扰,灵敏度低,响应时间长,限制了其性能和应用范围。
2024-12-03基于机器学习的网络入侵检测系统(NIDS可以提高检测的准确性和效率,并增加系统对新型威胁的适应能力,鉴于这一优势,本文将深入分析机器学习在NIDS中的应用及其效能,探讨如何利用这一先进技术来增强网络安全防御。
2024-12-03人气:4932
人气:3903
人气:3822
人气:3764
人气:3546
我要评论
期刊名称:机械设计与研究
期刊人气:2100
主管单位:中国国家教育部
主办单位:上海交通大学
出版地方:上海
专业分类:工业
国际刊号:1006-2343
国内刊号:31-1382/TH
邮发代号:4-577
创刊时间:1984年
发行周期:双月刊
期刊开本:大16开
见刊时间:一年半以上
影响因子:0.372
影响因子:0.493
影响因子:0.601
影响因子:0.056
影响因子:0.210
您的论文已提交,我们会尽快联系您,请耐心等待!
你的密码已发送到您的邮箱,请查看!