首页 > 论文范文 > 工程工业论文 > 工程综合论文 > 矿业工程论文 > 煤矿入井人员与安全帽检测轻量化网络模型构建与验证

煤矿入井人员与安全帽检测轻量化网络模型构建与验证

2024-12-02 54 上传者：管理员

摘要：针对矿井复杂环境光照不均、粉尘干扰、目标遮挡及传统的目标检测模型检测效果差、模型不易部署等问题，基于YOLOv5s提出了SDW-YOLOv5s目标检测模型。使用ShuffleNetv2作为特征提取网络，大幅度提升了模型的检测速度；在Ncek区域引入深度可分离卷积，提升模型检测精度的同时降低了模型的参数量和计算量；采用Wise-IoU损失函数提高了模型检测精度。实验结果表明：相比YOLOv5s模型，改进模型检测速度达到111帧/s，提高了70.7%，参数量降低了64.5%，计算量降低了90.5%，模型大小降低了88.8%,mAP达到89.2%，改进模型在模型轻量化和检测精度方面达到了很好的平衡，为模型在移动端轻量化部署提供了技术参考。

关键词：
ShuffleNetv2
YOLOv5s
损失函数
煤矿智能化
目标检测
加入收藏

随着科学技术的不断发展，煤炭行业也在朝着煤矿智能化发展方向前进，我国作为煤炭生产大国，煤炭资源有效地促进了我国经济的发展[1]。在实际的煤矿井下作业时，矿井人员都需要佩戴安全帽等一些防护设备，同时还需要规范自身的行为，以防出现安全事故[2]。目前大多数的煤矿井下都部署了视频监控，用来实时定位矿井人员的位置以及是否佩戴安全帽等行为。但是矿工在井下进行开采作业时，视频监控会因为井下环境昏暗、粉尘影响等问题导致监管不足，进而形成安全隐患。为了更好地实现对井下人员的安全管理，可以将目标检测技术和视频监控结合起来。

近年来，基于深度学习的目标检测算法得到了快速的发展，能够广泛适用于多种不同领域。在煤矿井下对人员和安全帽进行识别，快速定位井下人员的所在区域以及其是否佩戴安全帽对预防安全事故的发生具有可行性和实际意义。赵红成等[3]在YOLOv3中使用空间金字塔多级池化融合局部与整体特征等方法，在复杂的施工环境下，安全帽的检测精度达到88%，提升了YOLOv3的检测精度。李若熙等[4]在YOLOv4中使用K-means聚类函数提高了井下人员的检测率和检测精度，但YOLOv4网络有着巨大的计算量和参数量，对煤矿井下的硬件有很大的要求。代少升[5]等人通过改进YOLOv5网络模型、引入注意力机制、改进损失函数等方法来提高对井下人员防护装备的检测性能和检测精度，但是增加了算法网络模型的大小。

本文基于YOLOv5s网络模型，提出一种轻量化网络模型，命名为SDW-YOLOv5s，在满足煤矿井下人员和安全帽检测精度的基础上，大幅度地降低了模型参数量、计算量和模型大小，满足煤矿井下对矿井人员和安全帽检测需求。

1、YOLOv5s网络模型

YOLOv5s作为单阶段目标检测算法，其网络模型由输入端（Input）、骨干网络（Backbone）、特征融合网络（Neck）和输出端（Prediction）四个模块组成。在YOLOv5s网络模型中输入图片大小为640×640，输入端采用Mosaic数据增强和自适应图像缩放对输入图片进行预处理，有效提升了算法的检测速度和检测精度。Backbone由Conv、C3、空间金字塔池化模块（SPPF）三部分组成，Conv用于特征融合，将640×640×3的图像输入到网络中，经过一次卷积操作，得到320×320×32的特征图；C3模块用于加强网络特征的融合能力；SPPF结构增强了图像的特征表达能力。Neck区域使用的是FPN+PAN结构，FPN将上层向下层传递特征信息，PAN是从底层向上层定位信息。FPN+PAN将上层和下层的特征进行了融合，Prediction端对图像进行预测，输出80×80、40×40、20×20三种不同尺寸特征图。

2、SDW-YOLOv5s网络模型

针对煤矿井下场景，本文对YOLOv5s进行改进，在满足井下人员和安全帽检测精度的前提下，大幅度降低模型的计算量、参数量以及模型大小，以适合模型在矿井轻量化部署。改进内容如下：使用轻量型网络ShuffleNetv2替换YOLOv5s的骨干网络；在Neck区域引入深度可分离卷积（Depthwise Separable Convolution,DWConv）替换Neck区域的标准卷积；使用Wise-IoU作为边界框损失函数。SDW-YOLOv5s网络模型结构如图1所示。

2.1 ShuffleNetv2网络

YOLOv5s的骨干网络使用多个标准卷积去提取图像的特征，带来了参数量多、计算量大等问题。ShuffleNetv2作为轻量型网络，在特征提取时，不仅能够大幅度降低模型计算量和参数量，还保持了检测精度的平衡。ShuffleNetv2结构如图2所示，图2(a）中为网络中的基本单元结构，将输入特征图进行一个通道拆分（Channel Split）操作，将基本单元拆为2个通道，右分支通道经过2个1×1的卷积和一个3×3的深度可分离卷积操作后，左分支则是一直起到映射的作用，之后对左、右分支进行特征拼接（Concat），确保了输入和输出的通道数一致，提升了检测速度。最后进行通道混洗（Channel Shuffle），目的是打乱通道排序，方便特征信息的融合。图2(b）是ShuffleNetv2中的下采样结构，该网络中的下采样结构并没有使用通道拆分，而是使单元模块的步长变为2，使输出通道数变为输入通道数的两倍，大幅度降低了模型的计算量和参数量。

图1 SDW-YOLOv5s模型结构

图2 ShuffleNetv2网络结构

2.2 深度可分离卷积

深度可分离卷积对特征的提取与融合分为两步：逐深度卷积（Depthwise Convolution,DW）和逐点（Pointwise Convolution,PW）卷积。如图3所示，输入一个3×3×3特征图的标准卷积，首先进行一次逐通道卷积运算，对其每个通道都输出通道数为1的卷积核；其次进行一次逐点卷积运算，将逐深度卷积输出的特征图通过1×1的卷积运算完成特征融合。

图3 深度可分离卷积结构

标准卷积参数量Cwc计算如式（1），深度可分离卷积参数量Cdwc计算如式（2）。

式（1）和式（2）中，Dk表示卷积核的大小，I代表输入通道数，O代表输出通道数。对比标准卷积的参数量，深度可分离卷积下降的参数量如式（3）所示：

由式（3）得，输出通道数越多和卷积核越大时，深度可分离卷积参数计算量对比标准卷积降低的数量越多，检测速度越快。因此，本文采用深度可分离卷积替换标准卷积，降低模型的复杂度的同时提升训练速度。

2.3 Wise-IoU损失函数

在YOLOv5s网络中使用CIoU损失函数来计算边界框的损失，CIoU计算公式如式（4）所示：

式（4)～(6）中，IoU表示预测框和真实框之间的重叠程度，b和bgt分别表示预测框与真实框的中心点；ρ表示两中心点之间的欧式距离；c表示两框外接矩形的最短对角线长度；α表示平衡系数；υ表示两框之间长宽比例的一致性；w、h、wgt、hgt分别代表预测框与真实框的宽和高。CIoU考虑了目标预测框与真实框之间的纵横比、两者之间的距离和重叠情况，但当真实框与预测框重叠时，CIoU纵横比没有起到作用，从而影响模型的训练过程。因此本文引入动态非单调聚焦机制Wise-IoU损失函数，锚框质量是动态分配的，在两类锚框重合程度较好时，Wise-IoU能够减少长宽比的惩罚，其计算公式如式（7）所示：

式中，x、xgt、y、ygt表示预测和真实框中心点坐标；β用来描述锚框不同质量的离散程度；L*IoU表示聚焦系数，*表示将变量转为常量；Wg和Hg分别代表真实框和预测框外接框的宽和高；α、δ均为模型学习参数。

3、实验与分析

3.1 数据获取与预处理

本实验使用的数据集是从山西省某煤矿综采工作面视频监控中截取获得，共截取综采工作面环境中500张矿井人员和安全帽的照片，图像分辨率大小为640×640。数据集按照8∶2分为训练集和验证集，使用LabelImg软件来进行人工标注，共分为2类标签，井下人员标注为person，安全帽标注为hat，完成对数据集的预处理工作，标注结果如图4所示。

图4 数据预处理结果

3.2 实验平台与模型训练

本文使用的实验环境如下：操作系统为Windows10;CPU为Intel(R) Core(TM) i7-8 750；显卡为NVIDIA GTX 1 050 Ti；深度学习框架为Pytorch1.8.2；系统运行内存为8 G。模型训练输入分辨率为640×640大小的图像；图像输入通道数为3；批次输入样本为2；模型学习率为0.01；迭代次数为500次。

3.3 评价指标

本实验使用平均精度均值（mean Average Precision,mAP）、平均精度（Average Precision,AP）和准确率P(Precision）以及模型参数量、计算量、模型大小、每秒传输帧数FPS(Frames Per Second）作为评价模型性能指标。mAP、AP、P的计算公式如下：

式（9～11）中，TP为预测正确的矩形框数量；TN为背景被预测为目标矩形框数量；FP为矩形框误检数量。

3.4 实验结果与分析

1）消融实验

为了验证对YOLOv5s使用ShuffleNetv2网络、深度可分离卷积、Wise-IoU共三种改进方法的有效性，本文在相同的实验环境和数据集下设计了消融实验来检验不同改进之处的有效性，其中“—”表示未引入此方法，“√”表示引入此方法，实验结果如表1所示。

表1 消融实验

实验结果表明，对比YOLOv5s模型，优化模型1使用ShuffleNetv2作为特征提取网络提高了检测速度，FPS达到109帧/s，提高了67.6%；模型大小降低了86%；虽然检测精度下降了1.2%，但也保持了较高的检测精度，表明ShuffleNetv2作为特征提取网络能够在检测精度和模型轻量化之间保持很好的平衡。优化模型2使用DWConv替换Neck区域中的标准卷积，mAP提高了0.7%，模型大小降低了12.5%，表明DWConv能够提高检测精度，降低了模型大小，但层数的增多导致FPS有所降低；优化模型3中mAP提升了0.9%，其余参数量没有发生改变，表明使用Wise-IoU能够提升检测精度。SDW-YOLOv5s模型结合三种改进模块，在牺牲0.8%的mAP,FPS达到111帧/s,FPS提高了70.7%，模型大小为1.6 MB，降低了88.8%。消融实验结果表明：改进后的模型在保持较高精度的条件下，大幅度降低了模型大小、提升了模型的检测速度，在模型精度和轻量化方面做了很好的平衡。本文主要设计一种轻量化检测模型，因此确定SDW-YOLOv5s为最终改进模型。

2）不同模型对比实验

为进一步验证SDW-YOLOv5s模型性能，将其与YOLOv5s-Mobilenetv3、YOLOv5n、YOLOv5s模型进行对比，Mobilenetv3是一种轻量型的网络，YOLOv5sMobilenetv3是替换了YOLOv5s的主干网络。四类模型对比结果见表2。

表2 不同模型对比实验结果

由表2可知，SDW-YOLOv5s相比YOLOv5sMobilenetv3:mAP仅仅下降了0.1%，改进模型的检测速度提高了27.5%，参数量降低了54.9%，计算量降低了34.7%，模型大小降低了48%;SDW-YOLOv5s相比YOLOv5n：检测精度略高于YOLOv5n，改进模型的参数量降低了64.7%，计算量降低63.4%，模型大小降低58.9%,FPS提高1.8%。SDW-YOLOv5s相比YOLOv5s：仅牺牲0.8%的mAP,FPS提高了70.7%，参数量降低了64.5%，计算量降低了90.5%，模型大小降低了88.8%。综合比较可以看出SDW-YOLOv5s模型的性能要优于其他网络模型。

为了检验改进模型的检测效果，使用原图、YOLOv5s、SDW-YOLOv5s模型进行检测效果对比。如图5，人员用person标注，安全帽用hat标注，其中第一列为多目标检测图，第二列为粉尘环境检测图，可以看出两类检测模型均正确识别出了矿井人员和安全帽，SDW-YOLOv5s模型对人员检测的最高置信度为97%，与YOLOv5s相同；对安全帽最高置信度为94%，略低于YOLOv5s。综上所述，改进模型在足够轻量化的同时能够满足在矿井环境中对人员和安全帽的有效检测。

图5 检测效果对比图

4、结论

1）提出一种轻量化SDW-YOLOv5s模型，使用ShuffleNetv2作为主干网络，极大程度降低了模型的复杂度，提高了模型的检测速度；引入DWConv和Wise-IoU来平衡模型轻量化带来的精度损失。

2）相比YOLOv5s模型，SDW-YOLOv5s模型仅牺牲0.8%的mAP，使FPS提高了70.7%，参数量降低了64.5%，计算量降低了90.5%，模型大小降低了88.8%，表明改进模型在轻量化方面有显著效果，接下来将进一步扩大数据集，在模型检测精度方向改进。

参考文献:

[1]顾清华,江松,李学现,等.人工智能背景下采矿系统工程发展现状与展望[J].金属矿山,2022(05):10-25.

[2]张俊文,杨虹霞.2005—2019年我国煤矿重大及以上事故统计分析及安全生产对策研究[J].煤矿安全,2021,52(12):261-264.

[3]赵红成,田秀霞,杨泽森,等.改进YOLOv3的复杂施工环境下安全帽佩戴检测算法[J].中国安全科学学报,2022,32(05):194-200.

[4]李若熙,吕潇,张元生,等.改进YOLOv4算法井下人员检测的研究[J].矿业研究与开发,2021,41(11):179-185.

[5]代少升,曾奇,黄炼,等.基于S3-YOLOv5s的矿井人员防护设备检测算法研究[J].半导体光电,2023,44(01):153-160.

文章来源:姚文杰.煤矿入井人员与安全帽检测轻量化网络模型构建与验证[J].晋控科学技术,2024,(06):27-31.