煤炭作为我国的主要能源之一，广泛应用于发电、冶金、化工等领域[1]。开采和选煤过程中所产生的煤矸石固体废弃物占煤炭总产量的10%以上，当煤炭中杂质含量较高时会导致燃烧过程中煤炭利用率低，并对环境造成严重危害[2]。因此，煤矸石的精确分选成为选煤领域的关键环节。

相较于传统选煤过程中凭借人工经验筛选和利用煤炭、矸石物理性质差异进行机器湿选的方法，基于算法的煤矸石识别成为选煤行业的主流方法。传统煤矸石图像识别中依靠人为提取和挑选利于算法识别的图像特征信息，例如灰度直方图和矸石纹理特征等。DOU等[3]用支持向量机(Support Vector Machine, SVM)从煤炭和煤矸石图像提取的19个特征中识别最优特征，并以此构建最优分类器。杨慧刚等[4]用X射线扫描煤炭和矸石的图像厚度信息，综合厚度信息和灰度信息确定煤炭和矸石的分离阈值。吴景涛[5]以支持向量机和随机森林为分类模型，提取灰度共生矩阵特征和HOG(Histogram of Oriented Gradient)特征为依据进行煤矸石分类。余乐等[6]通过对煤矸石0～255级灰度图像的前部分灰度信息进行灰度级压缩和灰度矩阵扩阶，计算共生矩阵，提取新特征。

随着深度学习在图像识别领域取得突破性成功，深度学习算法也被用于煤炭和矸石的图像识别，即利用卷积神经网络自主提取图像特征和网络参数来实现煤矸石的快速识别。陈佳鑫等[7]以智能图像识别为核心，设计了用于井下的煤矸石分选装置。孙涛等[8]基于卷积神经网络提出了一种煤岩信息识别边缘计算系统，实现了煤岩界面的分割识别。蔡秀凡等[9]基于改进的YOLOv4模型，克服了小块煤矸石分选过程中漏检的缺陷问题。单鹏飞等[10]提出改进的CBAM Faster R-CNN模型，实现煤矸石放落瞬间的识别定位，为放煤量的智能监测提供依据。郭永存等[11]提出通过迁移权重和简化神经元进行模型优化的方法，使煤矸石识别准确率达到了97.461%。尽管上述煤矸石检测算法的检测效果有所提升，但是研究中仍存在人为提取矸石特征过程复杂、算法参数量大、不适合部署在嵌入式平台、识别精度不足等问题。

针对上述情况，本文提出了一种轻量化的PAM-M-YOLO(Parallel Attention Module-MobileNet-YOLO,PAM-M-YOLO)模型。首先，采用深度可分离卷积代替传统卷积进行煤矸石图像特征提取，以此降低模型参数量来实现模型的轻量化；其次，添加融合通道和空间注意力的并联注意力模块(Parallel Attention Module, PAM);再次，基于热力图(Class Activation Mapping, CAM)激活限制分支，给模型添加先验信息，降低模型对非关键特征的关注度，提升模型检测精度；最后，通过试验验证该模型算法的可行性。

1、PAM-M-YOLO模型

本文所提出的煤矸石检测模型是在YOLO(You Only Look Once)目标检测模型基础上改进得到的。相较于Faster-RCNN(Faster Region-Convolutional Neural Network)[12]、SSD(Single Shot MultiBox Detector)[13]等目标检测模型，YOLOv5模型的检测速度和检测精度较高，更适用于实时检测任务。但是，为了模型方便部署在嵌入式平台且具备更高的检测精度，需要在原模型的基础上进行轻量化操作来实现PAM-M-YOLO煤矸石检测模型的搭建。

1.1 主干网络轻量化

YOLOv5网络模型由输入端、Backbone主干网络、Neck颈部网络层、Head预测层构成。BOCHKOVSKIY等[14]在YOLOv4网络模型的基础上进行改进，提出跨阶段局部结构(Cross Stage Partial, CSP),并用Leaky ReLU和Sigmoid激活函数替换了YOLOv4原有的Mish激活函数。主干网络采用CSP Darknet网络对原始图像进行特征提取，模型检测精度相较于之前系列有较好的提升。但考虑到YOLOv5模型参数量大，其模型大小不满足部署在嵌入式平台的要求，本文使用一种轻量化的卷积操作提取图像特征，保证模型在有较小参数量的同时保持较高精度。

为了在MobileNet系列模型中选取最优特征提取网络作为本文模型的主干网络，设计了一组替换主干网络的对比试验，并对替换后不同模型的准确率、平均精度(mean Average Precision, mAP)和参数量进行比较，选择最优的特征提取主干网络。

1.1.1 深度可分离卷积

深度可分离卷积不同于传统卷积，可在特征提取过程中与逐点卷积独立进行，如图1所示。

图1 深度可分离卷积  

对于一个输入通道数为M、输出通道数为N、大小为H×W的特征图，采用尺寸为K×K的卷积核对该特征图进行卷积操作。传统卷积中，先采用单个卷积核对所有输入通道进行卷积并求和，得到输出特征图的一个通道；再利用N个同等尺寸的卷积核重复上述操作，得到通道数为N的输出特征图。传统卷积过程中的运算量为K2MNWH。而深度可分离卷积中，首先使用M组卷积核对输入特征图进行独立卷积，获得与输入特征图通道相同的新特征图；再使用N组通道数为M的1×1卷积核调整该特征图通道数，以此得到最终的输出特征图。深度可分离卷积过程中，深度卷积和逐点卷积的运算量分别为K2MWH与MNWH,深度可分离卷积与传统卷积的运算量之比为：

理论上讲，针对尺寸为3×3的卷积核，模型使用深度可分离卷积的运算量将达到传统卷积的1/8至1/9。

1.1.2 煤矸石检测模型轻量化

文献[15]中MobileNetv3模型被应用于图像分类任务，采用多层全连接网络。为在该模型的基础上实现轻量化的煤矸石图像特征提取，需要在主干网络最后层修改输出通道数并添加YOLO模型的目标检测网络。目标检测网络结合特征金字塔网络(Feature Pyramid Network, FPN)和路径聚合网络(Path Aggregation Network, PAN)。首先，将主干网络所提取特征图的语义信息和位置信息融合；其次，对主干网络和目标检测网络的特征信息进行融合，使模型获得多层次特征信息；最后，通过损失函数和非极大值抑制来预测特征图中是否具有煤矸石图像。轻量化M-YOLO(MobileNet-YOLO,M-YOLO)煤矸石检测模型结构如图2所示。

图2 轻量化M-YOLO煤矸石检测模型结构   

从图2可知，对于像素大小为640×640的彩色输入图像，M-YOLO模型主干网络对输入图像进行特征提取，目标检测网络将所提取的特征信息进行多尺度融合，并分别对大、中、小3种目标进行检测。相比于传统YOLO模型，轻量化M-YOLO煤矸石检测模型能有效降低模型参数量及运算量，且对模型的检测精度影响较小。

1.2 添加PAM注意力模块

由于SE(Squeeze and excited block)[16]注意力模块只考虑了特征图的通道信息，忽略了位置信息的重要性。而CBAM(Convolutional Block Attention Module)[17]注意力模块虽然对特征图先后进行了通道和空间信息的特征融合， 但是在对通道信息融合过程中的两次全连接操作造成了部分通道信息的损失，且两者串联的连接方式影响了空间注意力模块对输入特征位置信息的提取。因此，为了加强改进模型对目标检测网络层拼接后特征图通道和空间信息的关注，从而更好地提升轻量化M-YOLO模型对煤矸石图像的检测精度，本文设计了PAM注意力模块。PAM注意力模块由通道注意力模块和空间注意力模块并联组成，具体结构如图3所示。

由图3(b)可知，PAM注意力模块上支路首先对输入特征F分别进行全局平均池化和全局最大池化，并对池化结果进行1D卷积。1D卷积过程中选择卷积核的大小为3、填充为1,以保证卷积后的特征图维度与池化结果一致；其次，将两个1D卷积结果进行相加来获得输入特征F不同通道上的权重值；最后，对该权重值进行Sigmoid激活，得到带通道权重的通道特征MC。

由图3(c)可知，PAM注意力模块下支路对输入特征F在通道维度进行全局平均池化和全局最大池化，两种池化后的特征图在通道维度进行拼接，得到一个尺寸为2×H×W的特征图，其中H、W分别为特征图的高和宽。对该特征图进行2D卷积，并进行Sigmoid激活得到一个包含输入特征F空间信息的空间特征MS。2D卷积过程中选取卷积核大小为3、填充为1。最后将通道特征MC和空间特征MS分别与输入特征F相乘得到带通道和空间权重参数的输出特征F′,如图3(a)所示。

图3 PAM注意力模块结构   

1.3 基于CAM激活限制分支添加先验信息

目标检测任务中，YOLO模型虽能够自主学习到一些有辨识度的图像特征，但也会不可避免地拟合到一些非关键特征，造成模型对图像关键特征的拟合不足，影响模型检测精度。因此，本文通过在模型的目标检测网络Head预测层添加CAM激活限制分支，以解决模型在非关键特征信息上的局部坍塌问题，模型改进前后对比如图4所示。

图4 模型改进前后对比   

1.3.1 添加CAM激活限制分支

首先，在模型的3个预测层前各添加一个独立分支，每个分支在通道维度对输入特征进行全局平局池化，得到第k个通道的权重值Wk;然后，将该权重值Wk与对应通道的输入特征相乘并在通道维度求和，得到煤矸石图像的激活M;最后，使用Leakly ReLU激活函数对M进行激活，生成一个通道数为1,且大小与输入特征图一致的CAM激活限制分支。其中，权重值Wk和激活M的计算公式为：

M(x,y)=∑kWkFk(x,y) (3)

式中，Wk表示特征图在第k个通道上的权重值；Fk(x,y)表示输入特征图中第k个通道上坐标为(x,y)的值；M(x,y)表示特征图在空间(x,y)点处的激活值；h为输入特征图的高；w为输入特征图的宽。

由于经过CAM激活限制分支处理后的特征图与输入特征图在空间维度保持相同的网格信息。因此，该分支能够有效展示煤炭和煤矸石在特征图中的空间位置信息。

1.3.2 定义损失函数

煤矸石图像数据集标注过程中，人为将煤矸石的标签标为0,煤炭的标签标为1。因此，经过CAM激活限制分支处理后的特征图上出现负值的激活区域是煤矸石的激活，即标签为0的激活；出现正值的激活区域是煤炭的激活，也就是标签为1的激活。为了通过给模型添加先验信息实现模型只关注煤矸石激活区域的目的，本文通过定义损失函数来对标签为1的正激活值进行限制。

首先，设定n(x,y)为CAM激活限制分支输出特征图中坐标为(x,y)的值；其次，将n(x,y)作为函数F(n)的输入来求得CAM激活限制分支的目标特征N(x,y);最后，对输出特征n(x,y)和目标特征N(x,y)对应值相乘并求和，得到基于CAM激活限制的损失。其中，函数F(n)和损失函数Loss的计算公式为：

式中，h′为经过CAM激活限制分支处理后特征图的高；w′为经过CAM激活限制分支处理后特征图的宽。

2、基于改进PAM-M-YOLO模型的煤矸石检测试验

2.1 试验数据采集

当前深度学习领域所使用的煤矸石图像主要利用工业相机对输送带上的煤矸石和煤炭进行图像采集。以山西长治某选煤厂的煤矸石图像为例，从中挑选多种角度、不同距离的3300张煤炭和煤矸石图像样本进行试验。其中，煤炭图像为950张，煤矸石图像为1300张，煤炭和煤矸石混合图像为1050张。用LabelImg标注工具对所采集的数据集图像进行标注，并按照8∶1∶1的比例将其分为训练集、验证集、测试集3部分。

2.2 改进的PAM-M-YOLO模型训练

训练过程中选用的试验环境为Windows 10、Python3.10.10和Pytorch, 相关硬件配置和模型参数见表1。单个训练周期有413个训练批次，共训练200个周期。

表1 试验相关硬件配置和模型参数

本文选用准确率P、召回率R、mAP和参数量作为模型的评价指标。其中P、R和mAP的计算公式如下：

式中，TP表示判定为正类的正样本数量；FP表示判定为正类的负样本数量；FN表示判定为负类的正样本数量；N表示检测类别数；AP表示模型在每个类别的检测效果；mAP表示模型在所有类别上的检测效果。

对PAM-M-YOLO模型进行多次训练并选取最优结果用于评估，训练过程中的损失函数曲线如图5所示，损失值越小表示模型预测结果越精准。由图5可知，当模型训练至140轮时，损失曲线趋于平稳，损失函数收敛，说明该模型的训练效果良好。

图5 训练损失  

3、试验结果分析

3.1 模型主干网络试验对比分析

为在MobileNet系列模型中选择最合适的特征提取网络作为本文模型的主干网络，设计一组对比试验。试验中分别用MobileNetv1、MobileNetv2和MobileNetv3的特征提取网络对原模型CSP Darkent主干进行替换，对替换后的网络进行训练，得到各模型准确率P、mAP和参数量，试验结果见表2。由表2可知，替换v1、v2特征提取网络后的模型准确率和mAP明显低于原模型，而替换v3特征提取网络后，虽然模型准确率略低于原模型，但mAP相较于之前有较小提升，且模型参数量减少近一半。因此，本文选择MobileNetv3特征提取网络作为本文模型的主干网络。

表2 同系列特征提取网络试验对比

3.2 消融试验

为合理分析本文提出的改进模型对原模型的影响，验证各改进点的可行性，分别对不同改进策略进行消融试验，试验数据见表3。

表3 消融试验

由表3可知，在M-YOLO模型中添加PAM注意力模块后，模型检测准确率、召回率、mAP分别为97.1%、96.5%、97.9%,相比M-YOLO模型分别提高了2.0, 1.3, 1.1个百分点。这是由于模型中添加PAM注意力模块能够更好地提取拼接后特征层的通道和空间信息。在M-YOLO模型中基于CAM激活限制分支添加损失函数后，模型检测准确率、召回率、mAP相较于M-YOLO模型分别提高了1.2, 0.6, 0.5个百分点。在M-YOLO模型中同时添加PAM注意力模块和基于CAM激活限制分支添加损失函数后，模型检测准确率为98.7%、召回率为97.5%、mAP为98.8%,均高于M-YOLO模型和添加单个改进点的值。因此，在模型中添加PAM注意力模块和在预测层添加基于CAM激活限制分支的先验信息均能够有效提高模型检测精度。而二者的联合使用可以使模型的检测性能得到进一步提升。

3.3 改进的轻量化PAM-M-YOLO模型与其他网络模型对比分析

为验证本文提出的轻量化PAM-M-YOLO煤矸石检测模型的识别精度，使用相同的煤矸石数据集，在相同试验条件下对YOLOv3、YOLOv4-Tiny、YOLOv5以及本文模型进行训练。不同模型的准确率、mAP和参数量见表4。

表4 煤矸石数据集下不同模型效果对比

由表4可知，相比于YOLOv5原模型及其他YOLO系列模型，轻量化PAM-M-YOLO模型的参数量最少，同时检测准确率和mAP均高于对比模型。通过对比试验的数据结果可知，改进后的模型在降低模型参数量的同时有效提高了模型检测精度，满足部署在嵌入式平台的轻量化和高识别度要求。

为了直观了解模型在煤矸石检测过程中所重点关注的图像信息，本文采用Grad-CAM[18]热力图可视化策略对提出的模型进行可解释性分析。Grad-CAM热力图可视化策略通过计算模型最后卷积层中煤矸石的类别权重，加权求和得到粗粒度的煤矸石定位图，将此定位图映射至输入图像中，突出显示模型检测煤矸石过程中关注的区域。

根据热力图可视化策略对改进前后的模型所关注的煤矸石图像信息进行可视化，可视化结果如图6所示。从图6中可看出，改进后的轻量化PAM-M-YOLO模型相较于原模型，检测过程中所关注的信息更集中于煤矸石区域上，有效解决了模型在非煤矸石区域的局部坍塌问题。

图6 不同算法结果对比  

4、结论

(1) 针对煤矸石图像检测模型算力要求较高的问题，本文提出了一种轻量化的PAM-M-YOLO煤矸石检测模型。首先，采用深度卷积与逐点卷积相结合策略，使用深度可分离卷积代替传统卷积，对煤矸石图像的特征信息进行提取。其次，将通道注意力机制与空间注意力机制融合。最后，在模型目标检测Head预测层添加CAM激活限制分支并定义损失函数，减少模型对非煤矸石图像区域信息的关注。

(2) 在M-YOLO模型中添加PAM注意力模块和在预测层添加基于CAM激活限制分支的先验信息均能提高模型检测精度，而二者的联合使用使模型检测性能再进一步提升，较M-YOLO模型，轻量化PAM-M-YOLO模型的准确率、召回率和mAP分别提升了3.6, 2.3和2.0个百分点。

(3) 相较于YOLO系列模型，轻量化PAM-M-YOLO模型具有更高的检测精度，模型参数量相较于原系列模型有明显降低，满足选煤行业的实际应用需求。

(4) 热力图可视化效果表明，相比于原模型，轻量化的PAM-M-YOLO模型对煤矸石特征的关注效果更加明显。

参考文献:

[1]袁亮,张农,阚甲广,等.我国绿色煤炭资源量概念､模型及预测[J].中国矿业大学学报,2018,47(1):1-8.

[4]杨慧刚,乔志敏.基于X射线和机器视觉的煤与矸石分选系统设计[J].工矿自动化,2017,43(3):85-89.

[5]吴景涛.机器视觉技术在煤矸石智能识别中的应用研究[D].徐州:中国矿业大学,2019.

[6]余乐,郑力新,杜永兆,等.采用部分灰度压缩扩阶共生矩阵的煤和煤矸石图像识别[J].华侨大学学报(自然科学版),2018,39(6):906-912.

[7]陈佳鑫,赵国贞,程伟,等.基于动态称量和图像识别技术的井下煤矸石智能分选装置研发[J].矿业研究与开发,2023,43(2):178-183.

[8]孙涛,王宏伟,闫志蕊.基于卷积神经网络和语义分割混合模型的煤岩识别系统研究[J].矿业研究与开发,2022,42(11):179-187.

[9]蔡秀凡,谢金辰.YOLOv4煤矸石检测方法研究[J].煤炭工程,2022,54(8):157-162.

[10]单鹏飞,孙浩强,来兴平,等.基于改进Faster R-CNN的综放煤矸混合放出状态识别方法[J].煤炭学报,2022,47(3):1382-1394.

[11]郭永存,王希,何磊,等.基于TW-RN优化CNN的煤矸识别方法研究[J].煤炭科学技术,2022,50(1):228-236.

文章来源:郭栋梁,张延军.基于轻量化PAM-M-YOLO模型的煤矸石图像检测[J].矿业研究与开发,2024,44(05):220-227.