首页 > 论文范文 > 自然科学论文 > 生物学论文 > 环境生物学论文 > 基于MobileNetV2的自然场景口罩检测算法

基于MobileNetV2的自然场景口罩检测算法

2023-09-05 131 上传者：管理员

摘要：新型冠状病毒(COVID—19)可以通过呼吸道飞沫等方式传播，自然场景中的遮挡、密集、小尺度等复杂因素会对口罩检测任务产生影响。针对以上问题，采用MobileNetV2网络作为全文的主干网络提取面部特征，构造特征金字塔，并结合视觉注意力机制，提出了一种口罩检测新算法，以实现在复杂场景下检测口罩佩戴情况的目标。算法利用空间注意力机制处理浅层特征，强化面部区域，利用通道注意力机制学习高层语义特征分布并强化语义信息，从而提高面部区域检测精度。实验结果表明：该算法在有遮挡、密集和小尺度的场景下取得了较高的精度，而且能够实时对视频进行口罩检测，鲁棒性较好。

关键词：
MobileNetV2
口罩检测
生物学
空间注意力
通道注意力
加入收藏

引言

自2019年12月以来，新型冠状病毒(COVID—19)[1,2,3]以极快的速度蔓延到全球众多国家。在公共场合佩戴口罩可以有效降低被病毒感染的风险。检测人脸佩戴口罩算法实际上是人脸检测算法[4]和口罩佩戴分类算法的结合体。随着深度学习的发展，基于神经网络的目标检测算法[5]和目标分类算法已经比较成熟。Girshick R等人[6]提出目标检测算法区域卷积神经网络(R-CNN),将候选区域和卷积神经网络(CNN)结合。He K等人[7]提出了空间金字塔池化网络(SPP-Net),该算法避免了R-CNN反复使用CNN计算特征的缺点，无需对图像进行剪切，减少了图像底层信息的丢失。但其将回归和分类分为多个阶段，使得网络占据了非常多的硬件资源。针对SPP-Net存在的问题，Girshick R等人[8]提出快速R-CNN(Fast R-CNN),采用感兴趣区域池化(ROI pooling)将特征变为感兴趣区域(ROI)特征，输入到全连接层进行目标分类。该网络减少了硬件缓存，使检测速度大幅度提高，但其无法将特征图(feature map)与原像素精准对齐，且无法满足实时检测的需求。R-CNN系列网络虽然在检测精度上有一定的优势，但这些网络检测效率低，速度慢。针对这些问题，Redmon J等人[9]提出YOLO检测模型，采用回归的方式替代候选区域，检测速度得到了大幅提升。该模型使用置信度最高的边界框作为最终的输出，在检测相邻群体或小目标群体时效果不理想，检测精度较低。为了提高检测精度，解决训练过程中出现的类不平衡问题，Lin T Y等人[10]提出RetinaNet检测模型，该模型主要通过重塑标准交叉熵损失来解决类不平衡问题，提高检测精度，但其检测速度较慢。为了进一步提高检测精度，Deng J等人[11]基于RetinaNet网络设计了一种鲁棒的单级人脸检测算法RetinaFace,利用联合监督和自我监督的多任务学习，在各种人脸尺度上执行像素方面的人脸定位，采用特征金字塔技术，实现多尺度信息融合，提高检测精度。牛作东等人[12]将RetinaFace应用在人脸口罩检测领域，提出改进RetinaFace自然场景口罩佩戴检测算法，但该算法在复杂场景下检测效果不佳，而且在自然场景视频中检测精度也不理想。王艺皓等人[13]提出基于改进的YOLOv3[14]的口罩佩戴检测算法，对骨干网络模型进行改进，降低了计算损耗，但在人脸密集和小尺度的场景下，效果也不理想。

针对现有口罩检测遇到的在复杂场景不能实时检测，以及在人脸密集和小尺度的场景下，不能有效提取面部口罩特征的问题，本文利用MobileNetV2[15]算法轻量级网络的优点，以其作为骨干网络，使用MobileNetV2中的瓶颈(bottleneck)构造金字塔结构，利用空间注意力机制处理浅层特征，强化面部区域，利用通道注意力机制学习高层语义特征分布并强化有用语义信息，从而达到提高面部口罩区域检测精度的目的。

1、总体框架

1.1 MobileNetV2算法

MobileNetV2是在MobileNetV1[16]基础上提出的CNN架构，该算法保留了MobileNetV1的深度可分离的操纵方式，并在此基础上加入了宽度乘法器α以及分辨率乘法器ρ,将需要的特征信息集中起来，保持在一个相对较窄的纬度当中。而且该算法借鉴了残差网络(ResNet)[17]中的残差块(residual block),设计了一种反向残差块(inverted resi-dual block)方式(如图1所示)。在结构上，二者皆使用大小为1×1→3×3→1×1的卷积核进行卷积操作。在Inverted Residual block中的第二个1×1卷积后，用Linear激活函数代替ReLU6[18]减小特征的损失，保证模型的表达能力。该结构极大缓解了CNN随着网络层数加深导致的梯度消失或爆炸问题，实现了深层次CNN的训练，提高了准确率。

图1 MobileNetV2在不同步长下的卷积过程

MobileNetV2对于不同步长的卷积有不同的操作(如图1所示),当步长为1时，在卷积过程中使用跳跃连接(skip connection);当步长为2时，卷积过程中不使用skip connection。

1.2注意力模型

注意力机制(attention mechanism)[19]被广泛应用于机器翻译、自然语言处理、图像和视频等领域[20,21]。图2为SE-Net(squeeze-and-excitation networks)[22]提出的模块示意。对于给定的输入特征图X,其特征通道数为C′,特征图尺寸为H×W,通过深度CNN变换后得到特征图U,其特征通道数为C。与传统的CNN不同，SE-Net还需通过下述3步来重新标定特征U。1)Squeeze操作，通过全局平均池化(global average pooling)对每个通道进行空间维度上的特征压缩，将二维特征(H×W)压缩为一个实数，该实数由完整的二维特征计算得到，所以在某种程度上具有全局的感受野；在此期间，其通道数保持不变。特征图U通过Squeeze操作后变为一个向量(1×1×C)。2)Excitation操作，通过简单门控机制为每个特征通道生成权重值。其中，参数组W通过全连接层和非线性激活函数学习得到，可以明显地表示特征通道间的相关性。3)Scale操作，将Excitation操作得到的归一化权重加权到每个特征通道上。这一步充分体现了通道注意力机制的思想，将归一化权重看作是通过特征选择后的每个通道的重要程度，最后通过乘法将权重与特征图U相乘，完成特征重标定。

图2 SE-Net结构

1.3基于注意力的MobileNetV2口罩识别算法

本文在MobileNetV2的Bottleneck模块构造金字塔结构，网络结构如3所示。

图3改进后的MobileNetV2网络结构

在人脸密集和小尺度场景下，口罩区域在像素空间向特征空间映射时，缺少特征点之间的互相联系，而浅层特征中含有丰富的细节信息，为了加强每个浅层特征点之间的互相联系，强化口罩区域的特征并且抑制其余面部特征，在浅层特征提取网络中引入空间注意力机制。特征映射过程中，网络高层特征含有非常明确的语义信息，每个特征通道都具有特定的表征能力，为了加强口罩区域通道特征，抑制其余通道特征，引入通道注意力机制。在网络不同位置使用空间和通道注意力机制，使网络可以学习高级语义分布，并强化所需要的口罩区域语义特征，去除冗余的特征。对于得到的最终特征利用训练好的面部检测器提取人脸框并分割出来，然后对分割区域进行二分类，以判断面部是否带有口罩并标注。

2、实验

本文实验在Ubuntu系统上进行，使用TensorFlow框架训练模型。训练使用内存32 GB,配备GTX2080Ti显卡的工作站。为了使损失降到最低，使用Adam优化器，学习率、批量大小分别设置为1×10-3,12。

2.1数据集和评价指标

本文使用MobileNetV2网络融合注意力机制构建网络模型框架，使用武大研究所和网上搜集的口罩数据作为训练数据进行模型训练。具体步骤如下：1)数据集清洗：搜集到的数据往往是来自互联网，且通常是一些含有大量噪声的数据，如非同一人脸、模糊人脸、多人脸以及角度过大人脸图像等。2)数据集扩充：如图4所示的高质量人脸图像是经过清洗过后的数据集。本文在训练之前会对数据集进行随机裁剪、旋转以及镜像等操作来扩充数据集，目的是增强样本的多元化与多样性，使模型的泛化能力有所提高，以防止在训练中出现过拟合现象。3)划分数据集：随机打乱以文件夹为基本单位的数据集，之后将训练集、验证集和测试集按照85 %,5 %以及10 %的比例进行划分。4)模型构建与训练：使用MobileNetV2网络融合注意力机制构建网络模型，并使用TensorFlow框架进行训练。

图4清洗过后的高清图像

为了评估本文所提检测算法的性能，引入以下指标，正确预测正样本(true positive, TP)、错误预测正样本(false positive, FP)、正确预测负样本(true negative, TN)、错误预测负样本(false negative, FN)、精度(precision, P)、召回率(recall, R)、平均精度(average precision, AP)、平均精度均值(mean average precision, mAP),计算公式如下

2.2实验结果与分析

由图5数据可知，模型对于单人口罩检测精度较高。

图5单人口罩检测结果

本文进行了多人的测试，由图6的数据可知，提出的模型依然保持着很高的精度。

图6多人及密集人群口罩检测结果

对于特殊情况，如：捂口、遮嘴等，都会被误认为戴口罩，因此本文也进行了特殊情况下的口罩检测实验，如图7所示，检测结果也较为准确。

图7特殊情况的口罩检测结果

在视频中进行了测试，如图8中所示，本文算法可以有效地对视频中人脸口罩佩戴情况进行检测。此外，自然场景中实时监控口罩检测效果，本文利用一个外接摄像头进行实时检测，最终检测效果良好，如图9所示。

图8自然场景下的视频口罩检测结果

图9自然场景下的实时口罩检测结果

表1为本文方法与现有人脸口罩检测算法的比较，其中，Face为人脸识别精度，Mask为口罩识别精度，mAP为平均精度均值。

表1实验对比数据%

从表1中可以发现，本文算法对于人脸佩戴口罩检测相较于其他方法更具优势。与RetinaFace算法以及Attention-RetinaFace算法相比，本文算法AP值分别提升了21.3 %和13.1 %,mAP值分别提升了12.3 %和16.5 %;与YOLOv3算法以及Improve YOLOv3算法相比，本文算法AP值分别提升了17.3 %和2.4 %,mAP值分别提升了15.1 %和4 %。

3、结论

本文以MobileNetV2算法为基础，解决了复杂场景下人脸口罩佩戴检测任务中存在的遮挡、密集人群等问题，提出了一种MobileNetV2与注意力机制相融合的算法。从以上数据可以看出，本文提出的模型可以较为准确地检测人脸口罩佩戴情况。此外，本文提出的模型对于不同场景下的人脸口罩佩戴检测都有较为理想的效果，具有较强的泛化能力，所以本文方法具有一定的研究意义与应用价值。

参考文献：

[1]赵文明,宋述慧,陈梅丽,等.2019新型冠状病毒信息库[J].遗传,2020,42(2):212-221.

[2]牛作东,覃涛,李捍东,等.改进RetinaFace的自然场景口罩佩戴检测算法[UJ.计算机工程与应用,2020,56(12):1-7.

[3]王艺皓,丁洪伟,李波,等.复杂场景下基于改进YOLOv3的口置佩戴检测算法[J.计算机工程,2020,46(11):12-22.

基金资助:国家自然科学基金青年科学基金资助项目(61801286);

文章来源:郭松,尹明臣.基于MobileNetV2的自然场景口罩检测算法[J].传感器与微系统,2023,42(09):137-140.