在新冠病毒感染肺部[1]逐渐日常化导致医院患者数量庞大的情况下，如何快速正确地识别肺部医学图像，减轻医生的压力和提高患者的救治率是非常有必要的.

得益于人工智能技术的快速发展，许多利用深度学习进行医学图像分类的方法被提出，避免了传统检测方法需要人为对图像进行预处理的步骤，导致图像识别的准确率降低[2].李赵旭等[3]通过改进、优化Inception网络模型对乳腺癌图像进行分类.周奇浩、魏榕剑等[4,5]通过更改DenseNet-201和MobileNetV2模型结构，提高了肺部CT分类的准确率，但导致模型复杂、参数量过大，训练需要较长时间才能收敛.金哲毅等[6]提出利用预训练的ResNet50,冻结网络层数的方法对新冠肺炎CT影像分类.Wang等[7]从山东省医院收集数据集，使用在LUNA16数据集上预训练的残差神经网络ResNet-34进行微调，用来对肺癌进行特征提取和分类.Mohammadi 等[8]使用经过预训练的 VGG-16、VGG-19、MobileNet和InceptionResNet_V2对图像进行COVID-19分类.但仅迁移单个预训练模型提取到的特征并不能完全适应于目标域，故Denzi等[9]把预训练的AlexNet和VGG-16模型的FC层的特征向量串联起来，将提取到的特征用来对医学图像分类.

上述方法多数关注于对模型不同层次的特征提取和模型的设计，对于医学图像输入模型前的预处理、增强图像特征的研究较少.本文采用中值滤波和SSIM数据增强技术对图像进行预处理，滤除无用特征；提出迁移学习和深层次特征融合方法，采用预训练的网络参数量较少的MobileNetV2网络和ResNet50网络构建深层次的特征融合模型，并加入注意力模块提升检测精度，同时采用Focal Loss函数，解决正负样本分布不平衡的问题，以此提高模型的分类准确率.

1、相关工作

CT是一种医学成像技术，其图像由切片序列组成，而切片之间呈现出明显的相似性.针对此问题，本文采用一种基于结构相似性的图像去重方法，旨在去除其中相似度较高的图片，提高图像分类准确率.结构相似性(SSIM)可以用来衡量两张图片相似度，也可以用来衡量压缩后的图片的质量，结构(S)、亮度(L)、对比度(C)对比公式如式(1):

其中，ua、ub表示两张图片的均值，σa、σb表示图片的标准差，σaσb表示图片的方差，σab表示图片的协方差，C1,C2,C3为常数，结构相似性公式如式(2):

SSIM(A,B)=[S(A,B)]α[L(A,B)]β[C(A,B)]γ (2)

设α=β=γ=1,取C1=C3/2,C2=(K2L)2,C3=(K3L)2,L为图像灰度级数[10],K2=0.01,K3=0.03,故：

在图像质量对比中，用三个模块的平均值作为两个图像的评价指标，它的值在0-1之间，值越大代表相似度越高，在这里对CT图像有很好的去重效果.

由于患者不同、机械设备和环境差异等原因，CT图像中噪声广泛存在且其密度较小，图像中某些特征纹理被噪声掩盖.此处采用中值滤波方法对CT图像进行降噪增强处理，中值滤波器计算当前像素和领域像素集合的均值，把均值当作当前像素值，从而消除孤立的噪声点，能够有效地去除噪声密度较小的图像，同时对于图像的细节具有较好的保护能力[11].由于中值滤波后会使得图像清晰度下降，故在中值滤波后采用了图像锐化处理，补偿图像的轮廓，增强图像的边缘使得图像更清晰.

2、基于迁移学习和特征融合的CT图像分类

随着深度学习研究的深入，越来越多深度学习算法被应用于图像分类问题上.然而，在提高特征表达能力和提取显著性特征方面，目前的算法还存在很大的上升空间[12].为了能深度挖掘图像内部特征，本文基于迁移学习技术，提出一种特征融合的方法，并引入注意力机制，然后融合特征向量，提高特征的互补性，最后添加全连接层进行分类.

2.1 迁移学习

图1 基于模型参数迁移学习示意图   

迁移学习将源域中的知识迁移到目标域中，旨在找问题之间的相似性，可以缩减模型的训练时间，提高学习效率.迁移学习按照学习的内容可划分为基于模型参数、基于特征提取、基于特征映射的迁移[13].结构如图1所示.本文基于模型参数迁移，其具体为采用两个ImageNet数据集上预训练的模型，迁移到医学肺部图像分类问题上，对两个模型所学习的特征进行融合，并根据实际医学图像，对迁移的预训练好的模型进行微调，使得最终模型具有较好的分类能力.

2.2 基于迁移学习的特征提取

选取ResNet50和MobileNetV2作为特征提取模型，ResNet50模型中提出了一种短接的方法即残差结构[14],其能允许网络跨层连接，使得信息前后向传播更加顺畅.MobileNetV2模型被较多的应用于移动端和嵌入式设备中，它引入了逆残差块和线性瓶颈层.传统的残差结构[15],先降维，再通过卷积提取特征，最后升维.而逆残差块先升维扩充通道数，再通过深度可分离卷积提取更多的特征，最后实现降维，有效地解决了反向传播中梯度消失的问题.模型网络结构见图2,stage、bottleneck模块结构如图3所示.

图2 网络结构图   

图3 模块结构图   

2.3 特征融合模型

由于两个模型提取的特征并不完全相同，单一的特征并不具有很全面的表征能力，因此将上述模型分别微调后提取到的特征进行融合，实现特征互补，从而提高图像分类能力，肺炎识别网络框架如图4所示.

图4 肺炎识别网络框架   

由图4可知，整个模型主要由四层结构组成.首先是数据输入层，主要将预处理后的图像输入到模型中；特征提取层由Model1和Model2组成，其中Model1代表的是迁移过来的MobileNetV2的0～out_relu层，Model2代表的是迁移过来的ResNet50的0～conv5_block3_out层.为了能提高模型的精度，挖掘更准确的特征信息，让模型自动学习到不同通道特征的重要性，在两个模型融合前分别引入了通道注意力模块SE,其结构如图5所示.SE模块分为两个过程，一是压缩(Squeeze):通过全局平均池化将一个二维的特征通道压缩为实数，公式如式(4):

Z∈RH×W×C→Z′∈R1×1×C (4)

其中，R为输入的特征图，H×W×C为特征图的空间维度，分别表示高度、宽度和通道数，Z为未处理的特征数据，Z′为压缩后的特征数据.二是激发(Excitation):压缩操作得到了全局的描述特征，激发通过两个全连接层拟合通道之间的相关性，每个特征通道生成一个权重，公式如式(5):

S=δ(W2(ReLU(W1(Z′)))) (5)

其中，S为激发后的特征数据，δ表示 Sigmoid 激活函数，W1、W2均表示为全连接层，ReLU为激活函数.

在完成特征提取后进行特征融合，对融合后的特征加上若干个全连接层(FC),全连接层能将特征映射到样本空间中，有着分类器的作用\[16\].同时为了防止过拟合问题，在首个FC层加入L1、L2正则化并引入了Dropout层并设置dropout率为0.6,在第二个FC层修改神经元个数为2作为分类器.

图5 SE模块   

当数据集中正负样本比例不平衡时，容易造成比较大的损失，故本文使用目标检测中的Focal Loss函数[17]来解决数据不平衡造成的分类精确度下降的问题.Focal Loss函数在交叉熵函数(Cross Entropy Loss)的基础上，通过调节参数减少易分类样本的权重，表达式如式(6):

FL(pt)=-αt(1-pt)γlog(pt) (6)

pt为模型的预测概率，αt是控制样本不平衡的调制系数，γ控制难分样本权重，根据本文样本情况，分别取值为1和1.5.

3、实验结果及分析

3.1 数据预处理

本文所使用数据集来自安徽某医院放射科医生标注的CT图像.首先裁剪图片的尺寸，使得除肺部主体区域以外的信息尽可能的少，并运用结构相似性方法对图片进行去重，最后采用中值滤波方法对CT图像去噪，提高CT图像质量.

图6为原始照片，其存在较多患者信息以及时间等无用特征.图7为经过裁剪、去重、去噪增强的CT图像，经过裁剪后仅存在关键的肺部特征区域，相比未降噪的图像，其整体视觉上效果较好，部分细节特征更为明显.在对原始图像经过去重、裁剪、降噪增强后共得到新冠感染肺部图片1 384张，非新冠感染肺部图片1 113张，共有数据2 497张，按7∶2∶1的比例划分数据集分别作为训练集、验证集和测试集.

图6 原始图   

图7 预处理后的图片   

本实验基于CPU为Intel(R) Core(TM) i5-12600KCPU,GPU为NVIDIA 3080Ti,操作系统为微软Windows10,实验使用编译语言为Python3.8,使用TensorFlow版本为2.8.0,CUDA版本11.6,cuDNN版本8.2.4.优化器采用RMSProp(Root Mean Square Prop),迭代次数为150次，Batch_size设定为32,初始学习率设定为0.000 1.为了能够充分体现出本文提出方法的有效性，此处通过采用相同的实验数据集，在相同的实验条件下开展对比实验.为了客观的评价模型的性能，通过准确率(Accuracy) 和混淆矩阵作为模型的评价指标.

表1 混淆矩阵

其中，TP为正例被正确预测为正例的样本数；FP为反例被错误的预测为正例的样本数；FN为正例被错误的预测为反例的样本数；TN为反例被正确预测为反例的样本数。混淆矩阵如表1所示.

3.2 结果与分析

在本文的方法下对模型进行训练，总迭代次数为150次，训练集与验证集的准确率和损失值如图8所示，模型在迭代30次后准确率和Loss曲线都开始趋于平缓.实验数据说明数据集在模型训练和验证结果上波动较小，准确率较高，模型收敛速度快，且没有发生过拟合现象.

图8 准确率和Loss曲线   

图9 混淆矩阵   

为更好地反映模型预测和样本的匹配程度，根据测试集预测结果输出混淆矩阵，如图9所示，测试集中含有新冠感染肺部的CT图像有138张，正常状态的CT图像有111张.

由图9可知，新冠病毒感染错误率仅为0.02,说明新冠感染肺部的CT图像中有3张被误分类为非新冠病毒感染，非新冠病毒感染预测的错误率为0.04,说明正常状态的CT图像中有5张被误分类为新冠病毒感染.由于实际样本基数较少，该模型在较少基数下具有较高的分类能力，有效地说明了模型具有较好的泛化能力，同时也能很好的区分此类标签.

为验证本文方法对肺部CT图像识别的促进作用，将本文所提方法进行消融实验，其中主要分为：(1)对原始CT图像未采用增强处理的分类结果；(2)对原始图片采用增强处理，但并未进行特征融合的分类结果；(3)采用了数据增强和特征融合处理，但损失函数采用常规损失函数的分类结果.最终模型测试结果如表2所示.

表2 五种方法的测试结果对比

实验数据表明，在对比的5种方法测试结果中，本文所提方法的准确率最高，达到了97.79%;其中验证结果最差的未对原始图像去重和降噪处理的分类结果，其准确率只有92.05%;这也充分表明，对原始的CT图像进行增强处理可以有效地去除图像中噪音等无用特征，提高了模型后期的分类准确率.从表2中同样可以看出，在采用单个模型对图像进行特征提取时，其分类准确率只有95.18%和95.98%,相较于进行特征融合的分类结果，特征融合的结果分别提高了2.61%和1.81%.表明了采用不同的模型能够挖掘不同的图像特征，然后对特征融合可以有效提高图像的分类准确率.为了更直观看出以上几组模型的差距，分析出五种方法的验证准确率对比图见图10,体现本文算法具有一定优越性.

图10 五种方法的验证结果对比   

表3 不同模型的对比

为进一步验证本文模型的有效性，在相同的数据集下选取不同的识别模型进行对比实验，对比结果如表3所示.结果表明，对医学图像进行预降噪处理，并采用MobileNetV2网络和ResNet50网络提取图像中深层次特征，并对特征进行融合分类，在实际CT图像分类中具有较好的分类结果，分类准确率达到了97.79%;而在其他论文中所提到的算法，虽然在公开数据集的验证上具有较好的准确率，但在使用实际CT图像时的分类准确率最高只有91.73%,相较于本文所提出的模型准确率偏低.

将以上模型均用于实际监测，图11(a)为采集的一张新冠CT图片，本文模型识别图像的所属类别的置信度为0.930,而其它模型分类的所属类别置信度最高只有0.861;图11(b)为采集的一张非新冠CT图片，本文模型识别图像的所属类别的置信度为0.925,而其它模型分类的所属类别置信度最高只有0.906,表明本文方法建立的模型对于肺部CT图像的特征表达能力更强，可以有效完成CT图像的分类任务，而其它方法对肺部CT之间的特征差异并不敏感，导致其对得到的图像所属类别的置信度较低，不能够准确完成CT图像的分类.

图11 单张测试结果  

4、结论

本文提出了一种基于迁移学习和特征融合的新冠病毒感染肺部CT图像分类方法，结果表明，采用数据增强的图像分类准确率比未采用增强的图像分类准确率高5.74%;采用特征融合的方法图像分类准确率可达到97.79%,相比较仅迁移单个模型，准确率分别上升了2.61%和1.81%.本文所提出的方法识别准确率高，模型简单易训练，提高了CT图像分类的效率.

本文根据真实肺部CT图片识别应用场景，除需要增强识别准确率外，还需要提升模型运行速度，以确保实时有效地帮助医生进行诊断和病人在模型的帮助下进行自主判断，为治疗提供便利.在未来工作中，在保证精确度的前提下，提高识别速度是主要进行的工作.

参考文献:

[2]郑远攀,李广阳,李晔.深度学习在图像识别中的应用研究综述[J].计算机工程与应用,2019,55(12):20-36.

[3]李赵旭,宋涛,葛梦飞,等.基于改进Inception模型的乳腺癌病理学图像分类[J].激光与光电子学进展,2021,58(8):396-402.

[4]周奇浩,张俊华,普钟,等.结合深层密集聚合的新冠感染肺部CT图像分类方法[J].计算机应用研究,2023,40(6):1857-1863.

[5]魏榕剑,邵剑飞,温剑,等.融合SE和多尺度卷积的轻量级新冠感染肺部分类模型[J].云南大学学报(自然科学版),2023,45(3):583-589.

[6]金哲毅,杨晓玲.基于深度残差网络的新冠感染肺部CT影像分类系统[J].信息技术与信息化,2021(10):114-116.

[11]王野,李钦奉,齐继阳.基于改进自适应中值滤波的图像降噪方法[J].舰船电子工程,2022,42(6):112-115.

[12]宋东情,朱定局,贺超.基于多模型特征与精简注意力融合的图像分类[J].计算机系统应用,2021,30(11):210-216.

[13]杨沐泓,方霄扬,杨怡婧,等.深度迁移学习下的新冠感染肺部影像自动诊断系统研究[J].电子世界,2021,(4):58-59.

[14]刘晨,赵晓晖,梁乃川,等.基于ResNet50和迁移学习的岩性识别与分类研究[J].计算机与数字工程,2021,49(12):2526-2530+2578.

[15]邓源,施一萍,江悦莹,等.基于MobileNetV2与LBP特征融合的婴幼儿表情识别算法[J].电子科技,2022,35(8):47-52.

[16]徐志京,汪毅.青光眼眼底图像的迁移学习分类方法[J].计算机工程与应用,2021,57(3):144-149.

[17]罗清,周维,马梓钧,等.基于FL-ResNet50的皮肤镜图像分类方法[J].激光与光电子学进展,2020,57(18):232-240.

基金资助:安徽高校自然科学研究项目(KJ2019A0838);2022年度高等学校省级质量工程项目(2022sx128);

文章来源:朱镕,潘伟,史润发等.基于特征融合的新冠病毒感染肺部CT图像分类[J].西安文理学院学报(自然科学版),2024,27(01):1-7.