首页 > 论文范文 > 医药卫生论文 > 影像检验论文 > 影像研究论文 > 基于改进卷积神经网络的膝关节图像分类研究

基于改进卷积神经网络的膝关节图像分类研究

2024-12-04 80 上传者：管理员

摘要：提取区域有效信息是膝关节磁共振成像(MRI)诊断的关键。为提取MRI图像有效细节特征，提出一种结合注意力机制和上采样融合的深度学习分类模型。首先，通过改进的通道注意力机制增强有用特征，抑制无关特征；然后，利用上采样连接机制改进特征金字塔网络，弥补上采样过程中高级特征的损失问题，并融合多尺度特征；最后，使用MRPyrNet中的细节池化模块对输出的特征图进行不同尺寸的细致分析，增强模型捕捉低级细节特征的能力。在MRNet数据集上的实验结果表明，与其他膝关节MRI图像分类方法相比，所提方法在综合性能方面更有优势。

关键词：
上采样
注意力机制
深度学习
磁共振成像
膝关节
加入收藏

膝关节是人体中最复杂的重要关节。常见的膝关节损伤类型有半月板(meniscus)软骨损伤，前交叉韧带(anterior cruciate ligament, ACL)撕裂。膝关节损伤后多表现为肿胀变形、行走困难，降低人们的生活质量，若不及时治疗，患骨关节炎风险增高。因此，早期的膝关节损伤检测具有重要价值，便于尽早干预、治疗。目前放射学图像的诊断和解释主要由医师通过肉眼观察完成，耗时费力还高度依赖医师的经验，并且富有经验的医师之间和内部的一致性只能达中等程度[1]。因此，如何利用图像分类算法辅助医生快速、准确地诊断具有重要的应用价值。

磁共振成像(magnetic resonance imaging, MRI)从冠状面(coronal)、矢状面(sagittal)、轴向面(axial)进行成像，成像模式丰富，且对软组织成像有较高的分辨率[2],充分采集图像信息，已成为无创性诊断膝关节损伤的标准方法[3]。传统图像特征提取方法包括梯度直方图、空间包络线、局部二值模式等，计算简单，采集图像的形状、纹理、颜色等基本特征[4],难以得到有效地表示全局特征。除此以外，MRI多平面、多维度[5]的基本特性限制了传统图像处理方法对MRI的应用。

随着深度学习的飞速发展，深度学习方法已广泛应用于图像分割、图像识别、目标检测等众多领域。深度学习网络能够自动学习特征，拟合复杂函数。Bien N等人[5]提出MRNet,利用AlexNet提取MRI图像特征，设计全连接(fully connected, FC)层得到膝关节损伤预测概率，最后用Logistic回归方法对每种诊断任务的冠状面、矢状面、轴向面组合预测。Irmakci I等人[6,7]仍使用MRNet的整体架构，采用更深的卷积神经网络(convolutional neural network, CNN)代替AlexNet,提取丰富的高级特征。Tsai C H等人[8]构建了高效分层网络(ELNet),结合多切片归一化和模糊池化等技术，提高半月板撕裂分类的精度。Dai Y等人[9]结合ResNet和Transformer分支，提取丰富的图像信息。以上方法利用深度学习网络的层层卷积扩大感受野，能够获取全局特征，但忽略了细节特征的作用。

由于膝关节病变处于小区域，故对细节特征的有效利用将对膝关节图像分类性能的提升有极大助益。特征金字塔网络(feature pyramid network, FPN)[10]能够融合不同尺度的特征图。MRPyrNet模块[11]增强小区域特征的表达。注意力机制挤压与激励(squeeze-and-excitation, SE)[12]增强有用模式特征。因此，为了有效利用MRI的细节特征，本文以MRNet为基础，提出一种结合特征金字塔、注意力思想的膝关节图像分类方法，以提高模型的分类精度。

1、研究方法

1.1整体结构

本文对AlexNet[13]各阶段提取的特征图采用ISE模块进行权重分配，并输入IMRPyrNet模块，对得到的多维切片特征使用最大池化(MaxPooling)和FC层，输出预测概率。图1所示为膝关节损伤分类模型，对输出的5个预测概率选择最大值作为最终的膝关节损伤预测概率。

图1膝关节损伤分类模型结构

本文使用的数据集包含异常、ACL撕裂、半月板撕裂3种损伤诊断任务，每种任务包含0(正常)、1(异常/撕裂)2个真实结果，每个任务包含冠状面、矢状面、轴向面3个平面数据，数据集内容将在2.1节详细介绍。针对本文，应构建异常、ACL撕裂、半月板撕裂共3个二分类模型。如图2所示，以异常诊断模型为例，输入3个平面数据分别训练不同模型，得到不同的预测结果，并通过Logistic回归模型组合为单个预测结果。

图2异常诊断组合预测结构

1.2 AlexNet

AlexNet由5层卷积(Conv)层、3层MaxPooling层、3层FC层组成。卷积层后添加线性整流函数(rectified linear unit, ReLU),促使网络具有非线性建模能力，避免反向传播(back propagation, BP)时梯度消失问题，其表达式是

f(x)=max(0,x) (1)

本文仅使用AlexNet的Conv层和MaxPooling层用于提取特征。输入图像的尺寸为224×224×3,AlexNet各层参数及输出尺寸如表1所示。由于下采样DownSampling前后的特征相差不大，本文只对MaxPooling1、MaxPooling2、Conv3、Conv4、MaxPooling3这5层特征图(对应图1中B1—B5)进一步处理。

由于数据集较小，本文采用迁移学习[14]方法，利用预训练的AlexNet参数初始化本文模型，训练时微调各层参数。

表1本文AlexNet各层参数及输出尺寸

1.3 ISE模块

SE网络(SENet)[12]中的SE模块能对特征图通道间的依赖关系进行建模，自适应突出或抑制通道特征。标准SE模块仅采用全局平均池化(AvgPooling)方法压缩特征图。实际上，MRI影像中半月板撕裂的信号表现平衡，ACL撕裂表现高信号。为了保留不同特征，本文提出改进的通道注意力模块ISE,如图3所示，同时使用了MaxPooling和平均池化方法。

图3 ISE模块结构

ISE模块先对输入特征图X∈RW×H×C分别采取MaxPooling和AvgPooling方法将二维空间特征图压缩为一维数据。接着通过FC层执行激励操作。第一层FC层将通道数降为C/r,r为降维比，第二层FC层将通道恢复，此处的2个FC层形成的瓶颈结构，能够提高模型的泛化能力，减少参数量。随后将两种特征值相加并利用Sigmoid激活函数学习通道间的非线性联系，得到各通的权重，输出注意图Fatt∈R1×1×C。具体计算如下

其中，式(2)为Sigmoid激活函数；式(3)中，δ为ReLU激活函数。

最后，将注意图Fatt与输入X相乘，重新标定特征图。

注意力加权是对原始特征图乘以0～1之间的数字，会导致标定后特征图的所有响应较原特征图低，故本文将ISE模块以分支结构加入网络中，不仅不丢失原始特征，还能自适应激励重要特征，加强对有效信息的提取。

1.4 IMRPyrNet模块

MRPyrNet主要包括特征金字塔和金字塔细节池化(pyramidal detail pooling, PDP)模块两部分。其中，FPN中的上采样过程会导致深层特征信息被逐渐稀释，为克服此缺陷，受残差结构[15]中跳跃连接的启发，本文设计了上采样连接。考虑到跨度较大的深浅层特征之间存在语义鸿沟，本文设计的UpSampling连接只跨越上采样结构中的一个阶段，图4所示为本文改进的IMRPyrNet。

图4 IMRPyrNet模块结构

图4中，B′1—B′5为1.3节重新标定的特征图，标示Conv1×1+ReLU的箭头称为横向连接。UpSampling过程中，先采用双线性插值法将深层的小尺寸、低分辨率特征图上采样为大尺寸、高分辨率特征图，再用3×3的Conv核和ReLU激活函数改变特征图通道数，以匹配浅层特征图，最后用3×3 Conv核处理上采样造成的混叠效应。横向连接将下采样特征图传递过来，以相加的方式与UpSampling特征图融合。UpSampling连接机制将UpSampling特征图跨层传输到浅层并融合。以F4和F3的计算过程为例

F4=δ(f3×3(δ(f3×3(Upsample(F5)))))+B′4(4)

F3=δ(f3×3(δ(f3×3(Upsample(F4)))))+δ(f3×3(δ(f3×3(Upsample(F5)))))+B′3(5)

其中，f3×3为3×3的Conv核，δ为ReLU激活函数。

PDP模块将特征图裁剪成多个子区域，对每个子区域二维特征图采用自适应全局平均池化方法降维成单个数据。最后，将这些数据沿通道维度采取concat融合，用多个细节层次的特征扩充通道特征，加强对细节特征的提取。

1.5损失函数

本文研究的是图像二分类问题，使用加权二元交叉熵损失函数，计算公式如下

式中N为批次大小，本文每个MRI样本中有不同数量的切片，所以只能设置批次大小为1。wi为权重，yi为真实标签，pi为预测概率。

2、实验结果与分析

2.1数据集与实验设置

本文采用膝关节MRI图像数据集MRNet[5],共包含1 104例异常、319例ACL撕裂、508例半月板撕裂，其中194例同时发生ACL撕裂和半月板撕裂。每个样本包含矢状面(T2加权序列)、冠状面(T1加权序列)和轴向面(PD加权序列)的图像序列。由于原始测试集未公布，因此本文以9︰1的比例分层随机抽样，将训练集划分为训练集、验证集，原验证集作为测试集。划分后训练集有1 017个样本，验证集有113个样本，测试集有120个样本。

由于深度学习网络是数据驱动型方法，而医学图像数据集都较小，因此本文采取图像预处理和在线数据增强。预处理方法采用Z值归一化，降低几何变换的影响。数据增强方法包含：水平、垂直移动25像素，旋转25°,水平翻转，几种方法概率均为50 %。

实验在Ubuntu16.04的Linux系统上进行。使用的CPU为AMD1950X,GPU为NVIDIA TITAN-V。深度学习框架采用Pytorch。优化器经实验对比选取Adam。初始学习率经调试设置为1×10-5,权重衰减设置为0.01。模型训练轮数为40。PDP模块的子区域数设置为5。

2.2评价指标

采用3种评价指标：准确率(Accuracy, ACC)、召回率(Recall)、ROC曲线下面积(AUC)评估本文模型的效果。Accuracy表示正确预测样本数占总样本数的比例；Recall表示正确预测为阳性的样本数占阳性样本总数的比例。AUC=0.5,表示随机预测，AUC越接近1,说明模型分类性能越好

其中，TP为正确预测为阳性，FP为错误预测为阳性，TN为正确预测为阴性，FN为错误预测为阴性。

2.3消融实验

为验证MRPyrNet模块的效果，在MRNet数据集上进行对比实验，以MRNet为基准模型，称MRNet+MRPyrNet的模型为MM,实验结果如表2所示。可看出，与MRNet相比，MRPyrNet模块的加入提高了模型的各项指标，说明MRPyrNet模块融合多尺度特征并增强区域特征对膝关节MRI图像的分类任务有利。

表2 MRPyrNet实验分析结果

为验证提出的ISE模块和IMRPyrNet的有效性，在MRNet数据集上进行消融实验。由于MM模型已改变模型的整体结构，因此实验将以MM为基线模型，结果如表3所示。MM-SE代表MM+SE模型，MM-ISE代表MM+ISE模型，MM-UC代表MRNet+IMRPyrNet模型。

表3改进模块的消融实验

由表3可知，加入SE模块能够提高模型的准确率，而加入改进的SE模块后模型有更优表现，说明本文提出的ISE模块能够增强更多有效特征。MM-UC模型与MM模型相比，提升了模型的各项性能指标，说明本文设计的上采样连接能够减少特征稀释。最后，本文模型性能优于MM-UC和MM-ISE,说明IMRPyrNet和ISE模块都重要，能够融合深层、浅层特征图并弥补信息丢失，提取区域有效特征和全局特征。

2.4与其他算法对比分析

为了更好地说明本文模型的有效性，与其他分类算法进行对比，如表4所示。表4中的“(b)”表示其作为backbone取代MRNet模型中的AlexNet。由表4可知，本文模型对异常任务的Recall和AUC分别为0.990和0.971,对ACL撕裂任务的Recall和AUC分别为0.926和0.960,对半月板撕裂任务的Recall和AUC为0.904和0.874。总体上，本文模型的Recall和AUC均超过0.87。

表4 MRNet数据集上不同算法性能对比

实际生活中，用于医疗辅助诊断的算法只给医生提供参考，最终诊断结果由医生决断。因此，相比于AUC指标，Recall实则更为重要，Recall越高，漏诊率越低，对患者和医生都极具价值。表4结果表明，在异常、ACL撕裂任务上，本文模型指标均超过其他模型。而对于半月板撕裂任务，本文模型的AUC比ELNet低0.03,但Recall比ELNet高0.044。总体来说，本文模型在AUC上获得了令人满意的结果，在Recall上取得最好效果，表明本文模型能够为医生提供有效的诊断参考。

图5展示不同模型的平均指标，可看出，本文模型在异常、ACL撕裂、半月板撕裂3个诊断任务上平均召回率(Average recall)、平均AUC均取得最优结果。结合表4和图5结果可知，本文模型在综合性能方面优于其他网络模型。

图5不同模型的平均指标

3、结论

本文在MRNet的基础上加入ISE模块和IMRPyrNet模块，构建膝关节MRI图像分类模型。通过ISE模块产生自适应力更强的注意权重，从而更加突出图像的有效特征。通过IMRPyrNet模块，一方面减少高级语义信息的稀释，使得低级特征能够得到更多高级语义信息的指导；另一方面充分提取图像的细节特征和抽象特征，以提高模型的分类精度。实验结果表明，与其他算法相比，本文方法在综合性能上表现更好，证明本文算法的可行性和有效性。

参考文献:

[2]汤志杰,严涛.磁共振成像检查对膝关节损伤的诊断效果[J].临床医学研究与实践,2021,6(15):128-130.

[4]彭玉青,刘宪姿,袁宏涛,等.用于场景识别的多尺度注意力网络[J].传感器与微系统,2021,40(7):43-47.

[14]光金正,梁鉴如,刘义生.基于改进EfficientNet的植物图像分类算法[J].传感器与微系统,2022,41(8):136-139.

基金资助:国家自然科学基金资助项目(61976091);

文章来源:李志敏,邹俊忠,张见,等.基于改进卷积神经网络的膝关节图像分类研究[J].传感器与微系统,2024,43(12):49-53.