首页 > 论文范文 > 医药卫生论文 > 影像检验论文 > 影像研究论文 > 基于半月板MRI的深度学习研究进展

基于半月板MRI的深度学习研究进展

2023-09-22 119 上传者：管理员

摘要：半月板作为膝关节的重要组成部分，半月板退变或损伤在膝骨性关节炎发生发展过程中占据重要地位。MRI是目前检测半月板病变最重要的影像学方法，半月板病变的MRI检出和分级在临床实践中工作量较大且较繁杂，常因人的主观性造成判读结果的偏差。深度学习(DL)在医学图像的自动分析中已表现出巨大潜能且较多地应用于半月板病变及膝骨关节炎的诊疗中。本文就目前基于半月板MRI的DL研究进展进行总结，并探讨面临的挑战及今后的研究方向。

关键词：
分割
分类
半月板
深度学习
磁共振成像
加入收藏

从1997年到2017年，骨性关节炎(osteoarthritis, OA)在年龄标准化发病率(age standardized incidence rate, ASIR)上的全球年增长率为0.32% (95% CI:0.28～0.36),在28年期间增长率约9%[1]。在中国，OA的ASIR也呈现相似的增长趋势；并且，骨关节炎导致的残疾年数总数从1990年的0.84亿增加到2017年的1.97亿[2]。半月板撕裂可导致膝关节OA,同时半月板撕裂可加速OA的进展[3]。半月板主要由I型胶原纤维组成，由于这一结构特性，MRI是目前检测半月板病变最重要的影像学方法[4]。但是，由于患者数量逐年增大，以及放射科医师的主观诊断差异，人工诊断半月板损伤、分类常出现偏差。近年来，深度学习(deep learning, DL)被广泛应用于MRI图像的预处理和分析，如尿路[5]、颈椎[6]MR图像的自动分割等，以及半月板的分割和损伤分类，有望帮助放射科医师提升诊断的效率及准确率。与传统的机器学习(machine learning, ML)方法不同，ML需要从输入中手动提取特征，DL方法直接从数据中学习特征[7],并且DL在目标检测、图像分割等任务中表现出了优于传统机器学习的性能[8]。

半月板的解剖与损伤

正常膝关节半月板位于胫骨和股骨之间，分为内、外侧半月板，其主要功能为减少震荡、缓冲压力[3]。正常半月板在MR自旋回波(SE)和梯度回波(GRE)序列上均呈均一的低信号，在矢状面成像时，两侧半月板在关节的边缘层面上呈“蝴蝶结”状，临床上常根据内外侧将半月板进一步分为6个区。

在质子加权、T2加权序列上，半月板内出现信号增高影即为半月板损伤的可靠征象[9]。Peterfy等[10]最早提出了膝关节全器官磁共振成像评分(whole-organ magnetic resonance imaging score, WORMs),将半月板损伤分为5级(图1)。随后基于WORMs评分的改良版[如波士顿利兹骨关节炎膝关节评分(boston leeds osteoarthritis knee score, BLOKS)[11]、膝关节骨关节炎MRI评分(MRI osteoarthritis knee score, MOAK)[12]]已被广泛用于量化膝关节损伤程度。基于MRI量化评估半月板损伤对半月板治疗具有重要的指导意义[13],但人工评分耗时耗力且高度依赖于评估者的专业水平，而DL有望帮助放射科和临床医生快速、准确地对半月板损伤进行自动评估。

1、DL基本概念

1.DL概念和医学影像研究

DL是一类以多层神经网络为特征的机器学习算法，它能够自动提取数据特征，用于建立分析学习的神经网络，模仿人脑的机制分析数据[5,14]。DL研究的设计需要一个共同的模式，包括几个步骤：①制定一个临床问题；②选择合适的计算机视觉任务，并选择其适当的度量；③数据采集；④数据预处理；⑤软件框架和硬件平台选择，并对网络结构进行设计；⑥使用所选的度量标准在测试数据上验证结果[15]。

2.DL的经典算法

DL的经典算法包括卷积神经网络(convolutional neural network, CNN)和生成对抗网络(generative countermeasure network, GAN)。对于计算机视觉任务，CNN表现较为出色，被广泛应用于医学影像学中，用于分割、分类和检测任务[11]。CNN架构由卷积层、池化层、非线性层和全连接层组成[12]。卷积层是CNN的核心构件，其参数由一组可学习的过滤器组成。池化层作用是最小化网络中的参数和计算量，并控制过拟合。非线性层使用特定的非线性激活函数进行选择，仅允许部分特征能够被输出。全连接层可以整合卷积层或池化层中具有类别区分性的局部信息，充当分类器。

图1半月板损伤分级MRI。

a)0级，正常半月板；b)1级，轻微的半月板径向撕裂或鹦鹉喙撕裂（箭）；c)2级，半月板非移位性撕裂或既往手术修复（箭）；d)3级，半月板移位性撕裂或部分切除（箭）；e)4级，半月板完全浸渍/破坏或完全切除（箭）。

近年来，由Goodfellow等[16]提出的GAN也受到了广泛关注。GAN包含有两个模型，一个是生成模型(generative model, G),任务是生成与原始数据相似的实例；一个是判别模型(discriminative model, D),用于判断给定的实例是真实数据还是人为伪造的。在训练过程中，G用于生成真实的图片欺骗D,而D的目标是将G生成的图片与真实的图片进行区分。对于最后输出的结果，可以同时对两方的参数进行调优：若D判断正确，则需调整G的参数从而使得生成的假数据更为逼真；若D判断错误，则需调节D的参数，避免下次出现相似错误。这样，G和D构成了一个动态的博弈过程，直到达到纳什均衡[17]。

2、DL在半月板损伤评估中的应用

目前DL在半月板MRI图像的应用上取得了较大进展，主要表现在分割(表1)及分类(表2)方面。

1.半月板分割

半月板的精确分割是半月板损伤分类的重要基础。将半月板分为内、外侧是目前最常用的分割方式，最高Dice相似系数(dice similarity coefficient, DSC)分别为：内侧半月板(medial meniscus, MM)0.89、外侧半月板(lateral meniscus, LM)0.91[18]。Tack等[19]最早使用DL模型对半月板进行分割，将2D和3D卷积U-Net与统计形状模型(statistical shape models, SSM)结合分割半月板，内、外侧分割DSC系数分别为：MM 0.84、LM 0.89。但仅用2D U-Net卷积网络结构的DL模型半月板分割DSC较低[20]。随后，Byra等[21]应用迁移学习开发2D attention U-Net卷积神经网络，模型的DSC得分显著高于放射科医师的评分，模型的分割性能与人工分割准确度相似。基于CNN的分割模型的半月板分割结果与放射科医师相似，但这些基于CNN的方法无法完全区分半月板与膝关节中半月板以外的其他结构。而GAN可通过对局部ROI中的半月板进行分割，并对分割结果进行反复判断和改进，可以防止由于分割强度水平不均匀而导致的分割不足。如Gaj等[22]尝试采用cGAN对半月板内外侧进行分割，使分割性能得到了提升，特别是在决定分割的起始/结束切片方面，与手工分割更加一致，其学习方式与人类更加接近。最近Jeon等[23]提出了一个两阶段的深度卷积神经网络(deep convolutional neural network, DCNN),将基于2D U-Net的半月板定位网络与使用对象感知映射的条件生成对抗网络(conditional generative adversarial networks, cGAN)的分割网络相结合，提出的多类自动半月板定位方法可以有效避免局部区域的分类不平衡问题，基于目标感知地图的对抗学习方法可以通过反复判断和改进分割结果来防止分割不足。

除外了DL对半月板内、外侧的分割外，Zhou等[24]和Ölmez等[25]也基于CNN建立了整个半月板的分割模型，DSC最高达到0.89,但此整体分割模型对进一步诊断半月板损伤的意义较小。2021年，Astuto等[26]通过计算两个连续的V-Net进一步将半月板分割为4个角，这种分割方式对临床意义更大，但其分割精度较差，作者推测可能是由于半月板分为4个角的体积过小。

表1半月板DL分割模型

2.半月板损伤分类

目前大多数研究将半月板损伤进行二分类：撕裂/无撕裂[27,28,29,30,31,32,33,34,35],基于整块半月板的二分类已较成熟，最高ROC曲线下面积(area under curve, AUC)达到0.96[27]。Bien等[28]采用了斯坦福大学建立的膝关节数据库，开发了一种DL模型MR Net,是最早基于整块半月板进行损伤分类的模型，它利用AlexNet为每个2D图像的特征提取器。在内部验证测试集中对检测半月板撕裂的敏感度、特异度、准确度和AUC分别为0.71、0.74、0.73和0.85,与普通放射科医生相比，算法特异度较低(0.89)。在MR Net架构的基础上，Azcona等[29]用深度残差网络(如Resnet18,Resnet50和Resnet152)取代了AlexNet特征提取器，最终在验证数据上实现了0.908的AUC,高于MR Net模型性能。同样地，ELNet[30]将主干网AlexNet改为Resnet,多层标准化和模糊池操作的新颖集成使ELNet模型保持轻量级，易于在实际临床环境中训练和部署。MRPyrNet[31]使用特征金字塔网络和金字塔细节池来收集和捕获膝盖区域出现的小损伤，该模型被插入到MRNet和ELNet中，并实现了显著的性能改进。Dai等[32]提出TransMed用于多模态医学图像分类。与自然图像相比，多模态医学图像具有明确而重要的长期相关性，有效的多模态融合策略可以极大地提高深层模型的性能。TransMed结合了CNN和转换器的优点，可以有效地提取图像的低级特征，并在模型之间建立远程依赖关系，检测半月板撕裂的准确率和AUC值分别为0.85和0.95,较MRNet技术有所改进。类似地，陆莉霞等[33]、Qiu等[34]均融合半月板的低层次特征和复杂高层次特征建立模型，对半月板进行二分类，融合特征所获结果高于Bien等[28]所提出的模型(仅提取一种特征)。此外，为进一步对损伤进行精确定位，Tack等加入多层感知器，基于半月板的6个角进行二分类，每个角的AUC均达到0.90以上[35]。

半月板损伤的二分类模型无法满足临床实际需求，因此，许多学者进一步开发了半月板损伤的三分类模型。Pedoia等[36]采用2D U-Net将半月板分割为4个角(外侧前角、外侧后角、内侧前角、内侧后角),并使用3D CNN识别半月板是否损伤；同时，该研究结合WORMS评分进一步将半月板损伤分为正常、轻中度和重度三类，此分类方式更符合临床需求。Astuto等[26]训练3D V-Net架构，将膝关节分割得到4个半月板角，并根据4个角对MR图像的感兴趣区(region of interest, ROI)进行基于WORMS的分类标签：训练第一个模型对半月板进行正常或异常分类；第二个模型将样本分类为异常中的两个亚类(撕裂或浸渍),最终测得半月板正常、撕裂、浸渍的敏感度分别为0.85、0.74、0.85。另外，Rizk等[37]使用结合了半月板定位和病变分类的3D CNN架构，检测内侧和外侧半月板撕裂的AUC值分别为0.93和0.84,检测内侧和外侧半月板撕裂伴移位的AUC值分别为0.91和0.95。内侧和外侧半月板撕裂检测模型经过外部验证，微调后AUC值为0.89,较MRNet模型的性能高4.3%。

此外，为了对半月板损伤定位进行更准确的测量，法国放射学会组织了一项数据挑战，使用2018年10月期间对膝关节进行MRI检查的数据集来检测半月板撕裂，Roblot等[38]和Couteaux等[39]根据这项挑战，应用3D CNN开发的DL模型在诊断半月板撕裂的存在与否、撕裂的定位和方向方面具有良好的性能。

3、总结和展望

由于强大的学习能力、适应性好、数据驱动(上限高)以及在自动分析图像方面的优势，DL成为近年来的研究热点。许多学者建立了DL模型，对半月板MR图像进行自动分割、分类，性能与放射科医师准确度相似并且可节省大量时间。DL模型有望在将来成为医学中有帮助的决策支持工具。但DL在分析半月板MRI时仍存在许多挑战：①由于隐私保护和获取成本的原因，半月板MRI图像数据集规模不大，样本间不平衡，特别是半月板外侧损伤的病例；②注释工作量大且高度依赖评估者的专业水平，导致获得具有准确注释的MRI图像困难；③大多数DL模型都是黑盒，只有输入和输出是清楚的，良好的表现有时很难解释；④DL分析MRI图像时只能分析一种序列，还没有成熟的模型能够对多种序列同时进行学习。

表2半月板DL分类模型

综上所述，基于半月板MRI的DL已取得了一定进展，但从研究模型走向真正的临床应用仍需探索。本文对目前DL在膝关节MRI分析中面临的主要挑战进行了剖析，期待能提高DL模型性能并早日应用于临床。

参考文献：

[4]郭会利，张敏，李树新，等膝关节半月板及其损伤的MRI研究[J]实用放射学杂志，2003,19(6):527-530.

[5]奈日乐，林子楹，额:图娅，等基于深度学习探索3D MRU尿路分割的初步研究[J]放射学实践，2022,37(7):865-869.

[6]朱逸峰，赵凯，郭丽，等基于深度学习模型实现颈椎MR图像上各结构的自动分割[J]放射学实践，2021,36(12):1558-1562.

基金资助:南方医科大学第三附属医院院长基金面上项目(YM2021012)；

文章来源:蒋可欣,张晓东.基于半月板MRI的深度学习研究进展[J].放射学实践,2023,38(09):1222-1226.DOI:10.13609