摘要:目的:基于人工智能深度学习,比较Mask-RCNN不同层数的ResNet模型在成釉细胞瘤CT图像检测中的效能。方法:回顾性收集2018年4月~2020年8月福建医科大学附属第一医院成釉细胞瘤患者的CT影像数据,按照标准将79名患者纳入研究。经过预处理后,共得到3566张图像,按照8∶1∶1的比例将其随机分为训练集、验证集以及测试集。采用ResNet-18、ResNet-50和ResNet-101模型进行训练,实现肿瘤的自动检测并通过Dice系数、平均精确度AP及检测时间等评价指标进行分析。结果:与ResNet-18及ResNet-50相比,ResNet-101模型自动检测的效果最好,其Dice系数为0.87,平均精确度AP(IOU 0.50∶0.95)为0.74。但该模型所需的检测时间最长,需要0.33 s。结论:不同层数的Mask-RCNN模型均可较好地实现对成釉细胞瘤的自动检测诊断,其中ResNet-101检测效果最好,但相应地需要更长的时间。
加入收藏
成釉细胞瘤(ameloblastoma, AME)是口腔颌面部牙源性上皮性肿瘤中最常见的一种,占牙源性肿瘤的60%[1],发病率约为每年0.0092‱[2]。尽管成釉细胞瘤被归为良性肿瘤,但其可表现出多种恶性生物学行为,包括囊状扩张、侵袭性生长、恶变复发等,因此常被归为“交界瘤”的范畴[3]。有研究表明约70%的病例可发生恶性转移,转移率为2%[4]。因此成釉细胞瘤的手术方式与其他牙源性良性肿瘤有所差异,一般采取手术根治性切除[5],而重症者常需皮瓣修复。影像学上成釉细胞瘤和其他颌骨良性肿瘤常常难以鉴别[6],因此在术前对成釉细胞瘤进行准确诊断具有重要的临床意义。随着人工智能的快速发展,近年来深度学习在医学领域取得显著进展,图像检测分割算法日趋成熟[7]。众所周知深度学习模型的性能与其深度和层数息息相关,但关于不同层数的模型在成釉细胞瘤的自动检测性能上是否存在差异,目前尚缺乏相关研究。且以往的研究主要集中在水平向,对于矢状向和冠状向的研究基本为空白。因此本文旨在通过成釉细胞瘤的CT图像,比较ResNet-18、ResNet-50和ResNet-101三种不同层数的Mask-RCNN模型的自动检测效能。
1、对象与方法
1.1 研究对象
回顾性收集2011~2022年于福建医科大学附属第一医院口腔医学中心收治的病理证实为成釉细胞瘤的79例患者的CT资料。本研究包括50例男性患和29例女性患者,年龄范围为13~75岁,平均年龄为35.8岁。患者构成比详见表1。仅纳入术前CT片,未纳入术后CT片。纳入标准:(1)完整的临床病历记录;(2)术后组织学病理证实为成釉细胞瘤;(3)原发性成釉细胞瘤;(4)影像清晰,无伪影。排除标准:(1)复发性成釉细胞瘤;(2)图像质量差,有伪影;(3)基底细胞痣综合征。本研究已通过福建医科大学附属第一医院伦理委员会的批准(批准号:MTCA,ECFAH of FMU[2015]084-2)。
表1 成釉细胞瘤患者构成比
1.2 仪器与方法
所有病例CT 图像均由东芝(Aquilion ISX-101A )CT 设备采集。扫描参数为管电压120 kV, 管电流40 mV,脉冲扫描时间2.9 s, 扫描层厚5 mm。回顾性收集这些患者的术前CT资料,从影像存储和通信系统(Picture Archiving and Communication System, PACS)读取原始图像数据,所有数据均以DICOM格式存储于移动硬盘中。
1.3 数据预处理
深度学习前,笔者将对图像进行预处理。将患者的DICOM数据导入开源软件3D Slicer中,并在3个维度上进行演示。然后由口腔颌面外科医生应用Snipaste软件将每张图像剪裁成像素为512×512的图像。每张图像均应包括肿瘤的成像特征,如皮质骨的膨胀及多房囊性病变等[8]。最终我们得到3566张三维方向 的图像,裁剪后的图像以JPG格式存储。为了使不同的指标具有可比性,将裁剪后的图像导入Ahis软件进行线性 归一化处理。然后将归一化后的图像导入Labelme软件,利用软件的标注功能对成釉细胞瘤的病灶边缘进行手动勾画,选取感兴趣的区域。全部标注过程由一名有5年临床经验 的口腔颌面外科医生及一名影像专业的医生完成,由另外一名高年资口腔颌面外科医生校正。在不同视图中勾画成釉细胞瘤的情况如图1所示。最后将处理过的图像按8∶1∶1的比例随机分为训练集(2854张图片)、验证集(356张图片)和测试集(356张图片)。
1.4 模型训练
本文实验环境采用TensorFlow和keras深度学习框架,实验语言为Python3.7。首先使用训练集对不同层数的Mask-RCNN模型进行训练,并使用验证集调整参数和选择模型,最后使用测试集评估不同模型的效能。
Mask-RCNN是基于Faster-RCNN改进得到的实例分割网络模型,它由几个主要部分构成。包括骨干ResNet网络模型、区域提取网络(region proposal network, RPN)、特征金字塔网络(feature pyramid networks, FPN)、实例分割网络和目标框回归网络。Mask-RCNN模型结构见图2。ResNet和FPN构成核心网络,用于特征的提取和融合。RPN网络用于生成感兴趣区域(region of interest, ROI),而Fast-RCNN则负责分类和回归任务。ResNet网络模型通过引入了残差模块(residual building block),解决了训练过程中梯度消失和爆炸的问题[9]。残差模块有两种设计方式,一种为针对较浅的网络模型,如ResNet-18和ResNet-34;另一种则针对较深的网络模型,如ResNet-50、ResNet-101和ResNet-152。目前常用的是 ResNet-18、ResNet-50及ResNet-101。
处理后的图像输入不同层数的ResNet网络模型进行迭代训练,优化参数。初始迭代epoch设置为100,学习率设置为0.005。
1.5 结果评估方法
本研究采用医学图像检测分割领域广泛使用的4种评价指标对结果进行评价。(1)Dice系数:即重叠比较法,评估两个样本的相似程度,常用于目标检测和图像分割。Dice系数=(2×TP)/(2×TP+FP+FN)。其中,TP、FN 和FP 分别代表真阳性、假阴性及假阳性的数量。取值范围为[0~1]。Dice系数越接近1,模型检测分割效果越好。(2)PR曲线(Precision-Recall曲线):PR曲线是以召回率(Recall)为横坐标,精确率(Precision)为纵坐标的二维曲线。其中精确率=TP/(TP+FP)×100%,召回率=TP/(TP+FN)×100%。曲线越凸向右上方,模型检测分割效果越好。(3)平均精确度(average precision, AP):P-R曲线下的面积,取值范围为[0~1]。AP值越接近1,模型检测分割效果越好。其中交并比(intersection over union, IOU)衡量的是预测的边界框和标注的边界框间的重叠程度。IOU=重叠部分的面积/二者总面积(重叠部分只计算一次)。当IOU大于0.5时可认为已成功检测目标[10]。(4)检测时间。
图1 在不同视图中勾画成釉细胞瘤
图2 基于Mask-RCNN模型结构的流程图
2、结果
图3展示了训练集的平均精确度AP(IOU 0.50∶0.95)随着迭代次数的变化情况。当epoch为20时,AP已经达到比较好的程度,证明损失函数设置的优越性,能够使模型快速收敛。
不同层数的Mask-RCNN模型对测试集的成釉细胞瘤检测分割结果比较见表2。ResNet-18、ResNet-50和ResNet-101的Dice系数分别为0.74、0.86和0.87,其中ResNet-101的Dice系数最高。从图4可以观察到PR曲线均凸向右上角,其中ResNet-101的曲线最凸向右上角,表明其检测分割效果最好。相同的IOU,ResNet-101 AP值最大。同一模型的AP值,除了ResNet-18 AP(IOU 0.75)<AP(IOU 0.5∶0.95)外,其余 AP(IOU 0.5)>AP(IOU 0.75)>AP(IOU 0.5∶0.95)。根据Dice系数、PR曲线及AP值综合考虑,ResNet-101模型相比于ResNet-18及ResNet-50自动检测分割的效果最好,ResNet-50次之,ResNet-18最差。
图3 训练集的平均精确度
3、讨论
Litjens等[11]对308篇论文进行回顾性研究,发现在医学图像分析的各个领域中,深度学习已广泛应用,包括脑部、视网膜、胸部、乳腺、腹部、心脏、骨骼肌肉、显微镜及数字病理学等。有研究结果表明,基于深度学习的模型及算法在准确性、灵敏度和特异性等方面均优于临床外科医生及口腔放射专业医生,可为临床诊断提供帮助[12,13,14]。因此基于深度学习构建医学图像分割模型、可快速准确地标注目标区域,尤其对于缺乏经验的医生 而言,具有重要的临床价值。
表2 不同层数的Mask-RCNN模型对测试集的成釉细胞瘤检测结果
图4 PR曲线
目前深度学习在成釉细胞瘤诊断中的研究较少,而且还没有关于分割深度对分割效果及时间等效能影响的相关研究。且许多研究者对于深度学习成釉细胞瘤的诊断多基于曲面体层片进行研究[13,15,16,17,18]。曲面体层片因辐射量相对较小,并且能观察到牙齿的解剖情况、牙周情况、囊肿及肿瘤等病变,在口腔科的日常工作及疾病的初筛中得到广泛运用。然而因为曲面体层片是二维重叠的图像,存在一定的局限性。相较于曲面体层片,尽管CT的辐射剂量较大,但它可进行三维重建,从多个角度和方位展示病变,可获取更多有价值的影像信息[19]。日本学者Ariji等[20]的研究表明,应用CT图像诊断成釉细胞瘤可获得更高的准确率。而且即使对于经验丰富的医生来说,基于曲面体层片的成釉细胞瘤的鉴别及鉴别诊断也可能很困难[17]。目前基于CT进行深度学习诊断成釉细胞瘤的研究基本为空白,本研究利用CT资料,比较不同层数的模型对成釉细胞瘤自动检测效能的影响,填补了该领域的空白,对成釉细胞瘤的诊断具有重要意义。
本研究结果显示ResNet-18、ResNet-50和ResNet-101三种不同层数的Mask-RCNN模型的Dice系数分别为0.74、0.86和0.87。Abdolali等[21]基于锥形束CT进行颌骨囊肿的自动分割,不同囊肿的平均Dice系数为0.8~0.87。此结果与本研究结果相近。一般认为当Dice系数大于0.7时,表明自动分割和手动分割的重叠范围大,分割效果好[22]。本文3种模型的Dice系数均大于0.7,均有较好的分割效果。Kwon等[17]基于曲面体层片及YOLOv3模型的研究中,不同囊肿的AP(IOU 0.5)为0.88±0.04,其中成釉细胞瘤的AP(IOU 0.5)为0.88。本实验中ResNet-18、ResNet-50和ResNet-101的AP(IOU 0.5)分别为0.71、0.91及0.92。该实验结果也与本研究结果相近。从实验结果不难得出,ResNet-18、ResNet-50和ResNet-101三种不同层数的Mask-RCNN模型均有较好的检测分割效果,其中ResNet-101模型图像检测分割效果最佳。这可能与其模型的深度最深有一定的相关性。较深的模型具有更强大的特征提取能力,可以更好地捕捉成釉细胞瘤的图像特征以提高检测分割性能。
ResNet-18、ResNet-50和ResNet-101三种不同层数的Mask-RCNN模型检测时间分别为0.11 s、0.25 s及0.33 s。但ResNet-101模型与其他层数的模型相比,需要更长的检测时间。这可能是由于ResNet-101模型具有更深的网络结构和更多的参数,导致计算的复杂度增加,进而增加了检测时间。
经典的CNN算法包括LeNet-5、AlexNeT、VGG-16、YOLO、RetinaNet、Mask-RCNN及GoogLeNet等。杨宇[23]运用YOLOV3、RetinaNet、Mask-RCNN三种典型的目标检测算法进行肺炎检测研究,并对它们的分类准确率和回归精度进行比较,最终得出了Mask-RCNN算法检测效果最佳的结论。且Mask-RCNN模型属于实例分割网络,不同于语义分割网络只能区别分割出不同类别的物体,它还能进一步分割出同一个类中的不同实例物体。基于迁移学习[24]、FPN网络及ResNet骨干网络的Mask-RCNN模型具有强大的特征提取能力和出色的模型性能,可提高小样本数据集诊断的准确性和鲁棒性[25]。尽管Mask-RCNN模型在训练数据充足的情况下可以获得较好的检测分割结果,但仍可能存在分割不准确的情况。特别是在面对复杂或模糊的成釉细胞瘤图像时,诊断难度会加大。例如当肿瘤大面积破坏颌骨骨皮质,造成颌骨结构不连续或者当囊肿位于上颌骨,病变与其他解剖结构之间存在重叠时,诊断难度将大大增加。这种情况下,无论是口腔颌面外科专家还是人工智能都无法准确地分辨出肿瘤的边界。
本研究也存在局限性。首先它属于回顾性研究,缺乏前瞻性。其次在临床中,疾病的准确诊断除了根据影像学的检查,还需要结合病史及临床检查等信息。然而本文并未考虑这些因素。最后由于本研究的影像资料均来自同一单位相同型号的设备,缺乏多中心的外部数据对模型进行验证。在今后的研究中可以结合多中心的数据进行外推验证。
综上所述,基于CT及不同层数的Mask-RCNN模型所构建的模型在成釉细胞瘤术前诊断中具有较高的诊断价值,可用于辅助诊断成釉细胞瘤并指导手术方案的制定及预后评估。在实际应用中,可根据具体需求和资源限制综合考虑和选择合适层数的Mask-RCNN模型来平衡分割效果和检测时间。
参考文献:
[1]罗号,袁壮,吴开柳,等.92例上颌骨成釉细胞瘤不同手术方式的效果评价[J].上海口腔医学,2022,31(1):71-74.
[6]聂根定,梁燕,王立冬,等.CBCT影像组学在颌骨成釉细胞瘤术前诊断中的应用研究[J].口腔医学研究,2023,39(3):211-216.
[7]田娟秀,刘国才,谷珊珊,等.医学图像分析深度学习方法研究与挑战[J].自动化学报,2018,44(3):401-424.
[8]张祖燕.口腔颌面医学影像诊断学[M].第7版.北京人民卫生出版社,2020:97-98.
[13]李敏,慕创创,张建运,等.深度学习在基于曲面体层片的成釉细胞瘤及牙源性角化囊肿鉴别诊断中的应用[J].中国医学科学院学报,2023,45(2):273-279.
[19]田涛.成釉细胞瘤X线及CT对比分析[C]//中华口腔医学会口腔颌面放射专业委员会.2020年中华口腔医学会口腔颌面放射专业委员会第十八次全国口腔颌面医学影像学专题研讨会论文汇编.2020:31.
[23]杨宇.基于深度学习的肺炎检测算法研究与应用[D].贵州大学,2023.
基金资助:福建省教育厅中青年教师教育科研项目(编号:JAT200161);
文章来源:赖丹琳,许亮,倪涧钊等.不同层数的Mask-RCNN模型自动检测成釉细胞瘤效能的比较[J].口腔医学研究,2023,39(12):1092-1096.
分享:
随着显微外科技术的发展,血管化软组织瓣已经成为口腔癌术后颌面部软组织缺损主要的修复手段。现阶段比较常用的有股前外侧肌皮瓣及前臂皮瓣等。其虽然可以满足绝大部分患者的需求,但也存在一些不足,如游离前臂皮瓣的制备需要牺牲一根前臂的主要血管,这不仅增加了手术复杂性,还导致前臂供区留下明显的手术瘢痕。
2025-08-23口腔颌面部肿瘤作为威胁人类生命健康的重大疾病之一,其发病率近年来呈现出逐年上升的趋势,已成为全球范围内不容忽视的公共卫生问题[1-2]。这类肿瘤不仅种类繁多,涵盖良性肿瘤、恶性肿瘤以及介于两者之间的交界性肿瘤[3],而且由于其特殊的解剖位置——口腔颌面部,毗邻重要器官和神经血管[4-5],使得肿瘤的治疗面临着诸多挑战。
2025-07-24口腔鳞状细胞癌(oralsquamouscellcarcinoma,OSCC)是口腔中最常见的恶性肿瘤之一,约占口腔肿瘤总数的90%,严重影响患者的生活质量。近年来,OSCC发病率呈现逐步上升趋势。有文献报道,由于个体治疗反应性低、耐药以及未能早期诊断等原因,OSCC患者五年生存率低于50%。
2025-06-04近年来,口腔癌在中国的发病率呈上升趋势并且成为重要的公共卫生问题[2]。口腔癌最常见的病理分类是鳞状细胞癌,占口腔恶性肿瘤的90%[3]。口腔鳞状细胞癌(oralsquamouscellcarcinoma,OSCC)的局部浸润性和侵袭性较强,患者预后较差,5年生存率在50%左右[4⁃5]。
2025-05-07口腔癌是头颈部最常见的恶性肿瘤之一,尽管近年来的诊断和治疗策略不断进步,但口腔癌患者的总体存活率并没有大幅提高,尤其是晚期患者。原发病灶扩大切除联合颈部淋巴结清扫术是治疗口腔癌的主要手术方法,不仅实现了疾病的区域控制,而且通过对颈部淋巴结清扫术中摘取的淋巴结进行病理评估可获得大量信息。
2025-04-17Warthin瘤(Warthintumor,WT)与基底细胞腺瘤(basalcelladenoma,BCA)均是发生于涎腺的常见良性肿瘤,BCA约有4%的恶变率[1],手术时需扩大切除区[2],而WT几乎无恶变性,只需挖除病灶[3]。两者在常规超声及彩色多普勒超声检查中具有很多相同处,很难区分[4],而超声造影(contrast-enhancedultra-sound,CEUS)基于血管的微循环灌注。
2025-03-14舌前腺发生的恶性肿瘤以腺样囊性癌(adenoidcysticcarcinoma,ACC)和黏液表皮样癌(mucoepidermoidcarcinoma,MEC)为主[3,4]。其生物学行为通常是隐匿性而难以察觉,患者往往无症状或仅表现轻微症状,就诊时已形成明显的肿块。
2025-02-26颊部组织松弛度在张口运动中发挥重要作用,颊部恶性肿瘤切除后因缺损范围大常难以直接缝合,且合并手术切口周围瘢痕挛缩导致术后张口受限,因此颊癌术后组织缺损常需要组织瓣来修复缺损以恢复功能。前臂皮瓣因厚度适中,是目前颊部缺损常选用的皮瓣[1]。
2025-02-20目前,ACC的主要治疗方法为手术切除、放疗和化疗等,对于不能手术的肿瘤或者无法切除的复发病例,化疗是主要的治疗手段。化疗耐药性是癌症治疗中的一个重要挑战,尤其是对于像ACC这样的恶性肿瘤。多次化疗出现耐药性可能由于多种机制,包括化疗药物可能为同一种或同一类药物,容易出现耐药性,影响化疗效果,因此减少患者的耐药性是保证化疗效果的关键[1]。
2025-01-14口腔癌是较常见的头颈部恶性肿瘤之一,在全身常见恶性肿瘤中排名第九,其中舌癌占比最大,约占1/3,且以鳞状细胞癌居多。因舌是承担咀嚼功能和发音的重要器官,血液循环和淋巴系统较为丰富,且鳞状细胞癌属于上皮源性肿瘤,侵袭性较强,故舌鳞状细胞癌(TSCC)有颈部淋巴结易转移和预后较差等特征。
2025-01-06人气:19344
人气:18561
人气:18019
人气:17258
人气:16723
我要评论
期刊名称:口腔医学
期刊人气:3551
主管单位:南京医科大学
主办单位:南京医科大学口腔医学院
出版地方:江苏
专业分类:医学
国际刊号:1003-9872
国内刊号:32-1255/R
邮发代号:28-78
创刊时间:1981年
发行周期:月刊
期刊开本:大16开
见刊时间:10-12个月
影响因子:0.940
影响因子:0.980
影响因子:0.786
影响因子:0.800
影响因子:0.857
您的论文已提交,我们会尽快联系您,请耐心等待!
你的密码已发送到您的邮箱,请查看!