摘要:目的 基于深度学习的方法建立腕关节直接数字平板X线成像系统(DR)自动质控模型生成系统,并对质控性能进行初步研究。方法 采用人工智能深度学习的方法建立腕关节正位和侧位DR图像质控系统模型,回顾性收集重庆大学附属中心医院临床怀疑腕关节病变的1 315张图像,按6︰4的比例划分训练集和验证集。在MobileNet V2分类模型和Global Universal U-Net(GU2Net)关键点检测模型上进行训练,然后分别使用模型准确率、精准度、召回率和曲线下面积(AUC),以及平均径向误差(MRE)和成功检出率(SDR)进行评估。结果 根据验证数据集的实验所得到的伪影分类模型在伪影识别方面具有较高的性能,AUC=0.970 1,95%可信区间(95%CI)0.970 0~0.970 3,其准确率、精准度、召回率分别为0.93、0.88和0.97。正位和侧位影像中关键点检测模型的MRE也在合理水平,分别达到(0.794 4±3.253 5)mm和(3.813 4±7.408 7)mm。距离10.0 mm下正位和侧位关键点检测模型的SDR分别为99.64%、92.51%。结论 基于深度卷积神经网络开发的全自动腕关节DR质控系统模型,能够对腕关节正位和侧位片自动生成图像质量控制报告,且效果较好。
腕关节是生活和工作中使用频率较高的关节之一,同时又是人体解剖结构最复杂的关节,容易发生骨折、脱位、撞击综合征、骨肿瘤、关节炎性病变及肌腱和韧带损伤等疾病,严重影响患者生活自理、学习工作和运动健身等能力[1]。影像学检查是医学检查的重要组成部分,为临床疾病诊断、病灶的定位及定性、临床治疗方案的选择、疾病的分期及预后等提供了重要依据[2]。随着X线摄影技术的发展与普及,越来越多的医疗机构引进了直接数字平板X线成像系统(DR)设备,且广泛地应用于各个医疗机构的多种业务场景[3]。X线摄影简便、快捷、经济、实用的优势日渐突出,成为腕关节常见疾病检查的优先选择。但因检查设备、操作技师、患者自身及疾病等因素的差异,数据的质量存在较大差异,数据呈现波动特征,随时间和特定事件变化,建立有效的图像质量评价机制对于临床医学图像处理技术具有重大的应用价值[4]。
在图像评价领域,国内影像科还停留在人工参考层面的主观评价(视觉评价),存在效率低、易遗漏、主观性太强、方式落后等弊端,不能有效、快速、全面、可持续性地提高图像质控水平,不能推动影像质控的发展。因此,本研究拟提出具有辅助拍片功能的智能质控系统,对于医疗影像质量的评价和医疗诊断质量的提高均具有重要意义,同时对综合性医院及基层医院影像质控的规范及发展起着至关重要的推动作用。
随着人工智能技术的发展,近年来,深度学习在计算机视觉、语音识别、自然语言处理、音频识别与生物信息学等领域取得了突破性研究进展[5]。本研究中,作者提出了一种全自动的腕关节DR质控系统,该系统以DICOM格式的图像文件作为输入,通过1个分类模型和2个关键点检测模型及其他功能计算函数后,输出多个定量和定性的质控评估结果。分类模型和关键点检测模型都是基于卷积神经网络[6,7]。完成系统构建后,作者将其对实际影像实例的质控结果与来自专业放射科医生的质控结果进行了对比。
1、资料与方法
1.1 一般资料
回顾性纳入2013年9月25日至2018年2月10日接受腕关节正位和侧位片检查的1 315张图像,其中包括695张正位片和620张侧位片。该数据集中包含343张具有异物伪影的正位图像,52张无异物伪影的正位图像;234张具有异物伪影的侧位图像,386张无异物伪影的侧位图像。将该数据集以6︰4的比例划分为2组:训练集和验证集,分别用于伪影分类模型和腕关节关键点检测模型,其中正、侧位模型的训练集、验证集分别为417、278张和372、248张。图像的采集设备为DR(uDR 556i型,上海联影医疗科技有限公司;1000-X3型,北京万东医疗科技股份有限公司)。本研究获得重庆大学附属中心医院伦理委员会批准[批准文号:2023年伦审第(20)号]。
4名影像科医生使用Labelme软件(版本5.3.1,https: //github.com/wkentaro/labelme)对数据集进行手工标注,本研究中使用的所有数据均是对个人敏感信息过滤处理后的纯医学影像数据[8],每张图像都进行了伪影分类标注和关键点标注。每名放射科医生承担1/4的标注数量,然后检查和修正其他3人的标注以让数据集保持同一标注尺度和规则。正、侧位图像中所定义的关键点具体见图1A、B。
图1 膝关节DR正位与侧位视图中的具体标志及测量 参数示意图
1.2 方法
1.2.1 质控评价标准
参考《重庆市数字医学影像服务检查互认项目质控规范》,本标准包括4个部分:对基本检查信息的评价、对检查体位的评价、对异物伪影的评价、对图像显示与布局的评价。基本检查信息评价任务项包括受检者是否包含影像号、姓名、性别、出生日期、年龄;检查是否包含检查日期、检查时间;检查设备是否包含执行医院名称、设备生产商、设备型号、软件版本号;执行参数是否包含管电压、源到探测器距离、曝光时间;图像显示参数是否包含放大标尺、窗宽、窗位。
检查体位的评价是通过识别图像是否包含完整、准确、无遮挡的左(L)或右(R)标识符号来完成的,结果也是“是”或“否”。异物伪影的评价使用伪影分类模型完成,结果为“是”或“否”。对图像显示与布局的评价需要基于关键点检测模型来完成。通过对模型所获取的关键点坐标与图像尺寸大小的综合计算,逐一判断表1中的8项任务是否合格,以确定图像是否符合质控评价要求,这些具体定义的物理量的含义如图1所示。
1.2.2 规则和分数
腕关节DR图像质控评价标准的4个部分有相应的评分规则,评价总分为100分。其中,正位和侧位图像具有相同的评价指标,即基本检查信息评价、检查体位评价和异物伪影的评价,三者总分分别为34、20、10分。在基本检查信息评价中,每个子项目为2分,结果为“是”得2分。在检查体位评价中,结果为“是”得20分,结果为“否”,则为0分。在异物伪影评价中,结果为“否”得10分。
在正位图像的显示与布局评价中,任务正位1和正位2均为5分,任务正位3和正位4均为10分,任务正位5为6分。在侧位图像的显示与布局评价中,每个任务为12分。图像显示与布局评价任务的评分规则见表2。由于任务正位4、5和任务侧位1是对2个方向上测量值的评价,所以这3个任务的分数为两部分之和。
表1 腕关节DR正位和侧位片显示与布局评价任务、关键点和判定条件
表2 腕关节DR正位和侧位片显示与布局评价评分规则
1.2.3 评价等级
额外选择了一个由100张正位图像和100张侧位图像组成的腕关节X线验证数据集评估来自质控系统和放射科医生的结果之间的一致性。由于基本检查信息的完整度和检查体位的符号是否存在是不受主观影响的结果,所以只比较伪影和图像显示与布局的一致性。除了二分类任务“伪影是否存在”和“拇指指掌关节是否存在”以外,也为其他任务建立了一个评估等级。表3显示了分数和评价成绩之间的映射关系。对于质控评价总分,将0~<60分归类为D级;60~<80分为C级;80~<90分为B级,90~100分为A级。
1.3 方法
1.3.1 实验设置
使用MobileNet V2伪影分类模型。输入图像被统一缩放到960×1 920的尺寸大小,并应用数据增强(垂直和水平翻转,±90°旋转,±2%位移,±5%缩放)。模型训练期间,将batch size大小设置为14,将初始学习率设置为0.02。当迭代次数达到40、70次时,学习率将降低到当前值的1/10。使用BCE损失函数和一个具有1e-4权值衰减和0.9动量的SGD优化器训练模型200轮,同时选择了准确率、精准度、召回率和曲线下面积(AUC)作为分类模型评价指标。
表3 质控任务得分与评价等级对应表
关键点检测模型是Global Universal U-Net(GU2Net)。输入图像被统一缩放到640×1 280的尺寸大小,并应用数据增强(垂直和水平翻转,±15°旋转,±15像素偏移)。模型训练期间,将batch size大小设置为16,学习速率设置为[1e-3,1e-2]。使用BCE损失函数和Adam优化器将模型训练200轮,并使用步长50的循环调度器策略将学习率从1e-3动态提高到1e-2。选择平均径向误差(MRE)和成功检出率(SDR)作为指标。MRE计算公式如下。
在上式中,N为检测到的关键点的数量,Ri为预测的关键点坐标与真实标签之间的欧氏距离。SDR显示了在半径(r=2.0、2.5、3.0、4.0 mm)内成功定位的关键点百分比。对于所有的图像,如果数据使用反相灰度图存储,那么在预处理阶段图像灰度将被反转处理。使用的编程语言是Python, 卷积神经网络在Pytorch(版本2.0.1)平台上实现。
1.3.2 实验设计
在图像质控工作系统中,通过在训练阶段验证损失最小的模型作为推理模型。质控系统的输入是一个DICOM格式的腕关节X线图像文件,输出是多个任务的具体分数和质控评价总分及对应评价等级。字符匹配的方法是将图像进行二值化后执行一个闭运算的形态学计算,最后将得到的所有连通域缩放到64×64的大小,再将连通域的像素值与已预先处理好的同为64×64大小的左(L)和右(R)图像像素值一一匹配。如果相似度超过0.85,则认为检查体位标识存在。
2、结果
根据验证数据集的实验所得到的伪影分类模型在伪影识别方面具有较高的性能[AUC=0.970 1,95%可信区间(95%CI)0.970 0~0.970 3],其准确率、精准度、召回率分别为0.93、0.88和0.97。正位和侧位影像中关键点检测模型的MRE分别为(0.794 4±3.253 5)mm和(3.813 4±7.408 7)mm。距离10.0 mm下正位和侧位关键点检测模型的SDR分别为99.64%、92.51%,其他距离下的正位和侧位关键点检测模型的SDR见表4。
表4 不同距离下的正位和侧位关键点检测模型的SDR
图2对关键点检测模型的结果和在图像显示与布局评估中的测量值进行了可视化。为便于观察,侧位片中的点4和点5被二者的中点所取代,并命名为P4。在正位视图中,黄色字体表示任务正位3中的角度α;在侧位视图中,青色字体表示任务侧位1中的角度α,黄色字体表示任务侧位2中的角度β。
图2 腕关节DR正位与侧位视图中标志和测量参数的2 个可视化图像
各项任务的混淆矩阵如图3、4所示,其表示了实际情况下质控系统的性能。在正位和侧位片中,异物伪影的准确率、精准度、召回率分别为0.85、0.91、0.87和0.89、0.85、0.91。任务正位1~5的准确率分别为0.91、0.97、0.76、0.89和0.85。任务侧位1~3的准确率分别为0.85、0.80和0.85。在质控结果等级评价上,正位和侧位片的准确率分别为0.82和0.75。图5中的混淆矩阵对正位和侧位片中质控系统的评估等级和放射科医生的评估等级之间的一致性进行了展示。
图3 正位视图中图像显示和布局评估中任务的混淆矩阵
图4 侧位视图中图像显示和布局评估中任务的混淆矩阵
图5 正位与侧位视图中整个工作流评估等级的混淆矩阵
3、讨论
本研究通过MobileNet V2分类模型和Global GU2Net关键点检测模型上进行训练,结果显示伪影分类模型在伪影识别方面具有较高的性能(AUC=0.970 1,95%CI 0.970 0~0.970 3),其模型准确率、精准度、召回率分别为0.93、0.88和0.97。正位和侧位影像中关键点检测模型的MRE分别为(0.794 4±3.253 5)mm和(3.813 4±7.408 7)mm。该模型在正位片和侧位片各项任务中,异物伪影的准确率、精准度、召回率分别为0.85、0.91、0.87和0.89、0.85、0.91。任务正位1~5的准确率分别为0.91、0.97、0.76、0.89和0.85。任务侧位1~3的准确率分别为0.85、0.80和0.85。在质控结果等级评价上,正位片和侧位片的准确率分别为0.82和0.75。本研究为国内首次利用人工智能[9,10,11,12]深度学习方式建立腕关节正位和侧位DR质控模型,利用深度学习技术验证可获取高质量的腕关节影像图像,提高了图像质控水平,更精准地为临床服务,同时解决了医院间的检查结果互认问题,也可以提高影像检查的诊断精确性,对临床应用有很高的指导意义。
3.1 伪影分类模型训练
MobileNet V2架构基于Inverted Residuals结构,Inverted Residuals结构将ResNet中提出的Residuals结构的降维和升维顺序进行了调换,并且将3×3的卷积换为3×3的深度可分离卷积,其还引入了bottleneck结构防止非线性变换破坏过多的图像信息,该算法具备参数少、性能好的特点[13]。本研究结果表明,在伪影识别方面该模型具有很高的性能,AUC及95%CI值均较高,说明该伪影分类模型在识别腕关节正位和侧位DR图像伪影方面非常好,能够达到高质量质控水准。
3.2 关键点检测模型训练
GU2Net适用于多种数据集的关键点检测,由局部网络和全局网络组成。局部网络基于通用U-Net的思想来学习多个区域的局部特征,U-Net网络是由收缩路径和扩张路径组成,收缩路径用于获取上下文信息,扩张路径用于精确的定位,且2条路径相互对称。全局网络是一个并行重复的空洞卷积序列,被用于提取全局图像特征来进一步消除多个关键点之间的歧义。与使用标准卷积的模型相比,GU2Net所需参数要少得多。本研究结果表明,腕关节正位和侧位影像中关键点检测模型的MRE分别为(0.794 4±3.253 5)mm和(3.813 4±7.408 7) mm, 说明该关键点检测模型定位精准性高,能够达到高质量质控水准。
3.3 腕关节正位和侧位片各项任务测试
目前,人工智能在全身各系统影像工作中得到了快速发展[14,15,16,17,18,19],但图像质量仍为人工智能诊断模型效能的重要影响因素之一[20]。本研究在质控模型建立后腕关节正位和侧位片各项任务测试中混淆矩阵显示准确率、精准度、召回率均具有较好的结果,弥补了目前DR体系中计算机辅助摄片在影像图像质控方面的不足,且该模型质控应用评价好,临床效果具有非常高的价值,同时人工智能辅助技师阅片效率明显优于影像医师人为阅片,节省了质控阅片时间,保证了质控的一致性,提升了质控质量,有利于影像质控水平的发展。
3.4 局限性
(1)样本量有限,虽然运用了先进的分类模型及关键点模型进行训练保证了效能,但后期还需进一步扩充数据、整合模型、提高效能、简化流程。(2)本系统目前还未真正地在临床工作场景中进行研究,后期将运用于临床实践。
综上所述,基于深度卷积神经网络开发的全自动腕关节DR质控系统模型,自动生成腕关节正位和侧位片图像质量控制报告,效果较好,值得临床应用及推广。
参考文献:
[1]徐文东,尹华伟,顾玉东.重视腕关节骨与韧带损伤微创化与精准化治疗[J].中华创伤杂志,2020,36(2):137-142.
[2]刘丰伟,李汉军,张逸鹤,等.人工智能在医学影像诊断中的应用[J].北京生物医学工程,2019,38(2):206-211.
[3]王平,胡博奇,安东洪,等.基于深度学习的DR胸片智能质控方法研究[J].中国医疗设备,2020,35(10):28-33.
[5]肖优明.深度学习网络取得突破性进展[J].检察风云,2018(5):37.
[8]张莉.DR摄影图像质量控制与质量保证[J].中国继续医学教育,2017,9(21):63-65.
[12]工业互联网创新中心(上海)有限公司,36氪研究院,中国信息通信研究院云计算与大数据研究所.2020人工智能医疗产业发展蓝皮书[R].上海:工业互联网创新中心(上海)有限公司,2020.
[14]钟京谕,姚伟武.人工智能在骨关节炎影像诊断中的研究现状与进展[J].中华放射学杂志,2019,53(9):790-793.
[18]朱丽娜,韩超,刘想.等U-Net 深度学习网络对MRI表观扩散系数图中前列腺癌自动分制及定位的可行性研究[J].中华放射学杂志,2020,54(10):974-979.
[19]崔应谱,孙兆男,刘想,等.用深度学习和阈值算法自动检出CT平扫图像中肾结石的可行性研究[J].中华放射学杂志,2020,54(9):869-873.
[20]张晓东,孙兆男,任昕,等.基于深度残差网络研发辅助诊断软件用于X线胸片分类诊断[J].放射学实践,2019,34(9):952-957.
基金资助:重庆市卫生健康委员会医学科研项目(2023WSJK114);
文章来源:彭超,张剑,刘欢,等.基于深度学习的腕关节DR成像质控模型的研究与应用[J].现代医药卫生,2024,40(06):907-912+917.
分享:
发育性髋关节发育不良(DDH)是儿童骨科最常见髋关节疾病,是指新生儿出生时无髋关节脱位,但因髋关节发育滞后或缺陷,在生长发育过程中逐渐出现股骨头、髋臼形状、方向及大小等方面的异常,其可发生于任何年龄,其中出生月龄<6个月的婴幼儿最为常见,发生原因与胎儿基因改变、宫内发育异常以及产妇妊娠期相关疾病等有关。
2024-04-26膝骨关节炎(knee osteoarthritis,KOA)是多发于中老年人群的骨关节疾病,侵袭软骨下骨关节囊及周围肌肉等引起关节疼痛,随病程进展膝关节功能逐渐丧失,甚至致残[1]。近年来,我国老龄化趋势愈发明显,KOA发病率也逐年递增,严重限制病人的日常活动[2]。目前,KOA的临床治疗手段众多,主要有保守和手术治疗2种类型,其中西医结合保守治疗仅能暂时改善患膝症状,手术治疗存在创伤大和术后恢复时间长等局限[3]。中医保守治疗具有良好的止痛和膝关节功能改善效果,且治疗产生的膝关节疼痛较少或基本可耐受,病
2024-04-26癌肿性关节炎是一种以全身多关节炎为首发表现的肿瘤相关性疾病,西医学将其归属于副肿瘤风湿综合征的范畴[1]。临床上本病较为罕见,且常被误诊为累及骨骼肌肉的风湿病[2]。本病临床表现与类风湿关节炎相似,常发生在癌症确诊前,患者突发关节疼痛,或伴有晨僵现象,在急性期关节可有红肿热痛,而关节炎的发生并非由于癌细胞转移到骨或关节所致。
2024-04-25骨性膝关节炎(knee osteoarthritis,KOA)与过量运动引发的关节内机械负荷上升密切相关,是常见的慢性损伤性疾病,其中女性患病率高于男性,27%的患者年龄大于75岁[1]。临床主要表现为关节疼痛、肿胀、僵硬,严重影响患者的日常出行。KOA的干预方式可分为手术治疗与保守治疗两类,对于关节软骨严重磨损、广泛骨赘增生的患者应首选手术治疗,但患者术后需经历较长时间的功能重建训练。
2024-04-25膝骨关节炎(knee osteoarthritis,KOA)是一种由多种原因引起的以膝关节疼痛、活动受限为主要表现的退行性疾病。在所有的骨性关炎中,KOA是临床最常见、发病率最高、损害性最大的疾病之一,中国症状性KOA的患病率高达8.1%[1]。KOA多发于中老年人,75岁以上老年人群的KOA发病率为80%,在疾病早期关节变形不明显,发展到中晚期后往往伴随关节畸形,致残率高达53%,严重影响患者的生活质量[2]。
2024-04-24膝关节骨关节炎(KOA)是一种复杂的骨关节疾病,病理特征多表现为软骨退化、骨赘形成,主要临床表现是关节肿胀疼痛、僵硬及活动受限[1],严重者可出现膝关节畸形,甚至行走困难,极大影响了患者的生活质量。KOA的发病率和年龄呈正相关[2],60岁以上老年人群患病率超过37%[3],随着人口老龄化日益严重,KOA已成为世界性卫生难题和重大社会问题。
2024-04-24黏连性膝关节强直是膝关节和周围组织在创伤后或者术后或因功能锻炼的缺乏、或进行了不专业的功能锻炼、或因制动时间过长以及不正确的内固定等因素造成的严重并发症,其发病率可达3%~7%[1,2]。若治疗不恰当,致残率可达10%左右,作为致残率较高的关节骨损伤,目前为止在临床上发病率仍居高不下,归于临床多发病的范畴,损伤严重的患者预后差,对后续的生活质量产生不良影响,给家庭以及社会带来经济负担和诸多压力[3]。
2024-04-22膝骨关节炎主要因膝关节部位炎性反应所致,临床表现为疼痛、肿胀、活动受限等,同时还易降低骨代谢标志物水平。该疾病多发于中老年群体,我国40岁人群中患病率约为15%,60~70岁人群患病率约为50%,>70岁人群患病率约为80%。
2024-04-20膝骨关节炎(Knee osteoarthritis,KOA)是临床常见疾病,以软骨退变、软骨下骨硬化、细胞外基质代谢失衡为主要病理表现[1],临床表现为膝关节肿胀、疼痛、关节活动受限[2]。据报道,在我国40岁以上骨关节炎的患病率已达38.46%[3],且随着人口老龄化,患病率有上升的趋势。
2024-04-16膝骨关节炎(KOA)发病率女性大于男性。膝关节置换术是治疗终末期KOA的金标准,包括单髁关节置换术(UKA)和全膝关节置换术(TKA)。UKA能够保留更多的骨量、患者本体感觉更佳,而TKA能够彻底矫正膝关节的力线不良,何种术式更佳仍存在争议。2021年1~12月,我科采用UKA和TKA治疗87例老年女性内侧间室KOA患者,本研究比较两种方法的疗效,报道如下。
2024-04-10人气:14075
人气:13248
人气:12825
人气:11662
人气:11451
我要评论
期刊名称:中华骨与关节外科杂志
期刊人气:2147
主管单位:国家卫生健康委员会
主办单位:中国医学科学院
出版地方:北京
专业分类:医学
国际刊号:2095-9958
国内刊号:10-1316/R
邮发代号:82-735
创刊时间:2008年
发行周期:月刊
期刊开本:16开
见刊时间:10-12个月
影响因子:1.107
影响因子:0.952
影响因子:0.590
影响因子:0.784
影响因子:1.020
400-069-1609
您的论文已提交,我们会尽快联系您,请耐心等待!
你的密码已发送到您的邮箱,请查看!