摘要:为解决脑卒中病变的人工定位和定量分析耗时且缺乏一致性的问题,提出了基于多尺度U-Net深度网络模型,从非增强计算机断层扫描影像中分割脑卒中病变的高密度征,同时使用Dice损失函数训练模型以对抗数据中类不平衡问题。实验数据表明:该模型可端到端的以数据驱动的方式自动学习高密度征显著特征,有效地分割脑部小病灶区域。
加入收藏
引言
脑卒中又称中风,是我国国民第一死因,也在全球范围内造成相当大的健康负担[1],具有高致残率和高复发率的特点[2]。以往,脑卒中被认为是一种老年病,然而现在,对于30多岁和40多岁的人已不再鲜见[3]。大多数脑卒中是缺血性的,超过80%的病例由于大动脉粥样硬化、心脏栓塞和小血管闭塞引起的血栓栓塞[4]。一旦患者被怀疑发生脑卒中,应立即诊断和治疗以尽可能地保护脑组织。其中,神经影像学对脑卒中急性期的及时诊断对患者的康复和预后至关重要。
计算机断层扫描(CT)和磁共振成像(MRI)是评估急性缺血性卒中(AIS)极为重要的工具。在急性期,CT和MRI都具有高检测准确度、灵敏度和特异度[5]。虽然非增强CT(NCCT)对于AIS检测没有MRI的敏感性强,但它更易于获得紧急情况下的关键诊断信息[6],因此被临床广泛使用。计算机辅助诊断(CAD)是人工智能(AI)当前研究的热点问题。医生手动分割病变过程耗时巨大,同时医生之间的差异性也有偏差。AIS病变自动分割有助于疾病的定量研究[7]。目前,脑卒中智能分析的项目多采用机器学习技术。艾伯塔卒中项目早期计算机断层扫描评分(ASPECTS)是一种用于缺血性卒中病变快速半定量评估的简单、可靠的评分系统[8,9],采用机器学习技术对AIS患者提供临床决策。文献[10]通过对2426个患者CT影像展开ASPECTS分析,认为该评分与神经功能相关,可以独立预测AIS患者恢复;文献[11]在NCCT上检测AIS大脑中动脉(MCA)点,并使用SVM进行分类;文献[12]采用随机森林与测地活动轮廓(GAC)分割的集成,能有效准确地测量研究中脑水肿的演变;文献[13]提出一种随机森林MRI亚急性缺血性脑卒中病变的自动分割方法;文献[14]提出了一种自适应脑组织影像分割的方法。
深度学习(DL)使用深度神经网络从数据中提取模式以解决复杂问题,深度学习在与图像相关的任务中表现出突破性的性能。由于放射学从影像中获取信息,因此是深度学习的一个非常自然的应用领域,目前在医学影像的检测、分类和分割等诸多任务中深度学习都取得了显著的成绩[15]。文献[16]由两个卷积神经网络(CNN)自动提取MRI中的脑卒中病变;文献[17]提出了一种使用3D全卷积和密集连接的卷积网络,有效利用三维上、下文信息自动学习特征分割脑卒中病变,自动且精准分割病变区域是脑卒中精确诊断重要的第一步。经典CNN[18]结构对输入图像中的每个像素点中心提取图像块Patch。全卷积神经网络(FCN)使图像语义分割从图像级理解上升为像素级理解[19],FCN用卷积层替换全连接层,通过“反卷积”对最后一个卷积层的特征图(featuremap)进行上采样,使其恢复到与输入影像相同的尺寸,实现端到端的像素级预测。条件随机场(CRF)是常用的概率图判别模型之一,CRF既能保持良好的局部信息又能弥补FCN无法捕捉远端信息的缺陷。作为FCN分割的后处理方法,CRF提升了图像语义分割的边界的性能,是实现精准语义分割的有效途径[20]。医学影像相比于普通图像,具有灰度范围大、边界不清晰等特点,U-Net[21]正是在这种背景下提出的通用网络结构,下采样与上采样结合,底层信息与高层信息结合,提高了分割效果。本文提出了一种专用于小样本图像分割的改进U-Net模型,对中动脉高密度征实现端到端的全自动分割。
1、数据
1.1数据来源
DICOM是用于存储和传输医学图像的标准格式。本文使用的影像数据来自吉林大学第一医院回顾性分析的脑部NCCT薄层影像,经过放射科医生筛选,排除出血性和假性脑卒中的影像,最终将50名缺血性脑卒中患者的影像数据整理成数据集。
大多数的深度学习方法属于有监督学习,因此模型训练需要标签,即“金标准”(Groundtruth)。本文Groundtruth由吉林大学第一医院放射科两位医生手工标注出脑卒中高密征,其中一位是具有二十多年经验的放射科主任医师。图1为NCCT影像上医生手工标注结果的示例。
1.2数据预处理与扩充
所有数据均为回顾性数据,并在使用前进行数据清洗,去除和患者个人相关的信息。深度学习通常需要大量数据作为支持,由于医学影像数据的稀缺性,数据扩充是模型训练前的重要步骤。数据扩充常用的操作是仿射变换[22],扩充不会改变数据的属性,而是改变模型处理的输入数据的形式,增加训练数据数量并减少模型过度拟合。
图1NCCT脑卒中高密度征区域标注示例
2、框架原理及实现
本文建立了NCCT脑部缺血性脑卒中高密度征的精准分割框架,如图2所示。
2.1U-Net
U-Net结构形似字母U(见图3)而得名[21]。利用底层信息补充高层信息,使分割精确度大大提升。整个神经网络主要有两部分组成:编码路径和解码路径。U-Net为能精准地定位,编码路径上提取出来的高像素特征会在上采样过程中与新的特征图进行结合,以最大程度地保留前面降采样过程一些重要的特征信息。而为使网络结构能更高效地运行,结构中没有全连接层,可以很大程度上减少训练的参数。利用数据扩增,U-Net可以对一些比较少样本的医学数据进行训练。上采样部分融合特征提取部分的输出,将底层特征融合在一起,以最后一个上采样为例,其特征既来自第一个卷积输出,也来自上采样的输出,这样的连接贯穿整个网络,而FCN只在最后一层进行融合。U-net特点是利用底层信息来补充高层信息,从而大大提高了分割的准确性,这种结构有效地避免了FCN网络中的图像语义信息和分段细节不同的情况。
图2缺血性脑卒中高密度征分割模型框架
脑卒中病变区域与整个脑部相比目标非常小(见图1),这会导致训练数据失衡。对于均匀采样Patch,预测将在初始时间被背景部分淹没。尽管病灶的激活被削弱,但如果它们通过pooling和上采样被记录,就可能在反卷积阶段被重建。本文首先完成了U-Net结构为基础的分割网络,实验中采用经典U-Net网络参数进行训练,Dice结果为0.82。
图3U-Net模型结构
2.2多尺度U-Net模型
受文献[23,24]启发,本文对U-Net网络进行扩展形成多尺度分割模型。U-Net由一个卷积层堆叠,且每层卷积核只有一个尺寸。如果同一层使用多个不同尺寸的N×N卷积核,将获得不同尺度的Featuremap,把这些特征结合起来得到多尺度卷积后的特征,如Inception[25]系列网络多个卷积核的结构。因此在编码-解码的网络结构中,嵌入多尺度卷积模块,如图4所示,多尺度卷积层将通过3种大小分别为5×5、3×3和1×1的核进行特征融合。
由于高密度征相对于整个脑部NCCT影像相对较小,且有大有小,因此嵌入多尺度结构即不同卷积层输出的特征。如图4所示,所有的卷积核都在上一层的所有输出上来做,5×5的卷积核所需的计算量就比较大。为避免这一现象,在3×3、5×5前,maxpooling后分别加上了1×1的卷积核起到了降低特征图厚度的作用。此结构也可以进行其他大小的卷积核的扩展,即在使用N×N卷积之前使用1×1卷积对输入的特征图进行降维,再用N×N的卷积核对维度进行还原,这样在保持精度的同时减少了计算量。
图4多尺度卷积核示意图
2.3扩张卷积
扩张卷积[26]和普通卷积之间的相同之处在于卷积核的大小,并且具有相同数量的参数,但通过卷积核插“0”的方式,扩张卷积具有更大的感受野,同时不会减少和遗漏感受野的覆盖区域。膨胀卷积可以定义为:
公式1
式中:Xj为待处理的图像;Kj为3×3的卷积核;*2j为指数增长的膨胀卷积。
如图5所示,3×3卷积核在扩张系数为2和3的情况。本文在卷积块(Conv_block)内使用扩张卷积。
图5扩张卷积示意图
2.4损失函数
本文网络模型中Loss层的目标函数是由Dice系数定义的。Dice是医学影像分割中被广泛使用的评价指标,使用Dice作为目标函数主要是为解决数据中的类不平衡问题,适应背景和病变非常不平衡的情景。Dice距离用于测量网络自动分割结果和Groundtruth的相似性:
公式2
式中:X和Y分别代表预测结果和Groundtruth;分子代表两组交集的长度,分母代表两组长度的总和。
为验证效果,还比较了交叉熵损失函数训练模型的性能:
公式3
式中:N为像素;pi,oi为第i个像素被赋予正确标签的预测概率。
可见,每个像素对交叉熵损失的贡献相等,因此类不平衡问题很容易偏离模型优化。
2.5网络优化
在Batchsize大小为10的情况下,输入图像及其相应Groundtruth使用Adam优化[27]训练网络,初始学习率设定为0.00001。
3、实验
本文NCCT影像在不同的扫描设备下获取,因此需要进行归一化:(I-I-)/δi,其中:I和I-分别表示一幅影像与该影像灰度平均值;δi为灰度标准差。经归一化后的输出是具有零均值和单位方差的影像数据。
实验使用50名缺血性脑卒中患者的NCCT,其中具有高密度征区域的280幅影像整理为数据集。经过8倍扩充后达到2240幅,将其中的三分之二的样本作为训练集与验证集,三分之一的样本作为测试集。网络建模使用基于Tensorflow的Keras实现,在有两个NvidiaGeForceGTX1080ti,CPU为Intel(R)i9-7920x2.9GHz的计算机上进行。
本文首先完成了经典U-Net分割网络(参数见表1和表2,其中*表示Conv_block5没有pooling层)。扩张卷积的系数为3。
其次,在该U-Net模型基础上扩展为多尺度U-Net模型,多尺度卷积块结构如图4所示,参数如表3所示。实验中基于多尺度卷积U-Net网络分割的Dice为0.85,提高了经典U-Net分割精度,如表4所示。
表1U-Net网络结构参数
表2卷积块和反卷积块
表3多尺度卷积块参数
表4测试结果比较
实验中用交叉熵损失训练的模型收敛慢,并且训练曲线不太稳定。这也验证了交叉熵损失更容易受到类别不平衡问题的影响的假设。
使用Dice训练的模型在大约30个Epoch时达到稳定,如图6所示,并且实现了更高的性能,说明Dice目标函数是解决类不平衡问题的有效方法。图7给出了实验中部分高密度征的分割结果。第一行为NCCT原始图像,第二行为医生标注的Groundtruth,第3行为模型自动分割结果。
图6本文模型的训练和测试曲线
图7部分预测结果
4、结束语
提出了使用多尺度U-Net架构模型实现NCCT脑卒中高密度征的精准分割。该模型将低级特征映射与更高级别的特征映射组合,使用多尺度卷积来获得更丰富的特征,并使用Dice目标函数解决数据中的类不平衡问题,这些方法可实现精确的像素级定位。实验结果表明:与经典U-Net模型相比,多尺度U-Net模型在具有相同网络参数数量的分段任务中表现出更好的性能。
脑卒中智能化诊断的AI技术,在推荐快速溶栓,甚至院前溶栓治疗的时代,将显著改变中风诊断和管理。临床实践中积累了大量的成像数据,通常这样的成像数据没有适当地存储在许多医院中,并且在一段时间之后被放弃。由于AI技术需要大型数据库才能有效运行,因此必须以结构化和系统化的方式收集成像数据。跨多个医院和中心的合作努力是必不可少的,这将是以后工作的一个重要方向。
参考文献:
[14]贾迪,杨金柱,张一飞,等.自适应脑组织影像分割[J].吉林大学学报:工学版,2012,42(1):161-165.
[24]郭继昌,吴洁,郭春乐,等.基于残差连接卷积神经网络的图像超分辨率重构[J].吉林大学学报:工学版,2019,49(5):1726-1734.
郜峰利,陶敏,李雪妍,何昕,杨帆,王卓,宋俊峰,佟丹.基于深度学习的CT影像脑卒中精准分割[J].吉林大学学报(工学版),2020,50(02):678-684.
基金:吉林省卫生专项科研项目(2018SCZWSZX-001);吉林省自然科学基金学科布局项目(20180101038JC)
分享:
随着医药卫生事业的快速发展,尤其是在全面依法治国的背景下,医药卫生领域的法律问题愈加受到关注。作为医学、药物学及法学等相互交融的学科,卫生法学的专业特点决定其本科生教育培养具有一定的特殊性,加强卫生法学本科生教育工作的研究,有利于提高卫生法学人才培养质量,更好地推动我国医疗卫生事业保障体系的发展。
2020-10-08艾滋病是感染人类免疫缺陷病毒(HIV)引起的一种传染病。HIV通过大量破坏CD4+T淋巴细胞(低于200个/mm3),使机体丧失免疫功能,发生多种机会性感染或肿瘤,导致患者死亡。2018年全球已有3690万HIV携带者,其中58.81%的感染者接受了HIV抗逆转录病毒治疗,HIV感染已被世界卫生组织(WHO)认为是全球范围内重要的公共卫生事件。
2020-09-12颗粒物进入肺部以后引发长期持续的炎性反应是导致肺纤维化或肺癌的主要原因,炎性反应由炎性体所介导,然而目前关于炎性体激活的具体途径依然存在争议,但可以确定的是肺泡巨噬细胞炎性体识别入侵的颗粒物并启动相应的炎性反应,且细胞K+外流是炎性体激活的一个前提因素。
2020-09-03随着人们膳食水平的提升,非酒精性脂肪肝的发病率呈逐年上升趋势,对人们身体健康造成严重的危害。NAFLD最初由LudwigJ等学者提出,是指除过量饮酒以外的其他因素所致肝细胞弥散性脂肪变性与脂质累积的一类疾病,其可由单纯脂肪肝变性演变而成,进一步进展为肝纤维化、肝硬化及肝癌。
2020-09-01糖尿病应用程序即通过健康教育、数据采集、智能统计分析、血糖风险评估、在线咨询医生、健康管理师主动辅导等手段给糖尿病患者及高危人群提供关于行为方式、饮食习惯等健康建议和个性化医疗服务方案的基于移动终端的一类糖尿病医疗软件。多项研究表明使用糖尿病相关应用程序即糖尿病应用程序可促进患者在饮食、运动、血糖监测、用药等方面的自我管理行为。
2020-09-01心肌致密化不全心肌病于2016年归为遗传性心肌病,系胚胎发育时心肌纤维压实不良所致,其心肌异常特点是突出肌小梁,心外膜心肌致密,而心内膜心肌不致密,两层心肌间有深肌小梁隐窝。肌小梁形成,伴随传导系统发育和致密心肌适当增厚,是心室成熟过程之一。与肌小梁相比,由心外膜冠状动脉输送氧气和营养物质,致密心肌加速发育和成熟,增加整体心室肌质量。
2020-08-31随着现代医疗技术的提高,针对脑卒中后患者的康复手段也在不断地更新和改进,其中中医传统医学发挥着其独特优势,而循经按摩作为中医的一种较为常见的手法,成为近年来康复学者所关注的热点。本文对循经按摩法在脑卒中后患者康复领域的应用情况进行综述,为脑卒中后患者实施循经按摩提供参考依据。
2020-08-31由于各种原因引起外淋巴和中耳腔之间的骨质破损,或膜性组织和(或)韧带破裂,致使外淋巴和中耳腔交通,称为外淋巴瘘。临床上确诊PLF的方法是经手术探查,显微镜或耳内镜下确认中耳和内耳之间存在瘘孔,瘘孔可位于圆窗或椭圆窗、骨折的骨迷路和异常的镫骨足板,可发生于头部外伤或气压伤、慢性中耳炎或特发性迷路窗膜破裂。
2020-08-28发育迟缓属于一种发育性残疾,严重影响患儿身心健康。其中语言发育迟缓属于发育迟缓常见类型之一,在我国有超过500万儿童患有语言发育迟缓,受到社会高度关注。语言是在充分语言环境刺激作用下特有的高级神经活动,也是智力的综合体现,而语言发育迟缓严重阻碍患儿的沟通与交流能力,不利于患儿健康成长。
2020-08-28针灸在中医治未病中确实是有优势的。但在古代的著作和医案中,谈到艾灸治未病的比较多,记载针刺治未病的却非常的少。若是能扩充发展针灸治未病方面的理论,也算是在继承中医的基础上有所创新。针灸治未病的难度在于如何把握提前干预的准确时间。如果在疾病到来之前早太多干预,会导致过度医疗,浪费医疗资源。
2020-08-28人气:19289
人气:16628
人气:11176
人气:10813
人气:10310
我要评论
期刊名称:中国医学影像技术
期刊人气:5232
主管单位:中国科学院
主办单位:中国科学院声学研究所
出版地方:北京
专业分类:医学
国际刊号:1003-3289
国内刊号:11-1881/R
邮发代号:82-509
创刊时间:1985年
发行周期:月刊
期刊开本:大16开
见刊时间:一年半以上
影响因子:0.913
影响因子:0.000
影响因子:0.384
影响因子:0.173
影响因子:2.400
您的论文已提交,我们会尽快联系您,请耐心等待!
你的密码已发送到您的邮箱,请查看!