摘要:由于脑肿瘤的大小和形状呈不规则状态,从三维磁共振图像中自动分割脑肿瘤是一项具有挑战性的任务.而目前的方法存在两个问题:基于3D建模的方法参数量较大难以训练而且全局或远距离上、下文信息的关联性不足;模型忽略局部区域细节特征使得分割结果边界模糊.为解决上述问题,本文提出了循环分层解耦卷积和最大滤波(recurrent hierarchical-decoupled convolution and maximum filtering,RHMF)的轻量网络实现三维脑肿瘤图像分割.该网络在特征提取阶段提出循环分层解耦卷积取代标准卷积,减少参数利用多时域的反馈信息建立全局上、下文信息关联.引入改进的多尺度策略对不同尺度下的多层次特征进行提取融合,提高网络的目标识别能力.在定位阶段做局部域细节处理,提出了最大滤波模块激活目标区域像素实现特征图的像素级定位,增强目标区域像素与其他区域像素的区别,进一步细化分割,解决边界模糊问题.在BraTS2020数据集上的实验结果表明,RHMF-Net在增强肿瘤区、整体肿瘤区和核心肿瘤区的平均Dice系数值分别为77.23%、90.01%和83.10%,参数量为0.42×106.
加入收藏
脑肿瘤是人类大脑胶质细胞病变而引发的疾病之一,大脑生长的异常细胞严重影响人体健康,而且脑肿瘤病发率很高,每年的发病率约为每10万人中3~8例[1].脑部的核磁共振成像(magnetic resonance imaging,MRI)通过无创技术得到高质量的颅骨伪影图像,在脑肿瘤诊断中起重要作用[2].医生可以通过多模态的脑肿瘤图像确定肿瘤的大小和形状,但是从MRI图像中提取关键信息极为困难.与二维图像相比,由于三维图像拥有额外的维数,其数据量更大,图像分析难度更大.此外,胶质瘤普遍呈触角结构生长,不均匀且没有规律,分割时很容易出现边界模糊的现象.而在医学领域对目标分割精确度要求很高,通常情况下脑肿瘤图像需要经验丰富的专家花费大量时间进行标注,这些因素使得三维脑肿瘤图像自动分割成为研究的热点.
近年来U-Net架构[3]因为高效性和通用性在医学图像处理任务中得到广泛应用,成为脑肿瘤图像分割的主流框架,其利用上、下采样编码捕获图像高级语义信息,通过模块的跳跃连接获得目标位置信息.随着研究的进一步开展,许多U-Net变体逐渐出现在医学图像领域,有效解决了2D到3D图像扩展出现的各种问题.一些研究设计小的3×3卷积核实现更多的非线性计算来解决过拟合问题[4],级联策略解决类不平衡问题,密集块、跳跃连接也被应用在网络中来降低参数提高效率[5,6,7,8,9,10].
虽然U-Net及其变体在分割方法上取得了令人印象深刻的结果,但是医学图像的计算量往往较大,卷积核大小的局限使得U-Net难以对图像进行全局处理,无法通过扩大感受野来捕获长距离的空间相关性信息.目前基于Transformer的方法被越来越多地用在三维医学图像处理中,在全局上、下文交互建模得到较好效果[11],TransBTS[12]将变换器与3D-UNet结合捕获了长距离空间相关信息,但网络的计算复杂性非常大且训练成本很高,难以投入实际应用.研究者将目标转向轻量级网络来降低计算复杂度,Chen等[13]开发的DMF-Net通过使用扩张卷积和多光纤单元减轻了计算复杂度高的问题.Luo等[14]使用分层解耦卷积(hierachical-decoupled convolution,HDC)来代替三维卷积,通过用高效地表达多视图的空间环境来进一步降低计算成本.轻量级网络在参数降低的同时出现分割精度局限性,不能完全获得三维卷积的效果,而且仍然存在长距离上、下文关联不足的问题.Zhao等[15]在DMF-Net基础上尝试将循环卷积单元连接到三维多纤单元,通过循环卷积层的特征积累来增强模型的上、下文信息整合能力,在轻量条件下进行了全局信息关联,获得了不错的分割效果,然而这些工作忽略了对细节域信息的处理.
多尺度方法被认为能有效改善网络分割性能,提取全局关联信息和局部细节,同时融合所提取的包含位置信息和语义信息的多尺度图像特征.GoogleNet[16]通过引入不同大小的卷积核,拓宽了网络的多尺度表示;Zhang等[17]尝试了特征提取后在连接处进行多尺度融合.此外,脑肿瘤分割任务也常应用多尺度特征抽取器Inception模块[18,19,20],Ibtehaz等[21]通过使用跳跃连接,巧妙地将平行连接的起始点修改为连续连接,并获得了不同的尺度特征.随后研究者能通过轻量级的方式降低了3D Inception的计算复杂度,如深度可分离卷积代替标准卷积,3D ESP-Net[22]将ESP-Net[23]扩展到3D脑肿瘤分割任务.Wang等[24]提出DFP-Net,将扩张卷积和特征金字塔联系到一起,使用具有不同扩张率和多个接收场的过滤器及池化操作来检测输入特征,在轻量化和精度上均有更好的效果.虽然多尺度方法同时提取全局和局部特征,包含了细节域信息,但脑肿瘤图像往往存在大量细节区域信息,尤其是边缘区域不规则的特点显著,因此局部域的特征增强对分割准确性也至关重要.
研究者对于脑肿瘤图像的局部细节特征增强问题进一步展开研究.Cui等[25]利用单独的分支处理该层级边缘信息再级联到整体网络,但并联的方式会增加额外的参数.注意力模块被应用于特征增强和融合,如Hu等[26]提出的通道注意力机制(squeeze and excitation,SE)模块可以自适应地重新校准特征,使网络能够通过学习自动获取每个通道的权重,Zhang等[27]在级联处加入注意力模块,将语义更强的深度特征送到SE中,从而获得精确的高级别细节信息,张为等[28]提出多尺度空间注意力来关注图像关键部位信息.卷积注意力模块(convolutional block attention module,CBAM)将空间注意力和通道注意力结合,加强目标特征并做多维度融合,能够有效地提高重要信息的表达同时抑制背景信息,TADPN[29]提出空间和通道注意力来增强特征提取能力.此外,更多的研究者通过后处理的方式来细化分割,定位局部域目标像素.DFP-Net利用3D条件随机场CRF对分割结果进行后处理,解决了下采样时因图像尺寸缩小引起的局部细节被忽略的问题,但是这种方式在训练低分辨率图像时会丢失一些特征信息.Liu等[30]将注意力机制添加到特征提取后的精细分割模块中,提高网络模型的聚焦能力,并进一步提高小目标区域的分割精度.
现有脑肿瘤分割网络存在的问题可以总结为:①三维图像分割受限于参数量和卷积核的尺寸,难以建立全局上下文信息关联,并且网络难以训练;②大部分方法没有重视目标细节域的处理,边界处分割准确性不足.针对这些问题,本文提出一种兼顾全局和局部的轻量级脑肿瘤分割网络,以少量的参数完成较高的分割精度.该分割网络以3D U-Net为基础框架,特征提取阶段以循环分层解耦卷积单元为基本模块,将循环卷积连接到分层解耦中,多视图解耦降低了计算复杂度,同时利用多时域在不同位置得到的反馈信息建立上下文信息联系,解决全局样本中不同切片间和不同局部域各自独立问题.在上采样和下采样连接处加入改进的包含扩张金字塔和注意力机制的多尺度特征处理模块,结合多维度扩张卷积来提取全局低级位置信息和细节域高级语义信息,通过注意力机制来增强所提取的目标信息进行多尺度融合,利用像素定位针对细节域局部信息做分割的细化处理,将上述过程获得的包含了大量复杂信息的特征图通过非线性最大滤波模块进行像素激活,聚合多维度特征并突出局部区域中激活值较大的预测像素点,增强目标像素与其他像素的区别,解决边界像素模糊问题.
综上所述,本文提出了一种包括特征提取和像素级定位的完整轻量网络,主要由循环分层解耦模块组成,将循环卷积连接到卷积层,分层解耦降低计算开销,循环卷积进行特征积累解决全局长距离上、下文信息关联不足问题.其次,提出了包含扩张金字塔和注意力机制的多尺度特征模块,提取融合全局和局部特征,增强目标区域特征表达.最后,针对脑肿瘤图像细节信息较多的特点,设计了最大滤波的像素定位模块,对所提取的特征图进一步做像素点激活,解决由于忽略局部域细节造成的边界模糊问题.
1、研究方法
如图1所示,本文提出的RHMF-Net是一个基于轻量网络的先提取后定位、模拟全局和局部多尺度特征的轻量脑肿瘤分割网络.首先特征提取阶段循环分层解耦(recurrent hierarchical-decoupled convolution,RHDC)模块为基本编解码模块,以多尺度特征处理模块(multiscale feature processing module,MFPM)连接编解码.在像素定位阶段利用最大滤波(maximum filtering,MAXF)模块做后处理细化粗分割,最后利用Softmax整合生成与输入图像大小相同的图像,获得图像的最终分割结果.
图1 算法整体框架
1.1 特征提取基本模块
1.1.1 循环卷积单元
特征提取基本模块为轻量分层解耦结构,其多视角融合思想很大程度上解决了参数冗杂的问题.然而三维图像切片间和远距离不同局部域间的依赖关系也至关重要,分层解耦结构将图片直接分层忽略切片间的联系,而且卷积核大小的局限忽略了不同局部域间信息的关联.为了获得有关联的上、下文信息,本文利用循环卷积神经网络(recurrent convolutional neural networks,RCNN)通过多时域的反馈信息积累将上、下文序列进行紧密关联,避免了不同局部域彼此独立.
RCNN可以联系之前一段时间内获得的信息对当前输入做下一步预测,提高语义的丰富性使得预测更加准确,在三维图像处理任务中能更好地处理局部区域内的信息关联.RCNN接收一个新的输入,整合当前输入和之前时间内的信息生成一个整合之前一段时间的总体输出.具体来说,T时间某位置根据之前网络各个位置的整体反馈进行预测,通过联系全局来对局部域类别区分.作为RCNN基本单位,循环卷积单元本质在于T个时间步的权重共享,因此每一步的输出不仅依赖于当前时间步nT,并且依赖于之前的时间步T0~Tn-1,图2为0T~3T循环卷积过程.
图2 循环卷积单元结构
循环卷积主要表现为离散时间的特征积累,在T=0卷积层仅与当前输入有关,中间累积隐藏层,最后在uT时刻输出,这里包含了一个前馈层和u个递归子层.Pmlni(T)表示第l层的输出,时间T处网络的输出可以表示为
式中:1r为前馈卷积层的输入;2r为第l层输入;fl为卷积运算;ωif和ωih分别为1r和2r的权重;ib为偏置,经过σ激活函数激活.
设lx表示第l层输入(m,n)位置上第i个特征,最终输出表示为
1.1.2 循环分层解耦卷积模块
将循环卷积单元连接到分层解耦卷积模块,RHDC模块整体结构如图3所示.整个过程基于多视角形式维系了低参数量的上、下文信息整合能力,以极少的计算代价获得全局关联信息,且与二维方法相比,三维空间背景感知力得以提高.主干网络采用4个循环分层解耦卷积模块的下采样编码器和4个对应解码器组成.其中分层解耦卷积模块以跨空间域和通道域的分层解耦卷积为单位,主要是主卷积在聚焦视图上分层提取多尺度特征并通过互补的视角来提取三维空间上下文特征,在减少参数数量级的同时更好地融合三维空间信息.将输入特征图通过1×1×1三维卷积后,在空间上将3×3×3的三维卷积核分解,得到3×3×1和1×3×3两种互补的三维卷积,也就是三维图像的两个不同角度二维视图.将通道分为4组,第1组使用1×1×1卷积核提取图像特征,其余使用3×3×1卷积核提取脑肿瘤相关特征,然后将4组特征图进行连接来整合通道间的信息,最后使用1×3×3卷积核从多个角度提取空间特征信息,避免了计算整个三维卷积计算的开销,并可以有针对地获得目标信息,输出可表示为
式中:x为模块输入;x1~x4为按照通道划分的4组特征图;h1~h4表示不同分支处理结果;RConv为3×3×1循环卷积;C为连接;Conv_1为1×1×1卷积;W为1×3×3卷积.
图3 RHDC模块整体结构
1.2 多尺度特征处理模块
在循环卷积建立全距离上、下文联系后,编码器的上、下采样连接处加入了MFPM模块,主要是从局部和全局角度进一步捕捉多尺度图像特征并进行融合处理,获得目标区域信息同时抑制背景信息在网络中的流动.首先使用由多个并行扩张卷积层组成的扩张特征金字塔(dilated feature pyramid,DFP)获得多尺度特征,然后将所得的特征图通过CBAM注意力机制[31],在通道维度增强多尺度目标语义关键信息,在空间维度得到目标位置信息并有效融合.多尺度特征处理模块的结构如图4所示,其由DFP和CBAM两个模块组成,有效地增强了网络的多尺度特征提取融合能力.
扩张金字塔中扩张卷积层可以扩展卷积的感受野,卷积层能提取更加丰富的特征,模块由叠加了多个扩张率不同、步长为1的3×3×3卷积层组成,为了获得大小不变的输出,进行与扩张率相等大小的填充(padding),最后求和来融合多个结果.DConv为扩张卷积,将各级结果相加得到最终输出为
CBAM将通道和空间上的作用模块分解,分别在通道和空间维度对特征图进行处理,增强输入关键信息的同时抑制背景信息,由于CBAM模块没有直接计算3D图像,生成的特征图参数量很小.模块首先在通道维度压缩图像,对金字塔的多尺度目标信息进一步做增强处理,其主要基于通道关系进行通道特征的校准进而增强特征表达,可以结合深层和浅层特征,增强分辨率较高但语义较弱特征.通道注意力将每个通道都设为一个特征检测目标,增强输入图像关键点,并通过压缩通道输入图的空间维度来聚合空间信息.Ic(x)表示通道注意力的输出,其公式为
式中:AvgPool为平均池化加强整体重要信息;Max Pool为最大池化去除低能量信息,抑制非重要信息的流动;MLP表示多层感知器和隐藏层组成的权值共享网络得到的一维注意力图信息聚合,在元素求和后经过σ激活函数得到输出.
空间注意力模块更加注重目标信息,将特征图沿通道池化,得到二维特征,利用特征空间的内部依赖关系生成空间注意力图.空间注意力模块是通道注意力模块的互补操作,首先沿通道轴分别进行AvgPool、Max Pool两次池化,ψ表示聚合操作,这样可以有效地突出目标区域,最后建立连接生成特征图Is(x)为
图4 MFPM模块结构
1.3 最大滤波像素定位模块
脑肿瘤占图像整体部分很小,没有具体形状而且边缘突触较多,这些无规则的细小边缘呈复杂状态分布,难以被准确捕捉并正确分类,且编码解码网络处理后的特征图包含大量上、下文关联信息以及多尺度信息,如果直接对特征图进行分割,很难完成目标像素精准分类,尤其是边缘部分的判断困难,极易出现边界模糊现象.针对这个问题,本文设计了像素定位模块来连接上、下采样和分割模块,对所提取的特征图进一步建模来精确捕捉目标区域进行边缘细化,实现更精确的分割.新模块利用3D最大滤波作为新的后处理步骤来进行定位以细化粗分割,整体结构如图5所示.
卷积是一种平移等方差的线性运算,因此在这种相似的模式下即使是处于不同位置的像素所产生的输出也极为相似,这对像素-标签形式的语义分割工作有极大障碍,由特征提取后的卷积谱图仍存在模糊的分割点.最大滤波器补偿局部区域内卷积对于细节点的判别,多用于关键点的探测,利用最大池化来选择局部区域中激活值最高的预测点,细化粗密集的预测.
最大滤波在许多任务中展现了一定的特征强化作用,但是最大滤波只考虑单尺度特征,并不适用于三维谱图的分割,因此将最大滤波器扩展成为3D最大滤波器,利用3D最大滤波来选择最终分割的像素信息,它可以变换三维特征图中每个尺度的特征,在特征图的每个通道上分别采用3D最大滤波.M为最大滤波处理,在给定的位置i,对于空间位置s的尺度τ和φ×φ空间距离获得局部区域Is三维邻域的最大值,这个操作由3D最大滤波实现,具体表示为
为将3D最大滤波嵌入到特征提取的分割结构,本文提出了MAXF模块.MAXF可以来选择局部区域的高预测值像素,增强与其他像素区别,而且整个结构是由简单的可微算子构造,计算开销很小,模块输出y,则有
除3D最大滤波之外,MAXF主要包含Conv_3三维卷积、归一化处理Norm以及激活函数Relu.
图5 MAXF模块结构
2、实验与分析
2.1 实验数据及评价标准
实验在MICCAI脑肿瘤分割比赛的BraTS2020数据集[32,33]进行算法的性能评估.数据集包含训练集和验证集,其中训练集有369个病例,验证集有125个病例,图像大小为240×240×155.训练集包含专家对每幅图像手动进行标注的真实结果(ground truth,GT),验证集未公开GT,需要将结果上传至官网进行验证.每个受试者都有4张MRI图像,分别为T1加权(T1)、T1加权对比度增强(T1ce)、T2加权(T2)和液体衰减反转恢复(Flair).多模态3D核磁共振成像来自于19个医学机构,用到不同的协议、磁场强度以及MTI扫描仪.GT的注释包括4种肿瘤区,分别是正常组织(标签0)、坏死部分和非增强肿瘤区(标签1)、肿瘤周处水肿(标签2)和活动性增强肿瘤(标签4).注释合并为3种嵌套的子区域:整体肿瘤区(whole tumor,WT)包含标签1、2、4;核心肿瘤区(tumor core,TC)包含标签1、4;增强肿瘤区(enhancing tumor,ET)包含标签1.
实验分别计算了整体肿瘤、核心肿瘤和增强肿瘤的Dice相似系数及Hausdorff距离.其中,Dice相似系数是分割任务最常用的评估方式,主要表述模型得到的输出结果与真实值的符合程度.Dice计算结果是真实阳性与所有结果中包括假阳性和假阴性的比例,Dice值越高表示模型的分割性能越好,具体表示为
式中:TP表示真阳性;FP为模型预测的假阳性;FN为模型预测的假阴性.
Hausdorff距离评估真实分割结果边界到预测得到的边界之间的距离,计算预测区域与真实值之间的距离,并测量肿瘤边界分割的质量,可表示为
式中a和b分别是集合A和B的欧几里得距离.
2.2 实验设置
本文实验基于python 3.8、pytorch 1.9.0环境,服务器运行环境为Ubuntu 16.04,CPU为Intel Core i99900X(3.5 GHz),显卡为11 GB的Nvidia GTX2080Ti.图6为算法整体流程,主要包含4个步骤:预处理、网络训练、保存模型以及验证集分割.首先将4种模态的脑肿瘤训练集图像做预处理,因为医学图像数据集很少,为了增加训练数据的样本量、增强算法的鲁棒性和泛化能力,进行数据集扩充,对图像做随机旋转和随机强度偏移的数据增强并进行裁剪.剪后的128×128×128大小的图像输入到RHMF-Net,批处理量为8,批量归一化采用同步批归一化(synchronized match norm),激活函数使用ReLu函数,初始学习率为1×10-3,Adam优化器进行网络自动优化,训练轮数900,每批训练计算损失函数并更新参数.网络的平均训练时间为12.5 h,而同等硬件设备条件下的3D-UNet平均训练时间为85 h.本文应用广义Dice损失(generalized Dice loss,GDL)为损失函数,定义为
图6 算法流程
式中:rlm和plm分别为类别l下第m个位置处的真实值和预测概率;lω为每个类别的权重,定义为
保证分母值不为零,令ε=1×10-5.最后得到训练结果在验证集上做分割结果验证.
表1展示了RHMF-Net的网络架构具体细节及参数.特征提取步骤包含编码层、解码层以及连接层,编码层、解码层均由RHDC及3×3×3卷积或3×3×3反卷积为基础模块上、下采样,解码层包含了对应的残差连接.连接层由多尺度模块连接编解码层,特征图的大小并未改变.特征提取后的特征图尺寸还原到输入的原图像尺寸,经过像素定位的后处理,主要为3×3×3卷积和最大池化.
表1 RHMF-Net架构细节
2.3 结果分析
本节主要对网络性能进行详细的分析,对不同模块进行有效性验证和消融实验,分析各个模块的性能,并将RHMF-Net与现有的脑肿瘤分割网络进行对比,验证本文网络的有效性.
2.3.1 消融实验
为了验证方法的有效性,进行了两个阶段的消融实验,分析其在ET、WT和TC 3个区域的Dice值和Hausdorff距离上的效果.第1阶段在基础网络上评估每个模块的有效性,第2阶段对网络整体进行了单个模块的消融实验,进一步对各模块分析.以HDC-Net为基础网络,RHMF-Net主要包括特征提取阶段的RCNN、MFPM,以及像素定位阶段提出的MAXF,实验结果如表2所示.
1)评估循环卷积模块的影响
RHDC将RCNN连接到分层解耦模块中,与HDC相比,RCNN在3个区域的精度均有明显提升,相比于HDC分别增加了0.67%、1.07%和0.21%,Hausdorff距离也有改善.消融去实验结果如表2中第5行所示,相比于RHMF,去除RCNN后的网络各项指标明显下降.实验结果表明,RCNN对网络的各项指标都有提升,对于整体肿瘤判别效果提升最为明显,说明RCNN的时域关联性提升了网络整体预测能力.
2)评估多尺度处理模块的影响
多尺度模块包含扩张金字塔和CBAM注意力机制,模块作用网络对于整体肿瘤和核心肿瘤的判别效果有所提升,分别为0.36%和1.05%.消融实验结果如表2中第6行所示,相比于RHMF,去除MFPM后网络的各项指标明显下降.实验结果表明,多尺度模块聚焦于不同尺度特征,能有效地提取融合全局和细节信息.
表2 不同网络结构下的Dice系数和Hausdorff距离
3)评估最大滤波模块的影响
像素定位阶段的最大滤波模块作为后处理步骤连接编码层和分割层.表2中第4行是嵌入了MAXF的HDC的实验结果,相比于HDC分割效果有明显提升,在消融实验(第7行)中,核心肿瘤精度下降最多.实验结果表明:MAXF专注于细节域信息捕捉,在细节信息较多的肿瘤分割任务中,能有效地解决边缘模糊问题.
2.3.2 与先进网络对比情况
为了进一步验证网络的有效性,在Bra TS2020验证集上将RHMF-Net与经典网络以及先进网络比较.表3列出了经典脑肿瘤分割网络和最新的先进网络,以及目前效果最好的轻量网络的分割结果.由表3可以看出,大部分方法较经典网络有更好的分割能力,此外,轻量网络很大程度上降低了参数量,与传统3D方法相比减少了计算开销.
与其他方法相比,RHMF-Net在参数和精度上均有一定竞争力,在增强肿瘤、全肿瘤和核心肿瘤3个区域上分割结果分别为77.23%、90.01%和83.10%,参数量为0.42×106,远低于其他先进网络,但同时与其分割精度相当.在轻量网络中,RHMF-Net也有较好的表现.其中HDC-Net为参数量最低的轻量网络,RHMF-Net在3个区域的Dice值上分别高于HDC-Net 0.47%、1.23%和2.72%,且仅增加很少参数.VT-UNet是先进方法Transformer的轻量化变体,有良好的分割性能,RHMF-Net虽然在增强肿瘤与整体肿瘤区域上的精度略低于VT-UNet,但是在核心肿瘤和Hausdorff距离上都有更好的表现,且参数量为VT-UNet的1/28.
表3 不同脑肿瘤分割网络在BraTS2020验证集上的性能比较
2.3.3 单维度注意力模块有效性验证
经典的SE是单维度通道注意力模块,关注特征信息在通道间的关系,校准动态通道特征;而对于分辨率较高但语义较弱的特征,CBAM还结合了空间注意力,从空间块中获得高级的类别信息,有助于重构原始图像分辨率.本节实验对比了CBAM与SE模块的分割性能,二者均为轻量化模块,并不影响网络的参数量,最终比较结果如表4所示.
表4 不同注意力模块的分割结果对比
相比于单维度的通道注意力模块SE,CBAM在BraTS2020数据集的分割结果更好,能更好地提取图像的整体特征,可以结合图像深层和浅层多类别特征信息,增强目标信息同时获得位置信息,更灵活高效地处理多尺度关系,显著提升分割效果.
2.3.4 不同损失函数对比实验
考虑到网络性能,本文比较了不同损失函数对网络的影响,如表5所示.在本文网络Softmax Dice Loss(SDL)、Focal Loss(FL)和GDL均表现出良好的分割能力,说明本文所提网络有一定的稳定性.SDL和FL分别在整体肿瘤和增强肿瘤上出现最高值,但是其他区域的分割效果并不突出,而GDL的分割结果的整体上都接近于最高值,并在核心肿瘤、Hausdorff距离有最好的表现,能更好地指导手术,因此本文最终采用GDL作为损失函数.
表5 不同损失函数的分割结果对比
2.3.5 分割结果可视化
为了直观展示本文网络分割效果,对RHMF-Net和其他网络的分割结果进行可视化对比.由于MICCAI官方竞赛网站未公开验证集的真实分割结果,本文展示了在BraTS2020训练集上的分割结果图像.图7为水平面、矢状面和冠状面的脑肿瘤图像,红、黄、绿3种颜色代表不同的肿瘤类别,从左到右分别为(a)未分割原图、(b)经典网络U-Net分割结果图像、(c)先进网络TransBTS分割结果图像、(d)轻量网络HDC-Net分割结果图像、(e)本文网络RHMF-Net分割结果图像和(f)专家手动标注结果(GT).可以看出与其他网络结果相比,本文网络和先进网络与专家标注结果更为接近.
图7 MRI分割结果图像
3、结语
本文针对脑肿瘤图像特征提出了一种结合全局依赖关系和局部细节信息处理的轻量网络,用于多模态三维脑肿瘤图像的精细分割,缓解人工处理代价过大和普通机器处理训练较难的问题.在本文网络中,采用结合了轻量卷积块的循环卷积单元来替代经典3D卷积,添加多尺度处理模块,更好地捕捉全局和细节信息,提出最大滤波模块用于特征提取后的细节域像素定位处理,以增强网络的分割效果.在BraTS2020数据集上的分割结果分别为77.23%、90.01%和83.10%,参数量为0.42×106,与其他网络相比,在具有较少数据量的同时达到较高的分割精度.改进后的网络能够处理全局性关系和细节分割,明显改善了三维图像计算开销巨大和轻量网络分割精度不足的问题.
参考文献:
[10]李锵,武昱忻,关欣,等.基于SRD感受野自调节的肺炎病灶检测[J].天津大学学报报(自然科学与工程技术版),2021,54(5):508-516.
[11]曹玉珍,郑洁,余辉,等.基于超声影像的甲状腺结节智能分割算法[J].天津大学学报报(自然科学与工程技术版),2022,55(7):674-681.
[28]张为,李璞.基于注意力机制的人脸表情识别网络[J].天津大学学报(自然科学与工程技术版),2022,55(7):706-713.
[29]李锵,王旭,关欣.一种结合三重注意力机制的双路径网络胸片疾病分类方法[J].电子与信息学报,2023,45(4):1412-1425.
基金资助:国家自然科学基金资助项目(61872267,U21B2024);超声医学工程国家重点实验室开放课题资助项目(2022KFKT004)~~;
文章来源:李锵,李瑞璇,刘恒忻等.循环分层解耦卷积和最大滤波的三维脑肿瘤图像分割[J].天津大学学报(自然科学与工程技术版),2024,57(03):223-233.
分享:
癌症是当今社会最恶性的疾病之一,对全人类的生命安全有着严重的威胁。越来越多的研究表明microRNA(miRNA)的异常表达与癌症密切相关。例如,miRNA-21的异常表达与乳腺癌、宫颈癌的发生与发展有关。然而,miRNA具有尺寸小,不稳定,疾病早期丰富度较低和高序列同源性等特性,使得miRNA的精确检测具有挑战性。
2025-08-05肺腺癌是非小细胞肺癌的一种,属肺癌常见类型,手术是其临床治疗的首选方式[1]。早期由于疾病进展缓慢,患者初期症状不明显,当确诊时仅有小部分患者符合手术指征,因此临床常于术前实施新辅助化疗,目的是抑制局部肿瘤生长及淋巴结转移来增加手术切除效果,延长患者生存时间[2]。
2025-07-11近年来全球恶性肿瘤负担日益沉重,据统计,至2022年恶性肿瘤的年患病数已达2000万,死亡患者也接近1000万病例,这对全世界居民的生命安全构成了严重威胁。目前恶性肿瘤的病理机制尚未完全阐明,临床仍无特效手段能完全阻断肿瘤细胞的恶性增殖、侵袭和转移等行为,需要长期维持管理,许多患者最终会因肿瘤复发进展死亡。
2025-06-23颅内动脉瘤为临床常见的脑血管疾病,一旦破裂,血液则会迅速流入蛛网膜下腔,除引起颅内压急剧升高外,还会引发一系列严重的临床症状,严重威胁患者生命安全。目前临床对于该病常采用介入栓塞术治疗,然而有部分患者术后可能发生脑血管痉挛,引起脑组织缺血。既往有研究指出,年龄与脑血管痉挛的发生具有一定关联。
2025-04-11非小细胞肺癌(non-smallcelllungcancer,NSCLC)是常见的恶性肿瘤之一[1]。进展期NSCLC对患者的威胁较大,治疗不佳可能导致患者预后不良[2-3]。进展期NSCLC无法进行手术干预,化疗是其治疗的重要干预方式之一[4-5]。及时有效的疗效评估对于调整治疗方案、改善患者预后及延长患者生存时间均有重要作用。
2025-03-18软骨肉瘤是起源于软骨细胞的恶性肿瘤,多见于中年人群,好发于四肢长骨、骨盆等部位,患者主要症状表现为疼痛、肿胀,且由于软骨肉瘤对放化疗不敏感,故临床首选的治疗方案为手术治疗[1-2]。但临床研究结果显示,软骨肉瘤进行手术治疗后的复发及转移率较高,患者预后较差,生存情况不佳[3-4]。
2025-03-18近 30 年来,随着城市化率、老龄化率、超重肥胖率的上升等原因,我国糖尿病的患病率在持续增长,流行病学数据显示:我国成人糖尿病患病率为 11. 2%,这其中 2 型糖尿病 ( type 2 diabetesmellitus,T2DM)占 90%以上。 与此同时,近几十年来,我国恶性肿瘤的发病率和死亡率也在呈持续上升的趋势。
2025-02-07肝癌是全球死亡率排名第三的癌症,肝细胞癌(hepatocellular carcinoma,HCC)是原发性肝癌的主要类型,占85%~90%[1-2]。目前,肝切除手术和肝移植能显著延长早期HCC患者的生存时间,但晚期患者复发率高、预后较差[3-4]。上皮间质转化(epithelial-mesenchymal transition,EMT)是指上皮细胞转化为具有迁移能力的间充质细胞的过程。
2025-01-08大鼠肉瘤基因(rat sarcoma gene,Ras)家族中K-Ras突变最为常见。Ras蛋白是Ras基因表达的产物,通过调节鸟嘌呤三核苷酸磷酸(GTP)与鸟嘌呤二核苷酸磷酸(GDP)的相互转化来调节细胞增殖分化。Ras基因突变后,Ras蛋白构型发生转变,失去了调节能力,造成细胞不可控地增殖。
2024-12-19原发胃肠道弥漫大B细胞淋巴瘤(primary gastrointestinal diffuse large B-cell lymphoma,PGI-DLBCL)是一种原发于胃肠道的弥漫大B细胞淋巴瘤,是最常见的结肠外淋巴瘤类型之一,其具体发病机制尚未明确,可能与细菌、病毒感染等因素有关,通常发生于食管、胃、小肠、大肠等部位[1]。
2024-12-17人气:24347
人气:18444
人气:17863
人气:17238
人气:16692
我要评论
期刊名称:肿瘤学杂志
期刊人气:2020
主管单位:浙江省卫生和计划生育委员会
主办单位:浙江省肿瘤医院,浙江省抗癌协会
出版地方:浙江
专业分类:医学
国际刊号:1671-170X
国内刊号:33-1266/R
邮发代号:32-37
创刊时间:1977年
发行周期:月刊
期刊开本:大16开
见刊时间:10-12个月
影响因子:1.474
影响因子:2.876
影响因子:0.899
影响因子:0.000
影响因子:2.153
您的论文已提交,我们会尽快联系您,请耐心等待!
你的密码已发送到您的邮箱,请查看!