前列腺癌是常见的癌症之一，也是导致男性癌症死亡的主要原因之一[1]。尽早地发现和治疗可以降低其死亡率。磁共振(magnetic resonance, MR)成像技术由于其安全性和高清晰度，被广泛应用于前列腺的检查中。在临床应用中，医生需要对前列腺MR图像进行观察，标注并分割出前列腺组织区域，从而对前列腺的病变程度作进一步的诊断和评估。但人工分割需要耗费大量精力，且容易受到个人主观因素的影响。因此，利用计算机辅助医学图像的分割具有重要的临床意义。一些依赖人工设计特征的半自动化分割方法，需要大量的临床经验，限制了其广泛应用。随着计算机硬件的飞速发展，基于卷积神经网络的分割方法越来越受到研究者的关注。

SHELHAMER等[2]提出一个全卷积网络(fully convolutional networks, FCN),在网络最后用卷积层代替传统的全连接层(full connected layer, FC),这样不仅能够适应不同尺寸大小的图像输入，同时还可以进行像素级别的图像分割，成为了语义分割的旗帜性模型。RONNEBERGER等[3]提出了UNet模型，它采用独特的编码器解码器结构，编码器不断下采样获得更多的特征信息，解码器不断上采样便于恢复图像的空间信息，再通过跳跃连接去补充解码器和编码器的语义歧义，在细胞图像分割中获得了不错的效果。BAI等[4]改进了UNet模型，通过使用不同大小的空洞卷积来增加网络的感受野，进而捕获细胞图像中丰富的多尺度特征，对不规则形状的细胞具有良好的分割精度和泛化能力。由于前列腺MR图像是三维图像，采用传统的2D网络结构在训练时需将图像分割成多张切片，会损失切片之间的空间联系且存在特征关注程度不足的问题[5]。因此，许多研究者多采用3D网络结构进行MR图像的分割。ÇIÇEK等[6]提出的3D UNet得到了广泛应用，它采用3D卷积结构来获得更多的特征信息，加强了图像各层切片的信息交互。MILLETARI等[7]提出了V-Net,引入了一种新的Dice损失函数，缓解了前景和背景的类别不平衡问题，可以对输入的前列腺MR图像进行端到端的3D体素分割。虽然这些方法获得了不错的分割结果，但因为MR图像的对比度较低、边缘模糊等特点，需要进一步加强网络特征提取能力，以优化分割效果。ZHU等[8]提出领域迁移的前列腺分割方法，但需要依赖其他医学数据集，限制了其适用性。有研究者采用大卷积核[9]和增加网络宽度[10]的方法来获得更多特征信息，但会带来参数量和分割时间的大幅增加。SHAO等[11]在网络中使用深度可分离卷积，虽然理论上可以减少计算量，但在实际应用中并没有像普通卷积运算那样做专门的优化，限制了其应用。注意力机制[12]在计算机视觉领域大放光彩，其可以进行重要特征的关注并抑制无关特征，但大多运用在自然图像中，在医学图像领域中的应用较少， 且上述分割方法仍旧存在复杂度较高、精度较差等缺陷，需要进一步研究。

综上，本文研究了基于改进3D UNet的端到端的前列腺MR图像的分割模型，主要研究内容如下：

1)为了降低3D UNet的模型运算量并提高网络的分割能力，本文优化了模型的结构，包括调整网络层数和通道数、添加残差连接、改变标准化方式等。

2)为了进一步提升网络的特征提取能力，使网络能够关注前列腺边缘等关键区域，更好地定位和分割前列腺，本文分析了自然图像领域的注意力机制，在阐述其局限的基础上，设计了双路径注意力(dual path attention, DPA)模块，通过通道注意力和全局注意力的结合来准确分割前列腺。

3)为了加强模型的空间表征能力，使模型能够适应特征图尺寸的变化，本文提出了多尺度特征聚合(multi-scale feature aggregation, MFA)模块，通过不同尺寸大小的特征图来获得不同尺度的特征信息，并对这些多尺度特征图进行了汇集和融合。

1、方 法

1.1网络结构

本文的网络整体结构如图1所示。采用了编码器解码器结构，左边编码器部分通过下采样获得更多的特征信息，右边解码器部分通过上采样恢复特征图的原始尺寸大小以便于进行最后的体素分类。为了减少计算量并提升分割性能，模型基于3D UNet网络进行改进。将DPA模块添加到网络编码器各层，加强网络的特征提取。对解码器各层特征图进行MFA,更好地进行体素级分类以精细化分割结果。

此外，本文还对3D UNet网络的模块参数和结构进行了优化(tuned 3D UNet, TUNet)。1)增加网络深度，改进的3D UNet网络为4次下采样和上采样，网络层数加大，可以提取更多的特征；2)原网络每层2个卷积块中的批标准化(batch normalization, BN)替换为实例标准化(instance normalization, IN),ReLU激活函数替换为LeakyReLU,并添加残差连接，可以加速收敛并减小Batchsize超参数的影响[13]; 3)调整第1层通道数为16,跳跃连接用于融合相同分辨率和通道大小的信息，以缓解计算负担的压力并减小语义歧义。

图1网络结构  

1.2 DPA

SE-Net[14]作为一种轻量级注意力机制，在计算机视觉领域中得到了较多的使用，它主要由全局平均池化层(global average pooling, GAP)和FC组成，GAP用于压缩图像尺寸，获得各个通道的统计数据，FC用于通道之间的信息交互。但SE-Net的做法可能会损失图像的空间特征信息。受SE-Net的启发，本文提出了一种DPA模块，如图2所示。它由两条路径组成，其中一条路径由GAP和FC组成，用于获得通道信息；另一条路径由FC组成，用于关注图像的全局空间信息。然后通过相加的方式融合来自两条路径的通道信息和全局信息，可以让网络在获得通道注意力的同时兼顾到全局空间特征信息，更好地定位到前列腺区域。最后经过激活函数获得权重因子，并加权到原始特征图，得到输出结果。

对于输入特征图X∈RC×D×H×W,其中，通道数量为C,图像切片数量为D,每张切片大小为H×W,通道注意力路径(图2上半分支)包括两次FC和ReLU激活函数，其输出结果为Ac。其中，FC用于线性处理，ReLU用于非线性处理。计算过程如式(1)和式(2)所示：

式中，σ为ReLU激活函数；GAP(·)为全局平均池化层的处理；

为第一个FC的权重矩阵，本文取压缩因子r为8,目的是为了压缩通道数量，减少计算量；

为第二个FC的权重矩阵，用于进行各个通道的信息交互。

图2 DPA模块结构 

同时，空间注意力路径(图2下半分支)并行处理输入特征图X,获得全局特征图Ag。具体实现如下：

式中，W3与W4为权重矩阵。为了获得图像的全局信息，并未进行GAP的处理。

为融合来自通道注意力的特征图和全局空间的特征图，将两者相加并通过sigmoid激活函数进行处理获得加权系数，再将此系数加权到原始特征图上，如式(4)所示：

Xo=(sigmoid(Ac⊕Ag))⊗X, (4)

式中，输出特征图为Xo,⊕和⊗分别表示按元素相加和相乘。

1.3 MFA模块

在经典的3D UNet分割网络模型中，解码器通过拼接或相加操作来融合编码器的特征信息并恢复图像尺寸大小。但简单地合并同级分辨率的特征图进行卷积处理可能会导致空间语义信息不足的问题。受TGA-Net[15]的启发，本文提出了MFA模块，它通过融合解码器不同层级的特征图来获得不同尺度的特征信息，并进行一系列卷积和非线性处理增强其稳定性。MFA模块如图3所示。

输入的4个特征图来自解码器的4个不同分辨率级别，用于获得多个尺度的特征信息。用f1、f2、f3、f4分别表示Input1、Input2、Input3、Input4。MFA模块输入特征图可表示为：

式中，C表示输入特征图的通道数量，D为图像的切片数量，H和W表示切片图的高和宽。

为了能够融合不同尺度特征图的空间上下文信息，需要对不同分辨率的特征图进行上采样处理，分别对f2、f3、f4进行2倍、4倍、8倍的上采样，以统一各个输入的分辨率大小，输出为fui,再通过1×1×1卷积调整通道数，然后进行拼接操作融合多个尺度的特征信息。输出fcat计算过程如下：

式中，Upsample(fi, n)表示对fi进行三线性插值上采样，n为上采样倍数，Conv3d表示卷积核大小为

1×1×1的3D卷积，Concat表示按通道拼接。

为了进一步加强特征信息的提取，增强网络的稳定性，对于拼接后的结果fcat还需进行一些卷积块的处理，最后输出fo如式(8)—(11)所示。为了加速收敛速度并提升分割精度，本文还采用了DenseNet[16]的残差处理，模块内部增加了3条残差连接(见图3右侧),并将DenseNet的拼接操作替换成相加操作以减少计算量。

图3 MFA模块结构 

式中，Conv3d为1×1×1大小的3D卷积，res1、res2、res3为加入残差连接之后的中间输出结果，最后输出fo尺寸为C×D×H×W。

1.4损失函数

在模型训练过程中，本文采用了混合损失函数[17],其结合了交叉熵损失和Dice损失。交叉熵损失从信息论的角度出发，可以度量预测概率分布和真实分布的差异，它计算的是总体的期望，前景和背景有着相同的加权因子。Dice损失广泛应用于医学图像分割中，是一种基于区域的损失函数，还可以缓解前景和背景的数据分布不平衡的问题。采用混合损失函数可以提升模型训练的稳定性，公式如下所示：

式中，lossdice为Dice损失，pi和gi分别表示预测图和真实标签图的像素值，λ为数值很小的平滑因子。lossce为交叉熵损失，N代表体素个数，Loss为总体损失函数，α和β为加权系数，本文中均取值为0.5。

2、实验结果与分析

2.1数据集及预处理

本文数据集采用MICCAI2012挑战赛公开数据集PROMISE12[18],其中含有50个包含金标准(ground truth, GT)的横向T2加权前列腺MR图像。图像有着不同的体素间隔和尺寸大小，均采集于实际的临床医学环境中。本文对数据集进行了随机划分，训练集与测试集划分比例为8∶2,即训练集为40个，测试集为10个。

本文对图像的预处理分为3个部分，分别为重采样和裁剪、数据增强、归一化。因为数据集有着不同的体素间隔、不同的尺寸大小，所以需要对数据集统一尺寸和体素间隔。本文对数据集进行了重采样处理，通过线性插值的方式统一体素间隔为(1 mm, 1 mm, 1 mm),更加有利于后续神经网络中3D卷积的运算；为了减少前列腺周围无关组织的干扰并降低GPU显存的消耗，对图像进行中心裁剪处理，固定图像尺寸为(96,96,96);因数据集样本过少，网络训练很可能会过拟合，所以对数据集进行了翻转、旋转等数据增强处理；为了加速网络收敛和提升模型精度，采用了Z-score归一化方法，使前列腺图像体素值服从均值为0、方差为1的正态分布。

2.2实验环境与评价指标

本文的所有实验均是在相同的硬件和软件环境下进行的。硬件环境采用了一个RTX 3090GPU显卡，24 G显存大小，处理器为Intel(R) Xeon(R) Platinum 8350C CPU @ 2.60 GHz;软件环境采用了Ubuntu18.04.5操作系统，Python编程语言和PyTorch深度学习框架，CUDA和CUDNN版本分别为11.1和8.05,可以更好地加速深度学习算法。在网络训练阶段，本文的实验参数设置为：批处理输入Batchsize大小为4,初始学习率为0.001,采用Adam优化器进行模型训练的更新迭代，总迭代轮数为500轮。

为了客观评价前列腺图像的分割结果，本文选用了4种医学图像分割中常用的评价指标，分别为Dice系数(dice coefficient, Dice)、豪斯多夫距离(hausdorff distance, HD)、精确度(Precision)和敏感性(Sensitivity)。公式如下所示：

式中，GT表示分割金标准，Pre表示预测分割结果，TP和FN分别表示真阳性和假阴性，表示实验中被正确分类为前列腺区域的体素和被错误分类为无关背景组织区域的体素，FP表示假阳性，即错误分类为前列腺区域的体素。Dice系数用于评估分割结果与真实标签的区域重叠程度，取值范围为[0,1],值越高，表明与金标准重合程度越高。敏感性和精确度用于评估分割的完整性和准确性。HD则是用来计算分割边界和真实边界的距离，值越小，说明分割边界与真实边界的差异越小。其中，Y和Yˆ

分别为金标准分割轮廓的集合和预测图轮廓的集合，

表示预测分割图边界像素点y与金标准分割图边界像素点yˆ

的欧式距离。

2.3模型消融实验

为了验证所提方法中各模块的有效性，对改进的3D UNet模型在PROMISE12数据集上设计了消融实验，实验结果见表1。网络以第1章方法中提到的优化的3D UNet网络(tuned 3D UNet, TUNet)模型作为基准网络，在此基础上加入了DPA模块、MFA模块，验证各个模块对模型性能的影响。

从表1中第2行可以看出，相比较于标准的3DUNet网络，经过优化过的3D UNet在多个指标性能上都得到了提升，其中Dice系数提升了2.19%,HD降低了1.26 mm,敏感性提高了1.35%,精确度提升了2.60%,说明经过优化的3D UNet可以在一定程度上提升模型的分割性能。

表1各模块消融实验对比

表中第3行加入了DPA模块，进一步提升了模型的分割性能，其中，Dice系数提升了1.20%,HD降低了0.64 mm,特别注意的是在精确度指标上有了很大的提升，提升了3.58%。这说明模型获得了比较准确的分割结果，误分割率较低，表明了DPA模块的有效性。

表中第4行加入了MFA模块，相比于第2行中优化的3D UNet模型，Dice系数和精确度分别提高了1.31%和3.06%。MFA模块融合了来自解码器的多个尺度的特征信息，增强了空间上下文的建模能力，因而带来了Dice系数和精确度指标上的提升。但因其只关注到了多尺度的空间特征信息，在细节特征方面的关注尚有欠缺，所以在HD指标上不如添加DPA模块的结果。

表中最后一行为本文提出的改进3D UNet模型的分割指标结果，可以看到Dice系数和精确度有着最好的结果，分别达到89.90%和90.64%,HD也与只加MFA模块相比降低了1.15 mm。这说明结合DPA和MFA可以有效提升Dice和HD指标的性能。虽然敏感性指标提升不明显，但对于前列腺分割任务而言，分割的准确性，如Dice系数和精确度是最为重要的指标。通过消融实验表明，本文提出的融合DPA和MFA模块的改进3D UNet模型有着更好的分割性能。

2.4与主流方法的对比

为了更进一步地验证本文所提方法的有效性，本文与主流的分割方法进行了比较，主要对比方法为FCN、3D UNet、V-Net,并用参数量(parameters, Params)、运算量(floating-point operations, FLOPs)、Dice系数、HD等指标进行了性能的分析。测试集的平均分割结果如表2所示。

由表2可以看出，本文模型的分割方法在多个指标上均优于其他方法，其中Dice为89.90%,HD为9.37 mm,敏感性为89.37%,精准度为90.64%。而且相比较于3D UNet和V-Net, Dice分别提高了3.77%和3.54%。运算量分别减少了87.29%和83.39%,参数量分别减少了56.12%和89.12%,提升了分割精度并极大地减少了计算量。虽然FCN-8s的运算量和参数量均最低，但其对低层信息的利用程度不足，分割指标较差，Dice只有80.09%。为了更直观地表明本文方法的有效性，选取了测试集的几个前列腺切片进行了可视化的展示，如图4所示。

图4中，第1列为原始图像，第2列为金标准。其余4列分别为主流分割方法与本文分割方法的分割结果图。从整体来看，FCN表现最差，分割图中出现了锐利的边缘以及误分割，分割结果比较粗糙。3D UNet和V-Net分割结果定位不够精准且边缘部分分割不够好，相比于金标准来说，还有不少的差距。本文方法在外观上更贴近于真实金标准。

Case09的前列腺图像亮度较低，对比度较低，肉眼都很难观察到前列腺组织，3D UNet和V-Net对边缘的分割不够精细，本文提出模型的分割边缘更好。

对于Case13而言，前列腺组织较小，考验模型对小目标的分割能力，可以看到3D UNet和V-Net对前列腺判定不够准确，没有很好地定位到前列腺的组织区域，分割结果较差，本文方法有着更优的分割结果。

表2与主流方法的测试结果对比

图4不同方法分割结果对比图  

Case28边缘模糊，没有清晰的边界，分割较困难，可以观察到，3D UNet和V-Net的分割边缘存在误分割和欠分割等情况，本文所提方法有着更优的分割结果。

Case29前列腺组织较大，属于大目标分割，且前列腺组织内部的灰度值分布不均匀，甚至出现了亮度明暗的两级分化的情况，3D UNet和V-Net边缘分割较差，本文方法更贴近于专家手工分割的金标准。

通过分割结果的可视化进一步表明了本文分割方法的有效性。通过模型方法的对比分析和可视化展示，证明了本文方法无论是从定性还是定量性能指标上都有着更优的结果。

3、结 论

本文针对前列腺图像分割精度较差和参数量较多等问题，提出了端到端的改进的3D UNet网络，首先优化了3D UNet网络并加入了残差连接，加速了网络的收敛。然后在此基础上增加了本文提出的DPA模块和MFA模块，DPA模块用于加强网络的编码能力，提取更多的关键特征信息，MFA模块用于提取空间的上下文信息，获得更好的分割结果。在PROMISE12数据集的实验结果表明，与其他主流分割方法相比，本文所提出方法能够更好地分割前列腺图像，对于对比度较低、边缘模糊的图像也有着不错的分割结果，可以辅助医生进行临床诊断及治疗。但本文没有对前列腺分割结果进行后处理操作，接下来的工作将进一步验证模型在其他数据集上的泛化能力。

参考文献:

邵党国,黄俊辉,徐慧.基于多尺度空洞分离卷积的U-Net分割前列腺图像[J].光电子·激光,2022,33(5):554-560.

文章来源:桑子江,邵叶秦,许昌炎.基于改进3D UNet的前列腺MR图像分割[J].光电子·激光,2023,34(12):1337-1344.