基于磁共振的放射治疗要求精确的肿瘤分割。由于磁共振成像（Magnetic Resonance Imaging,MRI）不是胸部成像的标准，因此很难获得足够多的具有专家标注的MRI图像集来训练深度学习方法。计算机断层扫描（Computed Tomography,CT）和MRI多模态转换是人工智能技术应用于医学影像最有前途的领域之一，CT和MRI图像转换可以表述为从原始CT图像到目标MRI图像的映射问题，MRI和CT之间的交叉通道图像配准是一个具有挑战性的问题，因为不同的成像机制会导致组织或器官外观的高度变异性，缺乏一个通用的规则来比较这类图像。CT和MRI图像中的像素强度、体素大小、图像方向和视场也不同，导致多模态配准效果不如单模态配准效果好。在未配对图像数据生成中，循环一致性生成对抗网络（Cycle-Consistent Generative Adversarial Networks,CycleGAN）可以获得较好的结果[1]，但仍有提升的空间。NVIDIA提出的Style GAN2用于生成高质量的真实图片[2]，基于此，本文结合CycleGAN和StyleGAN2模型的特点，提出一种基于CSCGAN的未配对多模态图像转换方法。其主要思想是将Style GAN2精细的控制特点融合到Cycle GAN的生成器网络中，构造新的生成器和鉴别器，同时添加混合注意力机制。

1、研究现状

随着MRI引导放射治疗（MRIgRT）的发展，由MRI扫描仪集成的加速器优势明显，逐渐取代了利用CT进行的影像引导放射治疗技术（Image-Guided Radiotherapy Technique,IGRT）。MRIgRT有几个明显的优势，首先，MRI图像中软组织的对比度明显优于CT图像，可以提供更清晰的肿瘤病理和周围区域的细节[3,4]。其次，MRI无需额外放疗，可以实现实时成像，可以基于软组织可视化进行快速自适应规划和约束投放控制，使用精确的MRI指导放疗能够进一步降低辐射剂量。

医疗图像常见的处理需求包括检测、分割识别医学图像中的区域与对象等[5]。而基于磁共振的放射治疗要求精确的肿瘤分割。不同模式之间的标注可能会对基于软组织的IGRT标注产生不利影响。对于CT转换MRI，已经有许多合成方法被提出，如Emami等[6]提出一种以残差网络作为生成器的模型，在数秒内实现MRI图像生成高质量CT图像。Emami等[7]在生成器中加入图像域翻转平移的全局流和保留两域之间不一致区域的局部流，更好地保留了生成图像的细节信息。Qi等[8]和Lei等[9]从体系结构的角度对Cycle GAN进行了修改。Yang等[10]和Ge等[11]从损失函数的角度对CycleGAN进行了修改。

对于MRI-CT配准，与CT-MRI配准相比，Zachiu等[12]展示了更好的单模配准结果[13]。为了解决具有挑战性的多模态图像配准问题，已经提出了多种方法来使用成对的MRI和CT数据进行MRI到CT图像的转换。这些模型包括高斯混合回归模型、随机森林回归模型、基于分割的方法。基于地图集的方法和基于学习的方法，如Xiang等[14]设计了一个深度嵌入卷积神经网络（Convolutional Neural Network,CNN）来学习MRI到CT映射等。另外，还提出了一些基于非监督深度学习的方法用于MRI-CT合成[15,16,17,18,19,20,21]。如Nie等[22]在pix2pix网络中添加了基于梯度的损失函数，对图像边缘进行了强化，实现了上下文感知，可用于MRI到CT图像合成。然而，CT图像中丰富的解剖信息的丢失使得精确的配准变得困难，因为足够的解剖细节也可以引导精确图像配准[23]。Wolterink等[24]提出了将GAN应用在低剂量CT到常规多种剂量的转换。Jiang等[25]在MRI与CT的相互转换中引入一种新的靶标特异性肿瘤感知损失算法，来加强对容易丢失的肿瘤结构的学习，使得肿瘤信息在图像的转换过程中能得到更好的保留。

以上几种方法大部分使用CT和MRI相互对应的数据作为训练数据，但在实际应用中，很难收集到对应的CT和MRI数据，为了解决不配对医学图像的跨模态转换，Dar等[26]提出了一种多对比度的MRI图像合成端到端框架，通过Patch-GAN和CycleGAN来实现，但是该网络合成的是三维MRI图像。Chartsias等[27]使用CycleGAN模型和未配对的心脏数据实现不同患者的CT图像生成MRI图像。然而，这项工作不能直接定量评价成由未配对的心脏图像生成的MRI图像，因为很难从一直跳动的心脏中获得MRI和CT的成对图像。Jin等[28]通过使用配对和非配对的脑CT/MRI数据生成MRI图像，提高了放疗规划中基于CT目标勾画的准确性，其采用的是一种非监督学习神经网络，但并没有比较传统的监督学习方法和非监督学习方法在MRI图像生成任务中的效果差异。Abu-Srhan等[29]基于Wasserstein GAN(WGAN）模型提出一种无监督注意引导的GAN模型，实现MRI图像与CT图像的双向转换。

2、研究方法

本文提出了一种新型生成对抗网络模型CSCGAN，该网络利用CycleGAN作为框架，添加精细控制结构形成新的生成器，同时修改鉴别器结构，并将生成数据和真实数据按照不同结合比例放入不同的分割网络进行分割，分析生成数据的质量以及在数据扩充方面对于分割网络的增益作用。本文模型总体框架流程图如图1所示。

图1 生成和分割模型框架流程图  

本研究的生成与分割总体步骤如下：（1）借鉴CycleGAN不需要配对数据和StyleGAN2能够精细控制生成细节的特点，提出了CSCGAN模型，用于生成接近真实图片的数据。（2）使用Chaos医学数据集来预训练分割模型，预先获得合适的预训练神经网络模型参数，从而提高分割准确性。（3）将生成模型生成的数据放入分割网络。分割网络损失函数为Dice loss系数，该损失函数在医学图像分割数据不均衡问题上可以有效降低影响，从而改善分割模型的性能。（4）通过不同策略验证生成模型，分析各项结果指标。肝脏肿瘤图像生成与分割模型结构如图2所示。

图2 肝脏肿瘤图像生成、分割模型示意图  

2.1 生成式对抗网络模型

作为一种深度学习模型，生成式对抗网络经过两个生成网络和判别网络模块的互相博弈，获得优异的输出结果。生成网络的输入是随机的噪声，由噪声生成图片，输出要求是最大化接近真实的训练数据，其作用是尽量生成接近真实的图片去隐瞒判别网络。判别网络以真实的数据或者生成网络输出结果作为输入，其作用是辨别输入的是真实的数据还是生成的假数据。两个网络相互对抗，不断调整参数。

2.1.1 CycleGAN模型

CycleGAN是一个由两对生成器及判别器组成的环形结构，不需要完全配对的数据。在生成器中，分为编码和解码两个部分。如图3所示，X表示X输入域的图像，Y表示Y目标域的图像。生成器G表示X到Y的变换，生成器F表示Y到X的变换和逆变换，DX和DY用来判别F和G的性能。X通过G生成Y，再通过F重新构造出X原图像；同等原理，Y最终重新构造出Y原图像。将原域图片X送入（X→Y方向）G生成目标域图片Y,DY判别Y的真假，然后再将生成的目标域图片Y送入（Y→X方向）F，逆变换生成原域图片X，对真实X和生成X进行判断。反之，反向生成器（Y→X)F通过判别器DX进行博弈。

图3 CycleGAN结构   

2.1.2 StyleGAN2模型

StyleGAN是一种新的生成网络，由Karras等[30]提出。可以通过无监督式的自动学习对图像的高层语义属性做一定的解耦分离，也可以直观地按照特定尺度做到一定程度上的控制合成。但是，StyleGAN在生成图像的过程中有时包含斑点似的伪影（artifacts），而StyleGAN2重点修复arti‐facts问题，并进一步提高了生成图像的质量和训练的速度。StyleGAN2与StyleGAN在结构上的区别如图4所示。

图4 StyleGAN与StyleGAN2的结构对比  

2.2 CSCGAN网络模型

神经网络的训练需要大量的数据来支撑，由于医疗图像数据的收集难度大，需要专家进行手动分割，耗时耗力，且分割标准受多种因素影响，因此，本研究采用了生成对抗网络生成肝脏肿瘤数据，扩充数据集，提高分割网络的分割精度。

由于配对的CT和MRI图像难以获取，故以CycleGAN作为框架，学习CT到MRI的转换，但是由于CycleGAN没有对图像建立明确的模型，可能存在模式坍塌（mode collapse）问题，导致生成的图像质量不高。而StyleGAN2能够控制合成图像的样式和特征的精细，实现高分辨率图像的合成，因此借鉴了StyleGAN2的生成器精细控制特点，将其融入到CycleGAN中，提高生成样本的精度。加入噪声模块，结合合成网络学习到的样式细节与接收得到的噪声，得到新的肝脏肿瘤数据，使数据集的随机性和多样性得以扩大。另外，为了防止大量变异的结构（例如肿瘤）在CT到MRI图像转换时丢失，修改了鉴别器结构，在其中加入了混合注意力机制。图5显示了CSCGAN的网络结构。

图5 CSCGAN网络结构图   

研究模型CSCGAN借鉴了CycleGAN的处理模式，对网络的生成器进行了修改，融入了StyleGAN2的样式控制模式，并修改了噪声模块和鉴别器的结构。主要的修改内容有以下几点。

(1）使用原始的噪声结构，在生成的图像中会得到许多额外的噪点，为了避免其不利的影响，将噪声模块移到style block内，噪声模块仅加在第一层。如图6所示，改进后生成的图像去掉了绝大部分噪点，获得了更优秀的生成数据。由于不同时期、不同类别的肝癌较为相似，病变边缘不清晰等特殊性，对于数据的准确性要求非常高，本文的改进噪声部分可为肝脏临床区分病变区域提供更精确的样本数据。

图6 使用原始噪声模块和改进后噪声模块结果对比图  

(2）修改了CycleGAN鉴别器的结构。每个卷积层的卷积核数量分别是128、256、512、1 024。为了稳定鉴别器网络训练，除首层和最后层外，在其余卷积层中使用leaky ReLU函数而不是原始的ReLU函数。鉴别器结构如图7所示。

图7 鉴别器结构   

(3）在鉴别器结构中添加混合注意力模块。由于数据的分辨率高，容易产生不稳定的训练，导致生成的数据受到影响。为了防止肿瘤在从CT到MRI图像转换时不能完全精准保留，将混合注意力模块融合到特征提取和融合中。本文融合了混合注意力机制，由通道注意力模块为不同通道分配权重，获取CT和MRI图像和其中的显著特征；再由空间注意力机制根据不同区域特征的空间关系为各区域分配权重，并根据图像中权重大的区域及其相关度高的区域进行图像转换。混合注意力公式如下：

在使用上述方法对数据进行模态转换之后，为了验证转换效果对分割网络的影响，预训练了3种常见的分割网络。

(1)U-Net网络。U-Net由一系列卷积块组成，每个卷积块由卷积、批处理归一化和ReLU激活函数组成。跳过连接用于连接高级和低级特征。最大池化层和向上池化层用于下采样和上采样来调整要素图的分辨率大小。在本研究采用的U-Net网络结构中，使用了4个最大池化层和4个向上池化层，U-Net结构如图8所示。

图8 U-Net结构图   

(2)Dense-FCN。Dense-FCN由密集块（DB）组成，密集块连续连接从先前层计算的特征图，从而增加特征图的大小。每一层由批量归一化、ReLU和3×3卷积运算组成。向下过渡（Top-Down Transition,TD）和向上过渡（Bottom-Up Transition,TU）分别用于对特征尺寸进行向下采样和向上采样。文中使用Dense103层结构，使用具有4、5、7、10和12层的密集块进行特征连接，使用5个TD进行特征下采样，使用5个TU进行特征上采样，Dense-FCN结构如图9所示，结果得到9.3 M的参数大小。最后一个大小为256的特征通过1×1卷积后接一个sigmoid函数转换为大小为1的特征图。

图9 Dense-FCN结构图  

(3）残差连接全卷积网络（Residual Fully Convolutional Network,RFCN）。为了更快的训练，使用了FCN-8s结构。网络结构图如图10所示。输入图像首先由7×7个卷积滤波器处理，然后再由3×3个卷积滤波器处理。通过最大池进行子采样，可以减少特征的数量。这些特征随后由带残差块的卷积阵列处理，被累加并传递到使用sigmoid激活的最终输出层。

图1 0 RFCN结构图   

2.3 损失函数

(1）肿瘤注意力损失。肿瘤注意力损失由肿瘤形状损失以及肿瘤位置损失组成，肿瘤形状损失使来自最终网络层的特征图激活（通过欧几里德距离）差异最小化，而肿瘤位置损失迫使两个网络产生相同的肿瘤分割图像（通过Dice相似系数）[31]。用公式可以表示为：

其中，C、W和H是特征通道、宽度和高度，Lshapetumor表示肿瘤形状损失，Lloctumor表示肿瘤位置损失。

(2）生成对抗损失函数。生成器训练以生成接近真实数据的图像，鉴别器训练以正确区分真实图像和合成图像，以最小最大方式协同工作，这种损失称为对抗损失，计算为生成伪MRI和伪CT的损失之和：。用公式表示为：

其中，xm～XMRI表示xm来自于真实数据分布XMRI,xc～XCT表示xc来自于真实数据分布XCT,E表示对所有数取均值，log(DMRI(xm)和log(DCT(xc)为判别器将真实数据判定为真实数据的概率，log (1-DMRI(GCT→MRI(xc)))和log(1-DCT(GMRI→CT(xm))为判别器将生成器生成的虚假数据判定为真实数据的对立面即将虚假数据仍判定为虚假数据的概率。

(3）循环一致性损失函数。循环一致性损失用来降低对用于训练的原始数据（CT）和目标数据（MRI）不同模态之间完全对准的要求，从而允许无监督的跨模态适应学习[32]。Lcyc强制网络保留生成图像和原始图像模态之间的空间对应关系，Lcyc=LcycMRI+LCTcyc，其中LcycMRI和LCTcyc分别用于合成伪MRI和伪CT图像，如式（6）所示：

其中，x'm和x'c是从生成器GMRI→CT和GCT→MRI生成的伪CT和伪MRI图像，伪CT图像只是生成伪MRI图像的附加产物，生成伪CT图像是为了在合成伪MRI图像时增加额外的正则化。

(4）研究使用的损失函数计算如下：

其中，λcyc、λshape、λloc表示每次损失的加权系数。计算的损耗被反向传播以更新网络的权重，从而从两个网络产生伪MRI和伪CT。

3、实验与结果

3.1 数据集

本文实验所采用的数据集是由广东珠江医院提供且由专业医生进行分割的肝脏肿瘤图像数据集。首先使用3DVWorks专业医疗软件对数据进行标注，然后使用split软件对数据进行切片处理，再将切片后的数据转化成png格式的图片以供训练。最终得到由8200张CT图片和5 320张MRI图片组成的训练数据，测试集由3 500张CT图片和2 280张MRI图片组成。实验过程中，以训练数据中20%的图片作为验证集，用来调节模型，训练集为剩下的80%的图片。

3.2 评估指标

(1)K-L散度。伪MRI与真实MRI图像的相似性使用库尔贝克-莱布勒散度（K-L散度）进行评估，K-L散度量化了特征结构（即肿瘤）内伪MRI和真实MRI图像之间整体强度变化的相似性。K-L散度通过以下公式进行计算：

其中，PpMRI和QrMRI表示伪MRI和真实MRI图像中的肿瘤分布，并且总和是在固定数量的离散强度水平上计算的（N=1 000）。

(2)Dice相似系数（Dice Similarity Coefficient,DSC）和Hausdorff距离。使用DSC和Hausdorff距离计算分割精度。DSC计算公式如下：

其中，TP表示真阳性个数，FP表示假阳性个数，FN表示假阴性个数。

Hausdorff距离定义为:

其中，P和T分别是专家标注和图像分割体积，p和t分别是P和T上的点。SP和ST分别对应于P和T的曲面。另外，为了消除评估过程中噪声的影响，采用了95%Hausdorff距离（HD95）。同时计算了相对体积比，计算方式为：

其中，Vas为算法计算的体积，而Vgs为人工分割计算的体积。

3.3 实验及结果

3.3.1 使用不同生成网络生成MRI效果

本文使用训练集中肝癌图像来生成更多的样本，并将其纳入实验中。通过CSCGAN对肝癌病变图像生成2 000张伪MRI图片。尽管CSCGAN可以实现无需配对情况下的训练，但是为了在同等环境下训练，提前控制变量，对CSCGAN模型重复训练3次。另外，在模型训练过程中，使用L2范数作为损失函数替换原始的不稳定的对数函数，在初始化过程中使用同样的参数。

图11显示了分别使用GAN、StarGAN、CycleGAN、StyleGAN和本文模型（CSCGAN）生成的肝脏肿瘤MRI图像与专家分割的肝脏肿瘤CT图像的对比图。可以看出，本文提出的转换方法在伪MRI图像上能够将肿瘤最完整地保存下来。

图1 1 使用不同生成网络生成MRI效果图   

本文方法最接近真实MRI成像的单一强度分布。算法生成的肿瘤分布是在CT产生的550个伪MRI图像的肿瘤内计算的，而真实MRI分布是从专家分割的MRI图像中使用无效（N=36）的肿瘤区域获得的。通过足够大的数据来评估离散强度分布，与GAN(0.52）、Star GAN(0.35）、Style GAN(0.42）和Cycle GAN(1.58）相比，本文方法在伪MRI和真实MRI之间产生的K-L散度最低，为0.087，如图12所示。

图1 2 不同方法K-L散度对比图   

3.3.2 生成的MRI数据扩充对基于U-Net、DFCN、RFCN网络的肿瘤分割效果

通过本文研究方法生成的伪MRI数据集与专家分割真实MRI图像相结合，来训练MRI肿瘤分割网络，以评估本文方法的数据扩充策略能否提高多个网络的性能。

图13显示了3个不同患者的分割结果，其中图13a使用随机森林分类器（RF+fCRF）进行训练；U-Net训练仅有的少量真实MRI图像（tMRI)(b);U-Net训练真实MRI和伪MRI图像（t&p MRI），对应于弱监督训练，使用CycleGAN(c）、StyleGAN(d）、GAN(e）和StarGAN(f）产生的交叉模态增强进行训练；图13g显示了仅使用本文方法产生的伪MRI的训练结果，以便在仅使用增强的伪MRI数据时评估该方法的性能，该模式设置对应于无监督域自适应；图13h表示使用本文方法训练真实MRI和伪MRI图像。如图13g、h所示，无监督和弱监督模式方法生成的轮廓（白色）非常接近专家分割（黑色）。

使用DSC、Hausdorff距离和VR评估以上几个方法的总体分割精度，结果如表1所示。本文方法（t&p MRI）获得了最高的DSC和最低的HD95以及VR。

另外，评估了两个附加分割网络RFCN和DFCN的分割精度，以评估使用本文方法的数据扩充是否提高了这些网络的分割精度。结果如表2所示，本文方法（t&p MRI）获得最高DSC和最低的HD95以及VR。

为了验证研究模型生成的数据在真实数据不充分时对分割网络分割精度的增益效果，将生成的数据按比例融入到真实数据中。为了控制变量，随机选取10%、20%、50%、100%的真实MRI数据，同时添加生成MRI数据，组成不同比例的数据集，将其归一化后输入到不同分割网络中。

分割结果如表3所示。结果显示，性能随着更充分标记的训练图像而提高，当只有添加非常有限数量（例如10%）的真实图像数据时，分割性能较低，随着真实数据的数量增多，性能得到提升。当具有专家标注的真实数据数量一定时，添加生成MRI数据的比例越高，分割性能越高。

尽管用少量（例如10%）真实MRI图像训练的基线模型不太准确，但是添加大规模生成MRI数据极大地提高了分割性能。另外，最重要的是在不同比例的混合数据中，本文设计的网络仍然有很高的分割准确率。结果证明了分割算法的性能可以随着更多生成数据的可用而持续提高，这也说明了生成策略的高效性。  

表1 使用U-Net计算不同数据扩充策略的分割精度    

表2 使用RFCN和DFCN计算不同数据扩充策略的分割精度   

表3 不同比例生成数据对分割结果影响（%）  

FCN：全卷积网络；tMRI：真实MRI图像；gMRI：生成MRI图像；MIoU：平均交并比

最终研究结果显示，CSCGAN实现了CT到MRI的模态转换，并且与目前主流的生成对抗网络相比，包括GAN、Star GAN、Cycle GAN、Style GAN等，本文模型提高了CT到MRI之间的转换效果，且在分割过程中，使用生成的大量伪MRI可以在没有充足专家标注真实数据的情况下提高分割的准确度。

4、结语

本文针对如何利用未配对的CT和MRI数据进行MRI数据的扩充，详细描述了生成对抗网络和混合注意力模型的应用，以Cycle GAN模型为主体框架，结合Style GAN2精细控制生成细节的特点，生成了精确的MRI图像。修改了噪声结构，融入注意力机制减少了肿瘤生成过程中的丢失。本文方法利用了生成对抗网络产生的伪MRI，通过比较所有生成的伪MRI图像的强度直方图和真实MRI图像计算的强度直方图，并且将其放入不同的分割网络中进行判断。最后经过评估，本文模型和其他模型相比，生成的数据在分割网络中，K-L散度最低，有最高的DSC、最低的VR和最小的Hausdorff距离，提升了肿瘤分割网络的准确率，表明在分割网络的应用中，比其他生成方法生成的数据有更高的准确性。同时，将不同比例的生成数据混合到真实数据中，结果表明，生成的数据对分割性能具有增益作用。

基金资助:国家工业信息部和卫健委5G医疗示范项目;广州市科技项目(202206010093); 广东省重点研发项目(2020B010165004);

文章来源:潘依乐,高永彬.多模态弱监督学习在肝癌图像生成与分割中的应用[J].中国医学物理学杂志,2024,41(01):8-17.