醋醋百科网

Good Luck To You!

从传统迈向智能:深度学习助力医学图像精准分割!


小知回顾

在知见生命-第25期学术分享会中,AI算法工程师刘博老师介绍了深度学习技术在医学图像分割中的应用,分享了《Medical Image Analysis》期刊的两篇文献,主要包含以下两个模型:


TransUNet:为了优化 U - Net 框架提升分割准确性,数据使用了 BTCV、BraTS 等 4 个数据集。方法提出 TransUNet 框架,含 Transformer 编码器与解码器模块,有三种配置。结果在多器官和胰腺肿瘤分割任务表现优异,多器官分割平均 Dice 达 88.39,且在对比实验中超越多种方法。


MoDATTS:旨在进行跨模态 3D 肿瘤分割,使用 CrossMoDA 和 BraTS 数据集中 6 个脑 MRI 数据集。通过模态转化、合成数据、迭代自训练等方法。在相关挑战赛中表现良好,优于其他半监督模型。


TransUNet:

优化U-Net架构,提升分割效能



(一)文献摘要

目的:通过整合Transformer架构优化U-Net框架,显著提升了多器官分割和微小肿瘤检测的准确性。


数据:研究中使用了BTCV、BraTS、MSD、大规模胰腺肿瘤数据集等4个数据集,包含了多个器官和分割任务。


方法:提出了TransUNet的多功能框架,将Transformer的自注意力机制封装在两个关键模块中:(1)Transformer编码器从卷积神经网络特征图中对图像进行标记,促进全局上下文的提取;(2)Transformer解码器通过与U-Net特征之间的交叉注意力来细化候选区域。这些模块可以灵活地插入到U-Net骨干网络中,共有三种配置:仅编码器、仅解码器和编码器+解码器。


结果:模型在多器官分割和胰腺肿瘤分割任务上表现优异,多器官分割平均Dice达到88.39。


(二)临床数据

1、BTCV多器官分割数据集:实验中使用了MICCAI2015多图谱腹部标签挑战赛中的30个腹部CT扫描数据,总共包含了3779张轴向对比增强腹部临床CT图像。


2、BraTS2021脑肿瘤分割挑战赛:BraTS数据集是广泛使用的脑肿瘤分割数据集,为参与者提供了1251个多参数MRI影像及相应的分割标签。MRI影像包含了4个序列:T1、T1加权、T2、FLAIR。


3、医学分割十项全能挑战赛(MSD)肝血管:包含从患有各种原发性和转移性肝肿瘤的患者中获得的443个门静脉期CT影像数据,相应ROI是肝脏内的血管和肿瘤。


4、大规模胰腺肿瘤数据集:该数据集是目前已知的最大规模的胰腺肿瘤CT数据集之一。数据集标签包括胰腺、PDAC和囊肿,覆盖了主要的胰腺病变类型。


(三)智能方法

框架包含两个主要部分:

(1)Transformer编码器:首先使用CNN编码器进行局部图像特征提取,然后用Transformer进行全局信息交互;


(2)Tranformer解码器:将每像素分割重新构建为基于可学习查询的掩码分类,通过与CNN特征的交叉注意力机制进行细化,并采用粗到细的注意力优化方法以提高分割精度。


(四)应用效果

1、消融实验

在MSD数据集上,对比了Transformer解码器中不同类型的注意力机制的性能,表中稳步上升的Dice系数证明了不同注意力机制的有效性。为了可视化这种策略的有效性,展示了MSD血管肿瘤分割任务中不同迭代次数的分割掩膜可视化结果,可以看到肿瘤的分割质量得到了显著提升。

在大规模胰腺肿瘤分割数据中进行了同样的实验,实验证明了Transformer解码器在肿瘤分割方面比Transformer编码器更有效。


2、对比实验

对比实验结果显示,TransUNet方法不仅超越了传统的基于CNN的自我注意力模型,而且超过了许多以Transformer为基础的改进方法。


(五)创新分析

取得的成果:提出了基于Transformer结构的TransUNet框架,以解决U-Net在处理长距离依赖关系方面的局限性。具体创新包括:

Transformer编码器:通过标记化CNN特征图分块,促进更丰富的全局上下文提取。


Transformer解码器:自适应细化分割区域,利用候选区域和U-Net特征之间的交叉注意力机制。还提出了一种由粗到细的注意力细化方法,增强对小目标和肿瘤的分割性能。


小结:通过多次实验验证了TransUNet在多器官、胰腺肿瘤、肝脏血管和肿瘤分割中的优越性能。并且在BraTS2021挑战赛中超越了第一名的分割性能。



MoDATTS:

半监督学习助力跨模态肿瘤分割


(一)文献摘要

目的:提出一种新的半监督学习方法MoDATTS,专为在不配对的两种模态数据集上进行精确的跨模态3D肿瘤分割。


数据:本研究中使用了来自CrossMoDA和BraTS数据集中6个未配对的脑MRI数据集:BraTS(T1,T2,T1ce,FLAIR),CrossMoDA(T1ce和hrT2)。


方法:通过在模态之间进行转化,合成带标注的目标模态图像数据,以提高模型的泛化能力。利用强大的Transformer结构(如TransUNet和Medformer)分别用于图像转化和分割任务。引入迭代自训练进一步缩小模态间的域差距。


结果:在CrossMoDA2022前庭神经细胞瘤挑战赛中,模型获得的最高Dice分数为0.87±0.04。在BraTS分割任务中,模型也优于其他半监督模型的性能。


(二)临床数据

本研究中使用了来自CrossMoDA和BraTS数据集中6个未配对的脑MRI数据集:BraTS(T1,T2,T1ce,FLAIR),以及来自CrossMoDA(T1ce和hrT2)。

CrossMoDA:该数据集是专门为跨模态域适应任务设计的数据集,旨在评估模型不同模态之间的迁移能力。该数据集提供了源模态和目标模态之间的配对图像,但目标模态图像没有标注。需要模型经过学习后在无标注的目标模态图像上进行分割。


BraTS:该数据集是一个广泛使用的脑肿瘤分割数据集,包含多模态的MRI图像以及相应的肿瘤标注。该数据集中的图像来自多个机构,涵盖了不同类型的脑肿瘤。


(三)智能方法

阶段1:通过训练循环跨模态转化器,从源数据生成真实的目标图像。


阶段2:分割模型通过半监督方法在合成的带标签图像和真实的无标签图像的组合上进行训练。最后,进行伪标签生成,并通过多次自训练迭代来优化分割模型。

肿瘤图像跨模态转化器:模型通过CycleGAN方法在模态之间进行转化训练。编码器-解码器组合GTES和GSET分别进行S→T和T→S模态转化。相同的潜在表示与共同训练的分割解码器G_seg^S和G_seg^T共享,以保留与肿瘤相关的语义信息。

分割模型:分割解码器Gseg在第一阶段生成的带标签的合成图像上训练,用于肿瘤分割。通用解码器Gcom和残差解码器Gres联合训练,对真实目标图像进行半监督的肿瘤描述。


(四)应用效果

跨模态转化示例:通过跨模态转化器将不同序列之间MRI图像进行转化。可以看到在所有转化的图像模态中的肿瘤信息都得保存。

从病理到对照域的转化结果及其在目标模态无像素注释情况下的分割结果显示,即使在没有任何标注的数据模态上,肿瘤依然能够从大脑中准确的分割出来。

MoDATTS模型性能对比:将MoDATTS(2D和3D)的结果与AccSegNet和AttENT以及标准2D和3D CyccleGAN + nnUNet组合进行比较,MoDATTS的性能要显著优于其他模型方法。

源模态中可用标签占比对模型的影响:MoDATTS引入了使用图像级弱标签进行模型训练,图中展示了在1%、10%、40%、70%或100%的源模态注释可用且目标模态注释为0%时模型的Dice得分。当源样本注释占比下降时,半监督训练的模型性能只有轻微的下降,且在两个数据集上的表现一致。当源样本的标注少于40%时,半监督训练的模型的性能优于自训练训练的模型。

注意力热图展示:图中展示了MoDATTS在CrossMoDA数据集上生成的注意力热图。各模块在注意力热图上各有不同,例如:模态转化器中的Transformer编码器关注全局解剖细节;分割阶段中的Common解码器避开了肿瘤位置,更关注解剖结构和正常区域,残差解码器则是更多关注于肿瘤区域。两个解码器联合之下模型聚焦于肿瘤区域,可以生成精准的分割图。


小结:提出了MoDATTS网络,用于解决目标模态缺乏标注样本的非配对跨模态医学图像分割问题。通过依赖合成图像监督和自我训练的自训练变体,MoDATTS成功弥合了域偏移带来的性能差距。

控制面板
您好,欢迎到访网站!
  查看权限
网站分类
最新留言