广安发展建设集团门户网站,温州网站优化,南京网站制作公司电话,网站建设网站图片放哪个目录 摘要1 引言2 方法2.1 预处理和数据增强2.2 网络的体系结构2.3 训练过程2.4 推理与后处理 3 实验与结果4 结论与讨论 摘要 U-Net在各种医学图像分割挑战中取得了巨大成功。一些新的、带有花里胡哨功能的架构可能在某些数据集中在使用最佳超参数时取得成功#xff0c;但它们… 目录 摘要1 引言2 方法2.1 预处理和数据增强2.2 网络的体系结构2.3 训练过程2.4 推理与后处理 3 实验与结果4 结论与讨论 摘要 U-Net在各种医学图像分割挑战中取得了巨大成功。一些新的、带有花里胡哨功能的架构可能在某些数据集中在使用最佳超参数时取得成功但它们的泛化性能无法保证。在这项工作中我们专注于基本的U-Net架构并提出了一种多尺度监督的3D U-Net用于KiTS19挑战中的分割任务。为了提高性能我们的工作可以总结为三个方面首先在解码器路径中使用多尺度监督可以鼓励网络从深层预测正确的结果其次为了缓解肾脏和肿瘤样本不平衡的不良影响我们采用了指数对数损失第三设计了一种基于连通组件的后处理方法以去除明显错误的体素。在已发布的 KiTS19 训练数据集共210名患者中我们将42名患者分为测试数据集并最终获得了分别为0.969和0.805的肾脏和肿瘤的DICE分数。在挑战赛中我们最终在106支团队中取得第7名综合DICE分数为0.8961即肾脏为0.9741肿瘤为0.8181。
关键词医学图像分割3D U-Net多尺度监督
1 引言 自动语义分割为探索肿瘤形态与其相应的手术结果之间的关系以及开发先进的手术规划技术提供了一个有前途的工具[1,2,3]但由于形态异质性要实现良好的性能仍然具有挑战性。
KiTS19挑战[4]旨在加速可靠的肾脏和肾脏肿瘤语义分割方法的开发。它拥有300名独特的肾癌患者的CT扫描图像其中有210张用于模型的训练和验证另外的90名患者的扫描图像将保留作为测试数据集。提交模型的最终性能是基于肾脏和肿瘤分割的平均DICE系数来衡量的。
深度卷积神经网络CNNs已被公认为各种图像分类和分割任务的最先进方法。带有编码器-解码器架构的U-Net [5] 是医学图像分割的一个稳定成功的网络。由于体积数据在生物医学数据分析中比2D图像更丰富因此为了充分利用像CT和MRI这样的3D图像的空间信息提出了3D卷积并认为它更加有效。Fabian[6] 对基于3D U-Net [7] 进行了轻微修改nnunet并在许多医学图像分割挑战中获得了冠军或前几名这证明了经过优化的U-Net具有比许多其他新架构更好性能的潜力。
受到[6]的启发我们还放弃了一些常见的架构技巧如残差块[8]、稠密块[9]、注意机制[10]、特征金字塔网络[11]和特征重校准[12]。在我们看来医学图像远不如自然图像多样化因此它们不需要太深的卷积层或太多的连接。只有5层的基本U-Net足以表示或学习用于分类的特征。
在遵循这些建议的基础上我们将工作重点放在更好地训练3D U-Net并更有效地利用有限的训练数据集上。由于最终的全分辨率预测是从更深的低分辨率层上采样的因此保证在深层次预测的准确性非常重要。因此我们设计了多尺度监督的3D U-Net以鼓励网络不仅在最后一层进行正确的预测而且在每个分辨率级别都进行正确的预测从而显著提高了最后一层的性能。为了减轻由于不平衡的类别数据带来的负面影响我们使用了增强的焦点损失[13]和指数对数损失[14]。最后我们的后处理方法会去除与肾脏未附着的分散的肾脏或肿瘤。
2 方法 在这一部分我们将详细介绍我们的方法不仅包括网络架构还包括预处理、数据增强、训练过程、推断和后处理因为这些因素对于实现3D U-Net应有的性能非常重要。
2.1 预处理和数据增强 为了去除可能来自某些金属物体的异常强度值我们将CT图像的强度值截取到它们的0.5和99.5百分位数之间。然后按照惯例我们使用全局前景均值和标准差进行数据归一化这是由于典型的权重初始化方法。需要强调的是3D数据的各向异性会破坏3D卷积的优势因为它无法学习具有相同感受野的不同体素空间数据的统一表示。因此如果数据不在同一体素空间中我们会对其进行重新采样。 异常值去除某些CT图像中可能包含异常强度值这些异常值可能来自于金属物体的存在或其他因素。这些异常值可能会对后续的图像处理和分析造成干扰因此需要将它们去除以确保数据的质量和准确性。 数据范围限制将强度值限制在0.5和99.5百分位数之间意味着去除了图像中最极端的1%强度值。这可以帮助确保大多数像素的强度值在一个相对较小的范围内使数据更加一致和易于处理。 数据标准化截取后通常会对图像进行标准化以使其具有零均值和单位方差。这有助于训练深度学习模型时确保数据的尺度一致从而更容易进行模型训练和收敛。 总之通过将CT图像的强度值截取到0.5和99.5百分位数之间可以去除异常值限制数据范围并为后续的数据处理和分析提供更稳定和一致的数据。这有助于提高图像处理和分析的准确性和可靠性。 处理3D数据三维数据如医学图像中的CT或MRI扫描时的一个重要问题即数据的各向异性问题。 3D数据的各向异性指的是数据在三维空间中不同方向上的分辨率和性质可能不同。这意味着对于同一个3D图像横向、纵向和纵深方向的信息可能有所不同。这种不同可能是由于扫描仪的特性、扫描过程中的图像畸变、采样间距不均匀等因素引起的。 3D卷积的优势指的是使用卷积神经网络CNN中的三维卷积操作来处理3D数据的潜在好处。3D卷积可以捕获3D图像中的空间信息有助于更好地理解和分割体积性数据比如医学图像中的器官或肿瘤。 然而如果数据存在各向异性即不同方向上的特征和分辨率差异较大那么传统的3D卷积可能不够有效。因为它无法充分学习到不同方向上的特征不能提供统一的表示。这可能会导致模型在某些方向上的性能不佳因为模型无法有效地处理各向异性数据。 为了解决这个问题一种方法是将数据进行等间距的重新采样以使不同方向上的分辨率一致从而允许3D卷积更好地学习统一的表示。这可以提高模型对各向异性数据的处理能力。所以原文提到的3D数据的各向异性会破坏3D卷积的优势 意味着如果不处理各向异性模型可能无法充分利用3D卷积的优势。 手动标注医学图像通常很繁琐因此带标签的数据集通常有限。我们采用了强大的数据增强方法以避免模型过拟合包括随机旋转、随机缩放、随机弹性变形、伽马校正增强以及镜像等。
2.2 网络的体系结构 U-Net [5] 是一种经典的编码-解码分割网络在近年来引起了很多关注。编码器路径类似于典型的分类网络逐层提取更高层次的语义特征。然后解码器路径恢复每个体素的本地化信息并利用特征信息对其进行分类。为了利用编码器中嵌入的位置信息我们在同一阶段的层之间构建了直接连接。
我们的网络是基于3D U-Net [7] 设计的。该框架如图1所示。这个多尺度监督网络从解码器路径的不同层面进行预测不同于传统的3D U-Net只从最后一层进行预测。这些分割结果将与相应分辨率的标签进行比较然后用于计算最终的损失函数。这种监督鼓励网络从低分辨率特征图中进行正确的预测这些特征图将被上采样为完整分辨率的特征图。 图1. 我们的多尺度监督3D U-Net的结构最好在彩色中查看。实际架构是3D的但出于简化我们在这里使用2D。根据我们的经验我们采用步进卷积而不是池化操作并用转置卷积代替三线性插值进行上采样。为了减小模型的体积我们将基本特征数设置为30 步进卷积strided convolution是卷积神经网络CNN中的一种卷积操作。它与常规卷积操作相似但在应用卷积核滤波器时会跳过输入数据的一定数量的像素以减小输出特征图的尺寸常规卷积也就是stride1的步进卷积转置卷积Transpose Convolution也称为反卷积Deconvolution是一种卷积神经网络CNN中的操作用于将特征图的尺寸从较小的空间分辨率上采样到较大的空间分辨率。与标准卷积操作相反转置卷积允许扩大特征图的尺寸从而实现上采样操作 2.3 训练过程 由于GPU内存的限制我们选择将 patch 大小设置为192×192×48并在2个GPU上Tesla32GB使用数据并行方式将 batch size 设置为8。patch 是随机抽样的我们将一个epoch定义为250次迭代。我们使用Adam作为优化器。学习率初始化为3×10^-4如果训练损失在30个epoch内没有进一步改善学习率将减小0.2倍。
在CT图像中进行肾脏和肿瘤分割时背景样本的数量远远超过肾脏和肿瘤体素的数量。此外由于肿瘤形态的多样性肿瘤更难分类。为了减轻这种不平衡我们使用了指数对数损失[14]。这种损失强调了困难样本的影响并通过使损失变得非线性使它们具有更大的权重。同时我们手动为背景、肾脏和肿瘤分配了不同的权重。
我们结合了Soft Dice和交叉熵来训练我们的模型。我们的最终损失格式可以总结如下 Soft Dice Coefficient 是 Dice Coefficient的变体用于度量两个集合之间的相似性。在图像分割中这两个集合通常分别表示真实分割结果和模型预测的分割结果。 Dice Coefficient或F1 Score通常定义为 其中X 是真实分割结果的像素集合Y 是模型预测的分割结果的像素集合|X ∩ Y| 表示两者的交集的像素数量|X| 和 |Y|分别表示它们的像素数量。 在 Soft Dice 中与传统的 Dice Coefficient不同它将真实分割结果和模型预测的分割结果的像素值视为连续值soft values而不是二进制0或1。这允许 Soft Dice在像素级别度量两个分割结果的相似性而不仅仅是匹配或不匹配。 通常Soft Dice 范围在0到1之间其中1表示完美的重叠0表示没有重叠。模型的目标是最大化 Soft Dice 分数以获得更好的分割结果。这使 Soft Dice成为一种重要的评估指标尤其是在医学图像分割中其中精确的分割结果对于诊断和治疗规划至关重要。 2.4 推理与后处理 在进行病例预测时我们采用滑动窗口方法使预测之间存在重叠。为提高准确性我们将原始数据和镜像数据的预测结果进行组合。
一些常见的人类知识可以帮助进一步提高分割模型的性能。例如一个病人最多只有两个肾脏而肿瘤应该紧贴在肾脏上。因此我们设计了一个基于连通组件的简单后处理方法来移除明显错误的预测。其效果如图2所示。 图2. 我们后处理方法的效果。左图是经过后处理之前的图像虚线框中的区域包含一些明显错误的体素。右图是经过后处理之后的图像额外的体素已经被移除。
3 实验与结果 共有210例患者的CT扫描数据用于训练模型。我们将其中的42例划分为测试数据集使用其他图像来训练我们的模型。训练过程耗时约5天运行在2块GPU上Tesla 32GB。训练期间的损失曲线如图3所示。可以观察到我们提出的损失持续稳定下降这个过程大约持续了700个时期直到学习率达到我们忍耐的极限。 图3. 训练过程中损失的变化情况。红线和蓝线分别表示验证损失和训练损失。绿线是一个滑动验证损失度量用于选择最佳的检查点。 图4. 我们的分割输出的两个示例。从上到下的行分别为2D中的矢状面、冠状面、横断面和3D视图最佳在彩色视图中查看。从左到右的列分别是一个常见案例的真实情况和预测情况以及最糟糕情况。
我们的分割结果样本如图4所示。我们观察了来自不同视图的2D切片和3D视图以分析性能。显然在CT图像中肾脏的分割效果非常好。预测结果与真实情况非常接近。然而一些肿瘤太小以致于难以获得良好的Dice系数并且也难以找到。一些具有小肿瘤大小的病例会显著降低平均Dice系数。
我们的测试数据集的箱线图如图5所示。测试数据集的平均Dice系数分别为0.969和0.805用于肾脏和肿瘤的分割。此外肾脏的方差非常小表明我们的算法在肾脏分割方面非常稳定。 图5. 划分测试数据集中42名患者的分割结果的箱线图。
4 结论与讨论 在本论文中我们展示了我们的模型及其在KiTS19数据集中的性能。我们的方法基于经典的3D U-Net并通过多尺度监督、指数对数损失和基于连通组件的后处理进行了增强。在已发布的数据上测试我们的方法分别实现了肾脏和肿瘤的平均Dice系数为0.969和0.805。
在挑战中我们获得了综合Dice系数为0.8961其中肾脏的Dice系数为0.9741肿瘤为0.8181排名在所有106支队伍中的第7位。尽管肾脏分割的Dice系数略低于最高0.9743但肿瘤分割的Dice系数超过了顶尖团队的表现。由于我们遵循了Fabian [6]的精神我们在这里没有使用太多架构技巧而是侧重于训练过程。肿瘤由于其严重的形态异质性总是难以进行良好的分割。在未来我们计划尝试肿瘤分割的两阶段方法即首先提出感兴趣区域然后使用可变形卷积而不是传统卷积来适应肿瘤特征。
