声明

不时更新自己的精准论文，通俗易懂，初级小白也能理解

涉及范围：深度学习方向，包括 CV、NLP、Data Fusion、Digital Twin

论文标题：

SSA-Net: Spatial self-attention network for COVID-19 pneumonia infection segmentation with semi-supervised few-shot learning

论文链接：https://doi.org/10.1016/j.media.2022.102459

论文代码：

发布时间：2022年4月

创新点

提出了一种新的 covid-19 肺部病变区域分割网络（SSA-Net）

2.提出了基于重新加权损失和选择高信度预测值的半监督迭代分割框架

Abstract

冠状病毒病 (新型冠状病毒肺炎) 在 2019 年底爆发，导致全球持续流行。新型冠状病毒患者胸部计算机断层扫描 (CT) 肺炎感染的分割对准确诊断和定量分析具有重要意义。可以开发基于深度学习的自动分割方法，为加强及时检疫和医疗提供巨大潜力。不幸的是，由于新型冠状病毒流行的紧迫性，用于深度神经网络训练CT系统收集数据集非常困难，特别是对多种感染的高质量注释有限。此外，由于不规则的形状和模糊的边界，CT 感染区域的分割仍然是一个挑战。

为了解决这些问题，我们提出了一种新型冠状病毒肺炎病变分割网络，称为空间自我关注网络 (SSA-Net)，用于从胸部CT感染区域在图像中自动识别。在我们的SSA-Net其中，利用自我关注机制，在没有额外训练时间的情况下，从更深层次提取有用的上下文信息，扩大接受领域，增强表达式学习，引入空间积累，增强网络，加快训练收敛。此外，为了缓解标记多种数据的不准确性和训练数据的长尾分布，我们提出了基于重新加权损失和选择高可信度预测值的半监督少镜头迭代分割框架。它可以通过少量标记的图像数据准确分类不同类型的感染。

实验结果表明，SSA-Net 其性能优于最新的医学图像分割网络，并提供临床解释，可用于新型冠状病毒的诊断和患者分诊。同时，我们的半监督迭代分割模型可以提高小型和不平衡训练集的学习能力，并获得更高的性能。

Method

如上图所示，所提出的 SSA-Net 由三个主要部分组成： 具有自我注意学习特征的编码器，具有空间卷积特征的再提取器和特征解码器。

首先，CT 图像输入到特征编码器中，由四个残余块组成，用于下采样操作 Resnet34 的编码器相同；

而且，为了加强表达，在每个残余块之后引入了一个自我关注学习模块；

然后，先前层的注意图可以从连续层的注意图中提取有用的上下文信息，而在较低层学习的更好的表示又将有利于更深层层。

Self-attention learing

本文使用的注意力图是基于激活的注意力图。

具体来说，attention map 就是将 channel、height 和 width 三维特征映射成一个 height 和 width二维特征；

每个元素对最终输出的重要性取决于其在图中的绝对值；

因此，注意力图可以由一个映射函数生成，旨在计算通道维度中所有元素的绝对值。

---------------------------------------------------------------------------------------------------------------------------------

Feature re-extractor

特征提取器是新的空间卷积模块，在编码器-解码器网络的瓶颈中。该模块旨在提取特征图中行和列之间的更多空间信息，并通过使用顺序信息传输方案加强培训。

空间卷积模块

空间卷积模块，通过大内核的通道级卷积获得特征图。

具体来说，从特征编码器获得的特征图是尺寸 C × H × W 的 3D 张量 T，其中 C，H 和 W 分别是通道的数量、高度和宽度。

如上图所示，以 H 维为例，即从上到下传递信息，将特征图切割成 H 片。k 表示核心宽度。它表示下一个切片中的像素可以从当前切片中使用 k × c 像素接收信息；

第一个切片由 1 × k × c 卷积层卷积，将输出添加到第二个切片中，然后将新的输出馈送到下一个 1 × k × c 卷积；

这个过程被迭代 H 以获得最终输出。上述操作从下、上、左、右四个方向进行，以完成空间信息的传输。

---------------------------------------------------------------------------------------------------------------------------------

Feature decoder

特征解码器旨在构建特征编码器和特征提取器的分割结果。通过跳过连接，特征解码器可以从编码器中获得更多的细节，以弥补池化和卷积操作后的信息丢失。包括每个解码器层 1 × 1 卷积，3 × 3转置卷积和 1 × 1 卷积。输出具有与输入相同的大小，基于跳过连接和解码器层的串联。最后，采用 Sigmoid 分割结果作为激活函数产生。

---------------------------------------------------------------------------------------------------------------------------------

Semi-supervised few-shot learning(半监督小样本学习)

由于 COVID-19 作者提出了一个由两个主要部分组成的半监督少镜头学习框架： 肺区域分割和分割多种感染，如下图所示

Lung region segmentation(肺部区域分割)

肺区域分割是新型冠状病毒肺炎病变分割的第一步。

首先，使用预训练 U-Net 模型划分肺区；

然后，所有未标记的 CT 提前训练好切片 U-Net 为了获得肺的所有边界，分割。

Multi-class infection segmentation(多类感染分割)

介绍了作者提出的一种半监督的小样本学习策略重新加权模块和信任模块，平衡不同病变类别的分布，获得更可靠的伪标签。

该学习框架基于随机抽样策略，并逐步扩展训练数据集，使用未标记的数据生成伪标签。 CT切片作为肺区分割产生的肺罩连接 SSA-Net 输入模型。

在训练过程中，重新加权模块是基于每个类像素数的类重新平衡策略。从信任模块中选择更可靠的伪标签可以通过选择高信任值获得。

Re-weighting module（重新加权模块） 与Trust module（信任模块）本文没有详细介绍。本质上，这两个模块属于数学推导过程。重新加权模块重新定义了平衡权重的损失函数；信任模块还引入了一个量值来选择不同范围的可信度。如果您想了解更多，请参阅原文。

Experiments

实验目标：不同结构的分割结果

实验目标：不同网络对不同 COVID-19 肺炎病变分割的定量评估

实验结果：SSA-Net 大多数指标都很优秀