unet医学论文

我们可以看到，它能够结合图像的全局与局部细节方面的特征，进行综合的考虑。每经过几次卷积后，便会concatenate到后面的几层，直接传递到同高度decoder上进行信息融合。在刚开始卷积时，图像的feature map保留的是图像高分辨率的细节信息（病灶的具体形态，条状还是点状，边缘平滑亦或是粗糙等等），它能帮助最终我们的图像提供精细分割；而经过一次一次卷积池化后，最后在U-Net的最下层，此时的feature map中包含的是整幅图像的全局信息（病灶的总体位置、分布等），它能提供分割目标在整个图像中上下文语义信息，反应目标和周围环境之间的关系。 最后再经过一层一层上采样，将不同层级的信息一步一步融合，便可融合多尺度的信息，得到最终我们的判别分割结果。 用过U-Net的童鞋应该都知道，其很好的应用于少样本的医学图像。 首先医学图像等样本，问题空间是很小的，例如，细胞核分割、细胞膜分割、视网膜血管分割等等。变来变去都是这几种样式，而且我们还能用多种方式进行数据的扩增，由几十张图片扩增到数十万张训练集图片。所以小样本的医学图像就能够表现得非常出色了。而对于一般生活中的图片，则比较难处理，其问题空间非常大（风景、建筑、人物等等），U-Net这么小的一个结构难以完全刻画其中的关系。 另外，针对一般的医学图像，边界模糊、梯度复杂，需要较多的高分辨率信息用于精准分割。同时一般的医学分割目标在人体图像中的分布很具有规律，低分辨率信息能够提供这一信息，用于目标物体的识别。两者结合，正好是U-Net完美适用的场景。 底层(深层)信息 ：经过多次下采样后的低分辨率信息。能够提供分割目标在整个图像中上下文语义信息，可理解为反应目标和它的环境之间关系的特征。这个特征有助于物体的类别判断（所以分类问题通常只需要低分辨率/深层信息，不涉及多尺度融合） 高层(浅层)信息 ：经过concatenate操作从encoder直接传递到同高度decoder上的高分辨率信息。能够为分割提供更加精细的特征，如梯度等。 为什么适用于医学图像？ （1）因为医学图像边界模糊、梯度复杂，需要较多的高分辨率信息。高分辨率用于精准分割。 （2）人体内部结构相对固定，分割目标在人体图像中的分布很具有规律，语义简单明确，低分辨率信息能够提供这一信息，用于目标物体的识别。 UNet结合了 低分辨率信息 （提供物体类别识别依据）和 高分辨率信息 （提供精准分割定位依据），完美适用于医学图像分割。 同时结合高分辨率的局部信息，和低分辨率更大面积的信息 U-net的结构都了解，实际上就是一个编码-解码的过程： 底层的特征（如Layer1，2，3的输出）更偏向于组成图像的基本单元，如点，线，边缘轮廓，而在高层抽象的特征（如Layer4，5）就更抽象，更近似于表示的是图像的语义信息，更像是一个区域了。解码仅仅是将抽象特征恢复到模板的过程。那么就有问题了，解码在将下采样数据恢复的时候，特征scale会发生变化，必然会有信息的丢失， skip connention的作用就凸显出来了，skip connention起到了补充信息的作用，在高层补充了语义的信息，在底层细化了分割的轮廓等，所以，想像一下我们从特征中已经大致恢复了区域的分割信息，再加上原始特征的修正， 从传统分割算法里面想想，传统的方法中有基于边缘的分割方法，有基于区域的分割方法等等，而编码的过程恰恰不就是将两种方法的特征整合了吗，所以说在U-Net系列的语义分割网络中编码的好坏会影响最终的分割效果，也是为什么好多论文改进的地方主要集中在编码过程的原因。 它有up-conv的操作，这说明是个auto encoder的架构，有点像全连接自变码器可以添加或去除噪音。这个cnn的自变码器学了局部特征然后压缩，再解压缩，最后获得边界识别能力 它先全局观察，大致判断目标区域在哪里，然后把更细节的信息一起考虑进去，把分割做得更精确。