圖像分割unet系列------UNet詳解

• • 1、UNet網絡結構
  • 2、UNet網絡結構高性能的原因分析
  • 3、醫學圖像使用UNet網絡結構

    UNet最早發表在2015的MICCAI上，到2020年中旬的引用量已經超過了9700多次，估計現在都過萬了，從這方面看足以見得其影響力。當然，UNet這個基本的網絡結構有太多的改進型，應用範圍已經遠遠超出了醫學圖像的範疇。我們先從最原始的UNet網絡模型開始講解。

1、UNet網絡結構

    開始時，UNet主要應用在醫學圖像的分割，并且快速成為大多做醫學圖像語義分割任務的baseline，而後其他領域的學者和專家也受其啟發進行了魔改。當然，也有些同學會說，這個算法中的一些思想很多人在以前也有提出，比如下采樣或是多尺度的思想，但是有一個問題，在衆多思路中尋找合理的方法進行組合與重構以達到更有效的結果也是一種巨大的創新和進步。

    我們首先看一下UNet的網絡結構，具體如下圖所示：

     U-net網絡結構(上圖中以32x32像素的最低分辨率)中每個藍框對應一個多通道特征圖。 通道的數量在框的頂部表示。 x-y尺寸在框的左下邊緣提供。 白框表示複制和裁剪（Concat）的特征圖。 箭頭表示不同的操作。因為此網絡整體結構類似于大寫的英文字母U，故得名U-Net。

    上圖已經把UNet的網絡結構和思想展現的淋漓盡緻了。U-Net網絡非常簡單，前半部分（左邊下采樣）作用是特征提取，後半部分（右邊）是上采樣過程，這是非常典型的Encoder-Decoder結構。在原論文中，下采樣過程稱為contracting path，它是在通過卷積等操作擷取上下文的特征資訊；上采樣部分被稱為expanding path，實際上是在進行目标對象的定位，兩部分是對稱存在的，同時每層對應（對稱結構）使用copy and crop完成skip-connection操作。

2、UNet網絡結構高性能的原因分析

    2.1 多尺度獲得資訊

    在encoder操作中，采用了5個池化層（在實際應用中也有采用4個池化層的操作），在不斷的下采樣過程中不斷的降低分辨率以獲得不同尺度的圖像資訊，圖像的資訊由底層資訊中的點、線、梯度等資訊逐漸向高程資訊中的輪廓以及更抽象的資訊過度，整個網路完成了“由細到粗”特征的提取與組合，使UNet得到的資訊更加全面。

    2.2 神來之筆skip connention

    做過數字圖像處理的同學們應該很清楚一點：圖像從低分辨率轉高分辨率圖像會失真（decoder部分）；而高分辨率轉低分辨率則失真相對可忽略，也保留了更多的細節資訊（encoder部分）！是以，在decoder中上采樣過程中就失去了對細節資訊的敏感。這個時候skip connection就成為真正的神來之筆，此操作将同層高度的encoder更精準的梯度、點、線等資訊直接Concat到同層的decoder中，相當于在判斷目标大體區域内添加細節資訊，這種操作當然可以使UNet獲得更準确的分割結果。

3、醫學圖像使用UNet網絡結構

    UNet網絡最開始就應用在醫學圖像中，那為什麼醫學圖像使用UNet網絡會有更加明顯的性能提升呢？

    我感覺，最重要的因素是由于醫學圖像的特殊性決定的。做過B超、核磁、CT的同學看到生成的圖像的直覺感覺是什麼？首先，圖像并沒有顯示自然圖像那樣清晰，邊界很模糊，對比度差；其次，噪聲點相對較多，不同個體呈現出的噪聲信号也不穩定；最後，醫學圖像的信号複雜度并不低，人體不同組織成像是完全不同的，而且絕大部分圖像都是灰階圖像（絕大部分彩色是僞彩，細胞類除外），灰階範圍也較大。

    而以上醫學圖像特點就注定了UNet在此領域的廣泛應用。首先，多尺度的資訊提取，細節與“較粗”抽象資訊都得到有效的提取與保留，在降低了噪聲的影響的同時最大限度的保留模糊邊界的梯度資訊。最後，醫學圖像雖然信号複雜但是類别并不複雜，且人體組織分布有一定的規則（哪怕有一定的病變畢竟都是同一個祖先進化來的），語義分割相對也簡單。

    當然，醫學圖像的資料量也是重要因素，但是小樣本的網絡也挺多的，遷徙學習網絡的泛化能力也挺強的，我感覺醫學圖像使用UNet最重要的是以上兩點。