U-Net 解讀

1. 介紹

計算機視覺領域，全卷積網絡（FCN）是比較有名的圖像分割網絡，醫學圖像處理方向，U-Net可以說是一個更加炙手可熱的網絡。醫療分割問題，都可以通過U-Net架構，進行相應問題處理，得到分割效果。

U-Net和FCN非常的相似，U-Net比FCN稍晚提出來，但都發表在2015年，和FCN相比，U-Net的第一個特點是完全對稱，也就是左邊和右邊是很類似的，而FCN的decoder相對簡單，隻用了一個deconvolution的操作，之後并沒有跟上卷積結構。第二個差別就是skip connection，FCN用的是加操作（summation），U-Net用的是疊操作（concatenation）。這些都是細節，重點是它們的結構用了一個比較經典的思路，也就是編碼和解碼（encoder-decoder），早在2006年就被Hinton大神提出來發表在了Science上（ Reducing the Dimensionality of Data with Neural Networks）.

編解碼結構提出的主要作用并不是分割，而是壓縮圖像和去噪聲。輸入是一幅圖，經過下采樣的編碼，得到一串比原先圖像更小的特征，相當于壓縮，然後再經過一個解碼，理想狀況就是能還原到原來的圖像。這樣的話我們存一幅圖的時候就隻需要存一個特征和一個解碼器即可。

後來把編解碼思路被用在了圖像分割的問題上，也就是現在我們看到的U-Net結構，在它被提出的三年中，有很多很多的論文去講如何改進U-Net或者FCN，不過這個分割網絡的本質的拓撲結構是沒有改動的。

輸入是一幅圖，輸出是目标的分割結果。繼續簡化就是，一幅圖，編碼，或者說降采樣，然後解碼，也就是升采樣，然後輸出一個分割結果。根據結果和真實分割的差異，反向傳播來訓練這個分割網絡。我們可以說，U-Net裡面最精彩的部分就是這三部分：

• 下采樣
• 上采樣
• skip connection

2. 改進

在基本的網絡拓撲上，根據自己研究的實際問題，進行網絡參數的改動，實作最終分割。

下采樣的特征：

    進行特征的提取，提取圖像的位置、語義等資訊

淺層結構可以抓取圖像的一些簡單的特征，比如邊界，顔色，而深層結構因為感受野大了，而且經過的卷積操作多了，能抓取到圖像的一些說不清道不明的抽象特征，

上采樣的特征：

     升采樣的最大的作用其實就是把抽象的特征再還原解碼到原圖的尺寸，最終得到分割結果

長連接配接：

U-Net中的長連接配接是有必要的，它聯系了輸入圖像的很多資訊，有助于還原降采樣所帶來的資訊損失

3. 發展

     抓取不同層次的特征，将它們通過特征疊加的方式整合，不同層次的特征，或者說不同大小的感受野，對于大小不一的目标對象的敏感度是不同的，比如，感受野大的特征，可以很容易的識别出大物體的，但是在實際分割中，大物體邊緣資訊和小物體本身是很容易被深層網絡一次次的降采樣和一次次升采樣給弄丢的，這個時候就可能需要感受野小的特征來幫助。