Deep Watershed Transform for Instance Segmentation

cvpr17的一篇文章， 作者：Min Bai； Raquel Urtasun

https://arxiv.org/pdf/1611.08303.pdf

之前效果較好的 Instance segmentation主要是使用proposal的方式，比如FCIS或者Mask rcnn，本文提出了骨骼清奇的深度分水嶺的方法。

1. Watershed Transform

首先來說一下傳統的分水嶺算法：

我們按照圖檔的灰階值的梯度可以繪制一個“地形圖”， 然後将在各個局部極小值的地方開始灌水，為防止不同區域内的水相通，變建立“大壩”将其分各開，也就将圖分割為獨立的幾個區域。如下圖：

傳統利用分水嶺的方法容易由于噪聲的原因産生過度分割的現象， 本文結合深度卷積網絡，學習一個特征代替傳統分水嶺算法中的圖形灰階圖的梯度值。

也就是由下圖中的a變為了b，其學習的目的就是每個instance 一個 basin的區域。

2. Deep Watershed Tranform

為了學習到上面所說的energy landscape， 文章将網絡分為了兩部分，首先學習‘ the directionof descent of the watershed energy’所用的網絡稱為 Direction Net，在此基礎上學習最終的Energy。 訓練時首先對兩部分分别預訓練然後進行end2end的finetune。網絡結構如下：

第一個階段學習的結果如下圖第二列所示，最終的階段如圖中第三列所示：

2.1 Direction Network

具體的第一階段output，為一個兩通道的map，表示一個機關向量，表達式為：

其中Dgt p是某個像素的distance transform，即某點到其最近instance 邊界的距離，如下圖，即使相近的兩個點（藍，紅）如果分屬于不同的instance，其得到的 結果也有較大的差距，這使得網絡可以把握住instance的邊緣特征。

預訓練的loss如下：

采用了cos的倒數，也就是主要看他們的角度

2.2 watershed transform network

這部分的ground truth是一個K=16的one-hot vector ， loss采用交叉熵的形式，也就是轉化為了一個分類的形式，第0類是背景或者可以記為背景的像素。

loss中将接近于邊緣的類别權重增大，即 ck .

2.3 inference

看文章是将大的object選用level=2來分割，小的object采用level=1。

3. Experiments

沒有在Pascal或者coco上做，試驗做的也不是特别多，cvper 的要求像是變了的感覺。