論文位址
代碼位址
He, J., Zhang, S., Yang, M., Shan, Y., & Huang, T. (2019). Bi-directional cascade network for perceptual edge detection. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (pp. 3828-3837)
文章目錄
- 摘要
- 1. 介紹
- 2. 模型
-
- 2.1 公式
- 2.2 網絡結構
- 2.3 損失函數
摘要
- 提出雙向級聯網絡Bi-Directional Cascade Network (BDCN)來提取不同尺度的特征。該模型每層使用特定尺度的标簽進行監督，并使用了利用膨脹卷積的尺度增強子產品Scale Enhancement Module (SEM)産生多尺度特征。
- 網絡更加适應多尺度的邊緣，更輕量，在BSDS500上F-measure of 0.828，漲點1.3%。
1. 介紹
邊緣檢測的主要難點：邊緣的多尺度問題，比如一個人的邊緣，手部的輪廓和頭部的輪廓尺度就不一樣，手指彎曲很小，這樣的邊緣很難學習；但頭部或者身體，很大，是以很好學習。如下圖：
2. 模型
2.1 公式
假設 ( X , Y ) (X,Y) (X,Y)是訓練集裡的一個樣本，将邊緣 Y Y Y分成 s s s個不同尺度的部分 Y s Y_{s} Ys:
為了訓練一個适應于 s s s個不同尺度的邊緣檢測器 D ( . ) D(.) D(.)，定義損失函數：
其中：
- P s = D s ( N s ( X ) ) P_{s} = D_{s}(N_{s}(X)) Ps=Ds(Ns(X))表示尺度 s s s的預測邊緣。 N s ( X ) N_{s}(X) Ns(X)變表示第 s s s層的輸出特征。
- 邊緣檢測器 D ( . ) D(.) D(.)是 D s D_{s} Ds的內建。
- Y s Y_{s} Ys表示不同尺度 s s s的邊緣标簽。
如何生成 Y s Y_{s} Ys？
人工标注不同尺度的标簽肯定不現實，為此一個直覺的想法就是利用标簽Y和其它層預測邊緣圖來生成：
公式（3）最終将導緻 Y ∼ ∑ i P i Y ∼ \sum_{i}P_{i} Y∼∑iPi。
然而公式（3）不可作為監督目标，因為觀察下面的反向傳播公式（4），其中 Y ∼ ∑ i P i Y \sim \sum_{i}P_{i} Y∼∑iPi，即 Y ^ = ∑ i P i \hat Y = \sum_{i}P_{i} Y^=∑iPi， 有 ∂ Y ^ ∂ P s = ∂ Y ^ ∂ P i = 1 \frac{\partial \hat Y}{\partial P_{s}} = \frac{\partial \hat Y}{\partial P_{i}} = 1 ∂Ps∂Y^=∂Pi∂Y^=1， 即上述求導第三個等式右邊沒有了，最後還是損失函數對總邊緣圖的微分，沒有具體到不同尺度的結果圖。這和直接優化沒有差別。
為了解決上述問題，定義第 s s s層監督圖 Y s Y_{s} Ys為下式（5），其中簡寫 s 2 d s2d s2d表示資訊傳播從淺層到深層， d 2 s d2s d2s表示資訊傳播從深層到淺層。
是以，對于尺度 s s s，則預測圖近似改為下式（6）：
這裡我有一個問題，這樣求導反向傳播難道就不是線性了嗎？
想了想還真不是，這樣就是從單變量求導變成多變量了。多變量求導需要分别求偏導再相乘，是以不再是線性了。
2.2 網絡結構
- SEM是尺度增強層，類似ASPP的結構，提高感受野，利用膨脹卷積設定不同尺度的擴張率來進行不同尺度的特征提取。
- 含有兩個超參數，K個膨脹卷積核以及擴張率 r k = m a x ( 1 , r 0 k ) r_{k}=max(1, r_{0}k) rk=max(1,r0k)
2.3 損失函數
這個就很容易看懂了，直接放公式了：