論文、代碼位址：在公衆号「計算機視覺工坊」，背景回複「BiANet」，即可直接下載下傳。
簡介：
現有的大多數RGB-D顯著物體檢測(SOD)方法通常集中關注于深度圖像突出的前景區域。然而，忽略了背景也可以為SOD方法提供重要的資訊。為了獲得良好的性能，我們可以從互補的前景和背景資訊聯合預測突出對象。是以，本文提出了一種用于RGB-D SOD任務的雙邊注意力網絡(BiANet)。具體來說，提出了一個具有互補注意機制的雙邊注意子產品(BAM)：前景優先(FF)注意和背景優先(BF)注意。FF的注意力集中在前景區域，呈現出逐漸細化的風格，而BF集中在背景區域，用于恢複潛在有用的突出資訊。利用所提出的BAM子產品，BiANet可以捕獲更有意義的前景和背景線索，并将更多的注意力轉移到細化前景和背景區域之間的不确定細節上。
本文主要貢獻：
- 提出了一個簡單而有效的雙邊注意子產品(BAM)，從有着豐富的前景和背景資訊的深度圖像中協同探索前景和背景線索。
- BiANet在九個标準度量下，在六個流行的RGB-SOD資料集上實作了更好的性能，并提供了比最先進的方法更好的視覺效果（例如，包含更多的細節和銳利的邊緣）。
- BiANet在NVIDIA GeForce RTX2080Ti GPU的不同設定下，運作速度為34fps∼80fps。是實際應用一個可行的解決方案。
與其他方法的比較的可視化圖檔：
模型架構：
1）特征提取：首先搭建兩個編碼流提取RGB和深度資訊。具體來說，RGB和深度流都使用來自VGG-16的五個卷積塊作為标準骨幹，分别提取多級特征{firgb, fid},i=[1,5]，并附加一個包括三個卷積層的卷積塊，分别預測顯着性映射Srgb和Sd。然後将來自RGB流的第i側輸出firgb，來自深度流的第i側輸出fid全連接配接為特征張量F i, i=[1,5]。此外，F6由RGB流和深度流的第5側輸出分别先經過最大池化操作再全連接配接得到。
2）預測上采樣：從高層特征預測的初始顯着性圖在低分辨率下是粗糙的，但對于預測前景和背景的初始位置是有用的，因為它包含豐富的語義資訊。為了細化基本顯着性映射S6（由F6得到），在BAM的幫助下，使用具有更多細節的低級特征F5來預測進階預測和地面真值(GT)之間的殘差分量。我們将預測的殘差分量R5添加到上采樣的進階預測S6中，并得到一個精細的預測S5等，即，
其中U（·）表示上采樣。最後，我們的BiANet得到了S=σ(S1)的顯着性圖，其中σ（·）是激活函數。
3）雙邊注意子產品：為了獲得更好的殘差，區分上采樣的前景和背景區域，本文設計了一個雙邊注意子產品(BAM)使BiAnet能夠區分前景和背景。在BAM中，進階預測作為前景優先注意(FF)映射，反向預測作為背景優先(BF)注意映射，将前景和背景上的雙邊注意結合起來。使用來自較進階别的上采樣預測AiF,i=[1,5]作為前景優先注意映射，在它們被激活後，背景優先注意(B F)映射是通過從矩陣E中減去FF映射生成的AiB,i=[1,5]，其中矩陣E所有元素都是1。具體公式如下：
然後分别應用FF和BF對兩個分支的側輸出特征進行權重，并進一步預測殘差分量：
其中Fˆi是Fi的信道約簡特征，使用32×1卷積來降低計算成本，表示由32個卷積核組成的特征提取操作，其大小為3×3, [ ，]表示全連接配接。在相同的特征提取操作後，PR是通過3×3核輸出單通道殘差映射的預測層。得到Ri後即可通過上述方程得到細化的預測Si。
自頂向下預測上采樣是一個逐漸提高顯著對象分辨率的過程。會導緻不确定的粗邊。可以看到，FF和BF特征都集中在不确定區域（如對象邊界）。低水準和高分辨率FF分支将消除不确定區域的溢出，而BF分支将消除不屬于背景的不确定區域。這就是為什麼BiAnet在細節上表現得更好，并且容易預測鋒利的邊緣的一個重要原因。
雙邊注意子產品工作機制的可視化圖檔：
損失函數：
為了快速收斂，将深度監督應用于深度流輸出Sd , RGB流輸出Srgb和每個自頂向下側輸出{S1, S2,···S6}。BiANet的總損失函數是:
實驗結果：
BiANet和其他14種最先進的方法在6個資料集上的PR曲線。
定量評價結果：
總結：
本文提出了一種快速有效的雙邊注意網絡(BiANet)，用于RGB-D SOD任務。為了更好地利用前景和背景資訊，本文提出了一個雙邊注意子產品(BAM)，它包括前景優先注意和背景優先注意機制的雙重互補。為了充分利用多尺度技術，将BAM子產品擴充到其多尺度版本(MBAM)，捕獲更好的全局資訊。在六個基準資料集上的廣泛實驗表明，BiANet在定量和定性性能方面優于以前最先進的SOD方法。所提出的BiANet在單個GPU上以實時速度運作，使其成為各種實際應用的潛在解決方案。
本文僅做學術分享，如有侵權，請聯系删文。