"一種新穎的RGBD雙流結構"
-
-
- 主要結構
- 論文結構提出思路
- 細節描述
-
- DepthNet
- RGBNet
- 深度注意力子產品(DAM)
- 實驗結果
-
主要結構
本文提出了一個新穎的雙流非對稱融合方法，其主要結構架構如下圖所示：
結構主要包含3個部分，分别是處理RGB流的RGBNet，多層特征結合的流式梯形子產品，對從深度流各層得到的深度特征加注意力的深度注意力子產品（DAM）,以及一個輕量級的深度特征提取網絡DepthNet。
論文結構提出思路
RGB圖檔和與Depth圖檔所展現的資訊是不同的，RGB更多的展現的是色彩，也是就是上下文資訊，而Depth更多的展現的是結構資訊，傳統的雙流對稱網絡和簡單的融合政策可能會降低預測的準确性，并且現有的基于RGB-D的用于下采樣的步長和池化操作會不可避免地導緻資訊丢失，為了解決上述問題，本文作者提出了這種非對稱結構。
細節描述
DepthNet
此處我們采用的是輕量級網絡，并獲得3，4，5層的側邊輸出，采用輕量級網絡的原因是由于深度圖所包含的資訊主要是空間位置資訊，如果對深度提取網絡使用過于複雜的網絡則會導緻資訊備援，是以對其使用與RGB流相同複雜的網絡是沒必要的。
RGBNet
網絡越深，能提取到的高層資訊（位置和語義資訊）就越豐富，但是在網絡中使用過多的步長和池化操作會趙成細節丢失，一個簡單的方法就是将網絡中的低層特征和高層特征通過跳躍連接配接結合在一起。但是，低級特征對與顯著性檢測中具有重要功能的複雜場景的判别和預測能力較弱，是以，本文作者為提高低級特征對複雜場景的判别和預測能力提出了本文的RGBNet，其主要包含一個VGG關網絡，和一個流式階梯結構（FLM），FLM可以保留多個尺度和級别的分辨率，以確定局部細節資訊和全局位置資訊有助于顯著性檢測的準确性。
FLM包含4各分支，一共3層，第1,2分支分别包含4層，第三分支包含2層，第一分支包含1層。每一個層塊的結構如下
作者還設計了一個用于局部-全局進行進一步融合的流（local-global evolutionary fusion flow，下稱LEFF），以整合從細節資訊傳遞分支中提取的多尺度局部和全局特征。LFW中的每個分支都通過LEFF來整合來自其他垂直平行特征中獲得豐富的資訊，通過這種方式可以生成豐富的全局上限為特征，同時保留更多的局部顯著性細節資訊，如FLW結構中所示，通過不同分支之間的演化，可以有效結合局部細節資訊和全局上下文資訊，這對于顯著性檢測的準确性是非常有利的。
深度注意力子產品(DAM)
現實世界中對象位置的統計資訊的變化，使得RGB和深度資料的線性融合政策對複雜場景的适應性降低，本文提出DAM對深度資訊結合RGB融合進行處理，DAM可以區分性地融合深度特征，并過濾掉錯誤提示的深度特征，DAM的結構如下圖所示：
實驗結果