論文分享沙龍2020第17期
分享人：中國礦業大學博士 朱冠宇
研究方向：計算機視覺 | 三維點雲分類、分割
論文标題：GAPNet: Graph Attention based Point Neural Network for Exploiting Local Feature of Point Cloud (利用點雲局部特征的圖注意力點神經網絡 )
論文來源：arXiv
論文下載下傳：https://arxiv.org/pdf/1905.08705.pdf
摘要：
在PointNet中有助于更好的上下文學習的本地特性沒有被考慮。同時，注意機制通過對鄰近節點的關注，可以有效地捕獲基于圖的資料上的節點表示。在本文中，作者提出了一種新的用于點雲的神經網絡，稱為GAPNet，通過在多層感覺器(MLP)層中嵌入圖注意機制來學習局部幾何表示。首先，作者引入一個GAPLayer，通過在鄰域上突出不同的注意權重來學習每個點的注意特征。其次，為了挖掘足夠的特征，采用了multi-head機制，允許GAPLayer聚合來自independent heads的不同特征。第三，作者提出了在相鄰網絡上使用注意力池化層來捕獲本地信号，以增強網絡的魯棒性。最後，GAPNet将多層MLP應用在注意力特征和局部特征上，充分提取局部幾何結構。
1. 方法 貢獻：
- 本文提出了一個multi-head GAPLayer，通過顯示不同的鄰居對每個點的重要性來捕獲上下文的注意力特征，Independent heads并行地處理來自表示空間的不同特征，并進一步聚合在一起，以獲得足夠的特征提取能力。
- 本文提出了自注意和鄰域注意機制，允許GAPLayer通過考慮自幾何資訊和與相應鄰域的局部相關性來計算注意系數。
- 提出了一個用在領域的注意力池化層來識别最重要的特征，通過獲得局部信号表示，以增強網絡的魯棒性。
- 本文的GAPNet将GAPLayer和注意力池化層內建到多層感覺器(MLP)層或現有網絡(例如PointNet)中，以便更好地從無序點雲中提取本地上下文特征。
1.1 GAPLayer
考慮到樣本數量的點雲可以非常大的在真實的應用程式(如自動駕駛), 因為非常小的權重配置設定到其他點上，允許每一個點關注其他所有點會導緻高計算成本和梯度消失問題。是以構造一個有向的k-近鄰圖G = (V, E)，來表示點雲的局部結構，其中V={1，2，…，N}是節點，E⊆V×Ni代表連接配接相鄰點的邊，Ni是點xi的領域點集合，定義邊的特征為yij=(xi-xij)，i∈V, j∈Ni，在上圖中xij表示點xi的相鄰點xj。 注意系數産生：xi和xij分别表示某一點及其對應鄰居，yij為對應邊。自系數和局部系數由一個leaky-RELU激活函數融合，再由softmax函數歸一化得到相鄰對的注意系數。
M個heads的GAPLayer，如圖(a)所示。以N個F維特征的點為輸入，将所有并行的heads的注意力特征和圖特征分别拼接，生成多注意特征和多圖特征作為輸出。圖 (b)所示，single-head的GAPLayer并行的學習self-attention和neighboring-attention特征,然後通過一個非線性激活函數leaky-RELU融合在一起獲得注意力系數，然後由softmax函數進一步歸一化，然後通過線性組合運算最終生成注意力特征。
1.2 GAPNet
該體系結構包含兩個部分:分類(頂部分支)和語義部分分割(底部分支)。分類模型将N個點作為輸入,并應用一個GAPLayer獲得multi-attention特性和multi-graph特性,然後分别送入共享MLP層和注意力池化層，然後是一個共享的全連接配接層，形成一個全局特征，用于擷取c類的分類分數。
語義部分分割模型(底部分支)使用第二個GAPLayer擴充了分類模型，MLP層從s個語義标簽中為每個點擷取某一類别的分數。兩個紅色箭頭表示對應GAPLayer的注意力池化操作，生成本地信号，并連接配接到中間層生成全局特征。 GAPLayer{4,16}表示具有4個頭，16個編碼特征通道的GAPLayer。 2. 實驗
排版編輯：朱冠宇綜合策劃：何 欣