題目:Joint Spatial–Spectral Attention Network for
Hyperspectral Image Classification
作者：Lei Li, Jihao Yin , Senior Member , IEEE, Xiuping Jia, Senior Member , IEEE,Sen Li, and Bingnan Han
期刊:IEEE GEOSCIENCE AND REMOTE SENSING LETTERS
文章目錄
- 一、提出問題
- 二、本文解決的關鍵問題
- 三、作者提出的模型
- 四、子產品分析
- 五、實驗結果
- 創新點
一、提出問題
1.如何更有效的充分利用空-譜資訊？
（1）有使用3-D卷積神經網絡去進行空譜特征提取
（2）有突出雙路深度卷積網絡提取聯合空譜特征
（3）也有提出新穎的貝葉斯卷積神經網絡
總結為兩個方面問題：
1.高光譜圖像的光譜波段對于需要分類任務來說貢獻不均等
2.我們需要對想要的地物特征進行分類，進而忽略到背景類
二、本文解決的關鍵問題
尋找一個方法可以讓卷積網絡的在進行空譜特征提取的時候自适應的去選擇目标地物和有包含大量資訊量的光譜帶。
三、作者提出的模型
概述：聯合空譜注意力機制網絡(JSSAN),能夠很好的去模拟空間土地覆寫和光譜波段之間的長期互相依賴的關系。與此同時，将具有區分性的空譜特征選擇性的聚合在一起，生成attention mask。然後，将注意力合并到特征圖中，幫助卷積層突出和增強目标土地覆寫和資訊波段的特征，以提取更具代表性的特征。
四、子產品分析
A.Spatial-Spectral Attention Block
提出一個S2A的block來實作生成attention-mask。S2A的結構如上圖的FIG3所示，主要劃分成三個分支：spital attention branch,spectral attention branch、attention distribution branch
（1）Spatial Attention Branch
主要用來擷取土地覆寫在空間域中複雜的長期互相依存關系。使用兩個11的卷積核将輸入特征X(HW*C)轉換成光譜嵌入，用嵌入高斯函數計算任意兩個位置的空間相似度得分sij，由于輸入為兩路，其中一路做了轉置操作，兩路相乘得到空域上相似得分，進而所有的相似得分結合起來形成空間的相似矩陣，可以量化土地覆寫物在空間的互相依賴的關系。
（2）Spectral Attention Branch
采用兩個33 depth-wise卷積将輸入的X轉換成空間嵌入，和Spatial Block 相似，我們矩陣乘法和softmax激活函數計算最後的光譜相似矩陣，可以量化土地覆寫物在光譜的互相依賴的關系。
（3）Attention Distribution Branch：
為了生成attention mask，最後的操作是自适應的将上述兩種相似矩陣配置設定到所有的位置和譜帶中去，是以采用了33卷積将輸入的X轉化成空間-光譜嵌入
B. Joint Spatial-Spectral Attention Network
将注意力機制和殘差網絡結合起來，如上圖所示，三個attention進行元素相加，最終通過全局池化和全連接配接進行輸出
這是以上網絡的參數結構圖。
五、實驗結果
創新點
1.将注意力機制和殘差網絡相結合，讓網絡自适應去提取需要分類的區域，進而忽視了圖像背景等無用的部分，降低了噪聲的幹擾。
2.創造性的提出了S2A block可以去捕捉擷取土地覆寫物和光譜波段的長期關系，并選擇性的聚合可分辨的空間-光譜特征，這種S2A block嵌入到CNN網絡結構中使得CNN網絡能夠提取到更多代表性特征，提高分類的準确率。