Channel–spatial attention-based pan-sharpening of very high-resolution satellite images
（基于通道-空間注意的很高分辨率衛星影像全色銳化）
全色銳化處理旨在生成新的合成輸出圖像，其保留全色的空間細節和多光譜圖像輸入的光譜細節。近年來，基于深度學習的方法在遙感領域取得了巨大的成功，主要是傳統卷積神經網絡（CNNs）的應用。傳統的基于神經網絡的方法大多對所有信道一視同仁，無法學習信道間的相關性。注意機制可以學習通道間的相關性，在超分辨率和目标檢測任務中被證明是有效的。在本研究中，我們借由設計一個密集殘餘注意力模組（RAM），提出了一個新穎的深度學習架構–以通道空間注意力為基礎的全色銳化方法（CSAPAN）。此外，我們在高頻域訓練模型，并在與全色圖像疊加以進一步提取特征之前，使用像素重排（pixel shuffle）方法對低分辨率多光譜圖像進行上采樣。
介紹
全色銳化是遙感中生成新的合成輸出圖像的常用技術，該合成輸出圖像保留全色的空間細節和多光譜圖像輸入的光譜細節。全色銳化遙感圖像已廣泛應用于土地覆寫分類、變化檢測、目标檢測，甚至Mastcam圖像。在過去的幾十年裡，人們提出了各種方法來對地球觀測（EO）資料進行全色銳化，這些資料可以分為四類：(1)基于元件替換（CS）的方法;（2）基于多分辨分析（MRA）的方法;（3）基于變分優化（VO）的方法;（4）基于深度學習的方法。此外，Kwan等人從是否使用點擴散函數（PSF）的角度将全色銳化方法分為四類。
最近，基于深度學習的方法在全色銳化中得到了廣泛關注并産生了成功的結果。基于神經網絡的全色銳化（PNN）的思想來源于使用卷積神經網絡的超分辨率（SRCNN），SRCNN是為單幅圖像超分辨率而設計的，僅包含三個卷積層，并取得了令人滿意的結果。Yang等人提出了一種PanNet，其中上采樣的多光譜圖像被包含在網絡輸出中以保持光譜，并且網絡在高通濾波域中進行訓練以保持空間。Yuan等人提出了一種多尺度多深度卷積神經網絡（MSDCNN），其中PNN被用作淺部，較深的多尺度特征提取層被用作深部，以生成深度架構。Wang等人進行了詳細的比較分析，以評估典型的基于深度學習的模型的全色銳化結果的性能和視覺品質。
2018年提出了一種用于遙感圖像全色銳化的生成對抗網絡（Generative adversarial network，PSGAN），該網絡以兩個流為生成器，以三層卷積網絡為鑒别器，并取得了競争性的結果。最近，Ozcelik等人提出了一種自監督架構PanColorGAN，将全色銳化處理作為一個彩色化問題，實作了高水準的空間細節保持。
由于目前基于神經網絡的方法通常公平地對待所有通道，并且不能學習通道之間的相關性，是以提出了注意機制，并且已經證明在目标檢測和圖像超分辨率任務中是有效的。在遙感領域，Li等人引入了多尺度信道注意殘差網絡（MSCARN），用于提取多尺度特征和信道特征。不過，在全色銳化任務上仍值得進一步探索。
在本研究中，我們提出了一個新的深度殘餘通道-空間注意力為基礎的架構，即CSAPAN的全色銳化任務，通過構造一個密集殘餘注意力子產品（RAM）。首先，我們将通道空間注意機制引入到全色銳化中，以改善和提高全色銳化圖像的品質。其次，與傳統的基于CNN的方法相比，我們在高頻域中訓練我們的模型以保留白間資訊，并且使用雙三次插值方法的上采樣多光譜圖像通過網絡傳播以進行光譜保留。最後，當與全色圖像疊加用于進一步的特征提取時，我們使用像素重排（pixel shuffle）方法而不是簡單的雙三次插值對下采樣的多光譜圖像進行上采樣。
Material and methods
Attention mechanism
基于CNN的網絡已經在包括全色銳化在内的各種任務中取得了有希望的性能。然而，在基于CNN的網絡中，所有的信道被同等對待，低分辨率圖像中包含的豐富的高頻資訊沒有被充分利用。注意機制被提出來解決這些問題，并且已經被證明能夠學習通道之間的更深的互相依賴性，如在用于圖像超分辨率的具有遞歸擠壓和激勵網絡（SESR）的單幅圖像超分辨率和非常深的殘餘通道注意網絡（RCAN）中所示。圖1（a）描述了擠壓和激發子產品。SE子產品包括通過使用平均池來擠壓每個通道的全局空間資訊的擠壓函數以及包含兩個完全連接配接的層和Sigmoid函數。然後，sigmoid函數的輸出與原始H × W × C輸入進行元素級乘積，以完全捕獲通道級相關性。
圖1（b）示出了信道注意子產品（CAM），其用卷積層替換了全連接配接層。簡單地說，設X ∈ R H × W × C R^{H×W×C} RH×W×C是一個具有C個特征的輸入，特征大小為H × W。我們通過應用平均池得到了信道統計量z ∈ R C R^C RC。然後，我們通過使用sigmoid函數來獲得注意映射 s:
其中f和σ分别表示Sigmoid函數和ReLU函數。WD表示具有縮減率r的信道下采樣卷積層的權重。WU表示具有比率r的信道上采樣卷積層的權重。最後，利用學習到的通道統計量對輸入信号X進行尺度變換。
圖1（c）描述了空間注意力子產品。輸入X ∈ R H × W × C R^{H×W×C} RH×W×C的最大池和平均池沿着信道軸的級聯被饋送到卷積層。然後我們計算Sigmoid函數的輸出與原始H ×W × C輸入的逐元素乘積。
Proposed framework
我們提出的CSAPAN的總體架構如圖2所示。該方法由四部分組成：圖像預處理、特征融合子網絡、超分辨率子網絡、光譜保持子網絡。
Image preprocessing
基于Wald協定設計了典型的基于深度學習的全色銳化模型,包括PNN 、MSDCNN、PanNet 。根據Wald協定，首先對IPAN和IMS進行尺度因子為4的降采樣，分别得到全色IPAN-down和多光譜圖像IMS-down的降分辨率。其次，通過比例因子4對下采樣的多光譜圖像IMS-down進行上采樣，以生成具有與原始多光譜圖像IMS相同分辨率的上采樣的多光譜圖像IMS-up。最後 ，基于深度學習的模型将IPAN-down和IMS-up作為輸入，将IMS作為目标圖像來計算損失。IHRMS代表融合的全色銳化圖像。我們還根據Wald的協定訓練我們的模型。
從圖2可以看出，紅色虛線框為圖像預處理部分。首先，全色圖像IPAN被下采樣到多光譜圖像的大小，縮放因子為4 ×到IPAN-down。其次，對多光譜圖像IMS進行4倍尺度下采樣，得到IMS-down。
Features Fusion subnetwork
特征融合如圖2中的綠色虛線框所示。在特征融合子網絡中，首先對輸入的IPAN-down和IMS-down進行高通濾波，得到高頻資訊IPAN-edge和IMS-edge。然後，我們使用三個卷積層和一個像素混洗層對IMS-edge進行上采樣以産生IMS-edge-up。是以，我們有
我們将Xfuse表示為IPAN-edge和IMS-edge-up的級聯特征：
其中fconcat表示級聯操作。
Super-resolution subnetwork
受圖像超分辨率任務的啟發，我們設計了一個超分辨率子網絡，如圖2中紫色虛線框所示，用于學習圖像的高頻。超分辨率子網絡由一個用于淺層特征提取的卷積層、多個用于深層特征提取的剩餘注意子產品（RAM）和另一個用于圖像重建的單個卷積層組成。
讓我們将X0表示為淺層特征提取部分的輸出。
如果我們将 X i X^i Xiin和 X i X^i Xiout分别作為第i個RAM子產品的輸入和輸出
然後，使用卷積層來重構圖像資訊。假設我們有n個RAM子產品，
Spectral preservation subnetwork
光譜儲存子網絡如圖2中的藍色虛線框所示。為了儲存光譜資訊，我們通過使用具有4 ×比例因子的簡單雙三次插值方法将IMS-down上采樣到IMS-up，并将長跳躍連接配接添加到深度殘差網絡，如紅線所示。是以，最終全色銳化輸出IHRMS可描述為
Residual attention module
提出了一種用于深度資訊提取的剩餘注意力模型。提出的RAM是由超分辨率任務中使用的注意機制激發的。如圖3所示，RAM由密集殘差塊、注意塊、1 × 1卷積層和全局跳躍連接配接組成。
密集殘差塊由五個卷積層組成，每一層将所有後續層作為其輸入。我們在卷積層後增加了一個注意子產品，如圖1（a）-（c）所示，用于學習通道之間的相關性，并分别命名為CSAPAN-SE、CSAPAN-CA和CSAPAN-CBAM。同時，我們将不使用注意子產品的模型命名為NCAPAN，以評估注意子產品的效果。添加1 × 1卷積層以改變特征的尺寸。最後，采用全局跳躍連接配接來穩定訓練過程。