Abstract
本文旨在提高恢複性能，降低時間複雜度。首先在編碼器網絡中，引入LSTM網絡；解碼器中增加了注意力機制；第三，在訓練過程中使用了early stopping。
1 Introduction
在CsiNet的基礎上，做了以下幾點改進：
- 在編碼器部分，引入LSTM網絡來代替原來的全連接配接網絡。當壓縮比CR很高時，LSTM網絡可以充分利用信道矩陣之間的相關性并保留重要資訊。
- 受SEnet的啟發，在CNN中引入注意力機制。模型可以充分利用CNN的特征圖。我們的model稱為Attention-CsiNet
- 采用early stopping來阻止過拟合。可以更快收斂節省大量時間。
2 System Model
單小區FDD下行鍊路大規模MIMO-OFDM系統中，考慮 N c N_c Nc個子載波。在BS端采用 N t > > 1 N_t >> 1 Nt>>1的ULA天線，UE端單個天線。UE端第 i t h i_{th} ith子載波表示為：
y i = h i v i x i + n i y_i = \textbf{h}_i \textbf{v}_i x_i + n_i yi=hivixi+ni
用 H D = [ h 1 , h 2 , . . . , h N c ] \textbf {H}_D = [\textbf{h}_1, \textbf{h}_2,...,\textbf{h}_{N_c}] HD=[h1,h2,...,hNc]表示空頻域的CSI矩陣。在FDD鍊路中，UE需要估計 H d \textbf{H}_d Hd然後将CSI通過回報鍊路送回BS端來追蹤時變信道特征。一旦BS接收到CSI回報，他就可以設計預編碼向量，調制方式和碼率。
通過2D-DFT将 H d \textbf {H}_d Hd變換到角延遲域來觀察。得到近似稀疏矩陣 H s \textbf{H}_s Hs
H s = F d H d F a \textbf {H}_s = \textbf{F}_d\textbf{H}_d\textbf{F}_a Hs=FdHdFa
因為有限的多徑延遲，是以可以系數化。隻有 H s \textbf{H}_s Hs的前 N ~ c ( < < N c ) \tilde N_c(<< N_c) N~c(<<Nc)包含非零元素，然後移除其餘 ( N c − N ~ c ) (N_c-\tilde N_c) (Nc−N~c)行。
編碼器網絡 H e n = f L S T M ( H ) \textbf{H}_{en}=f_{LSTM}(\textbf{H}) Hen=fLSTM(H)，解碼器網絡 H ^ = f C N N ( H e n ) \hat {\textbf{H}} = f_{CNN}(\textbf{H}_{en}) H^=fCNN(Hen)
3 The proposed Attention Model
盡管CsiNet在感覺和重建方面表現了出色的性能，但發現仍有改進的餘地。
A. LSTM encoder
CsiNet忽略了子載波之間的相關性。受RNN在NLP領域的啟發的啟發，能夠從序列任務中提取資訊。是以使用LSTM網絡來代替全連接配接來提高恢複品質。
我們使用雙向LSTM（bi-LSTM）獲得M維向量結果，并找到兩個向量的平均值作為回報的編碼向量。LSTM網絡共享相同的參數。
如圖上圖所示，我們reshape H \textbf H H to [ h 1 , h 2 , . . . , h s ] [\textbf h_1, \textbf h_2,...,\textbf h_s] [h1,h2,...,hs]同時将 s s s vectors送入bi-LSTM network。 s s s也是LSTM網絡的時間步長。最終得到一個 M M M維的向量作為最終的編碼CSI向量進行回報。
B. Attention Mechanism
在CNN中加入SEblock。
C. THE Structure of Attention Csi-Net
整體架構如圖所示：
将CSI矩陣H的實部和虛部作為網絡輸入的兩個通道。第一層是卷積層，其尺寸為3×3個核，批量标準化[15]層可以加速訓練并防止過度拟合。該層将生成兩個feature maps。然後将特征 reshape成 s s s vectors，送入到bi-LSTM神經網絡中來生成code H e n \textbf H_{en} Hen，一個 M M M維向量。
一旦在BS中獲得了碼字，我們使用LSTM解碼器網絡來重建最初的資訊。我們重複 H e n \textbf H_{en} Hens次，然後将這些向量送入到LSTM網絡去基本恢複 H \textbf H H 。将LSTM的輸出reshape成$2\times N_t\times N_t的矩陣。然後該矩陣被送入兩個RefineNet子產品，以便完全重構CSI矩陣。
最後的輸出層通過sigmoid函數激活，該函數可以将值縮放為[0,1]。
輸入資料被标準化為[0,1]範圍，整個網絡被定義為：
H ^ = f ( H ; Θ ) ≜ f C N N ( f L S T M ( H ; Θ e n ) ; Θ d e ) \hat{\textbf H} = f(\textbf H; \Theta)\triangleq f_{CNN}(f_{LSTM}(\textbf H;\Theta_{en});\Theta_{de}) H^=f(H;Θ)≜fCNN(fLSTM(H;Θen);Θde)
神經網絡的所有參數表示為 Θ = { Θ e n , Θ d e } \Theta = \{\Theta_{en},\Theta_{de}\} Θ={Θen,Θde}
損失函數為均方誤差(MSE)定義為
L ( Θ ) = 1 T ∑ i = 1 T ∣ ∣ H ^ − H ∣ ∣ 2 2 L(\Theta)=\frac 1 T \sum^T_{i=1}||\hat{\textbf H }-\textbf H||^2_2 L(Θ)=T1i=1∑T∣∣H^−H∣∣22
T T T是batch size。 ∣ ∣ ⋅ ∣ ∣ 2 ||\cdot||_2 ∣∣⋅∣∣2為歐幾裡得範數。
使用ADAM梯度下降優化器來完成參數更新。
4 Simulation Results and Analysis
采用和CsiNet一樣的方式使用COST2100模型來産生MIMO信道資料。
為了避免過度拟合，我們使用了提前停止，以便每個訓練步驟中的曆次從700到1000不等。
為了比較不同方法的性能，我們使用歸一化MSE（NMSE）來明确恢複性能，其定義如下：
N M S E = E 1 N ∑ n = 1 1 ∣ ∣ H n − H ^ n ∣ ∣ 2 2 / ∣ ∣ H n ∣ ∣ 2 2 NMSE=E{\frac 1 N \sum^1_{n=1}||\textbf H_n - \hat{\textbf H}_n||^2_2/||\textbf H _n||^2_2} NMSE=EN1n=1∑1∣∣Hn−H^n∣∣22/∣∣Hn∣∣22
我們還使用餘弦相似性來比較不同的方法，如下所示：
ρ = E { 1 N c ∑ i = 1 N c ∣ h ^ i H h ~ i ∣ ∣ ∣ h ^ i ∣ ∣ 2 ∣ ∣ h i ∣ ∣ 2 } \rho = E\{\frac 1 {N_c} \sum^{ N_c}_{i=1}\frac {|\hat{\textbf h}^H_i \tilde{h}_i|}{||\hat {\textbf h}_i||_2|| {\textbf h}_i||_2}\} ρ=E{Nc1i=1∑Nc∣∣h^i∣∣2∣∣hi∣∣2∣h^iHh~i∣}
some pseudo-gray plots of reconstruction samples