Spatial-Temporal Synchronous Graph Convolutional Networks: A New Framework for Spatial-Temporal Net

文章目錄

• Spatial-Temporal Synchronous Graph Convolutional Networks: A New Framework for Spatial-Temporal Network Data Forecasting（時空同步卷積網絡）
• • • 思想
    • 問題定義：
    • 模型架構：
    • • 局部時空圖構造
      • 時空embedding
      • 時空同步圖卷積
      • 時空同步圖卷積層
      • 其他組成部分
    • 實驗
    • • 對比其他方法的性能
      • 消融實驗

Spatial-Temporal Synchronous Graph Convolutional Networks: A New Framework for Spatial-Temporal Network Data Forecasting（時空同步卷積網絡）

思想

以前都方法都是單獨建立時間空間元件來捕獲時空相關性，但是忽略了時空異質性（隻是捕獲了前兩種結構的影響）

時空圖中的每個節點都可以在同一時間步直接影響其相鄰節點，并且這種影響是從實際的空間依賴性得出的。同時，由于時間序列中的時間相關性，每個節點也可以在下一時間步直接影響自己。此外，由于同步的時空相關性，每個節點都可以在下一時間步直接影響其鄰居節點。

貢獻：

1. 提出了一種新穎的時空圖卷積子產品，以直接同步地捕獲局部時空相關性，而不是分别使用不同類型的神經網絡子產品。
2. 構造了一個多子產品層以捕獲遠端時空圖中的異質性。這個多子產品層在每個時間段上部署多個子產品，進而使每個子產品可以專注于提取每個局部時空圖上的時空相關性。（異質性，比如不同時間段住宅和商業區呈現出不同的模式）

問題定義：

• 空間網絡圖 G G G， G = ( V , E , A ) G=(V,E,A) G=(V,E,A),其中 V V V為頂點， E E E為連邊， A A A為鄰接矩陣
• 圖信号矩陣 X G ( t ) ∈ R N × C X_G^{(t)}\in R^{N×C} XG(t)​∈RN×C，C為特征數量，圖信号矩陣代表在t時刻空間圖的觀測值
• 問題可以定義為找到一個映射 f f f，将曆史時空圖信号序列 ( X G ( t − T + 1 ) , X G ( t − T + 2 ) . . . X G ( t ) ) (X_G^{(t-T+1)},X_G^{(t-T+2)}...X_G^{(t)}) (XG(t−T+1)​,XG(t−T+2)​...XG(t)​)映射到未來觀測序列 ( X G ( t + 1 ) , X G ( t + 2 ) . . . X G ( t + T ′ ) ) (X_G^{(t+1)},X_G^{(t+2)}...X_G^{(t+{T}')}) (XG(t+1)​,XG(t+2)​...XG(t+T′)​)

模型架構：

1）在上一個和下一個時間步驟将每個節點與其自身連接配接，以建構局部的時空圖。 2）使用時空同步圖卷積子產品捕獲局部時空相關性。

3）部署多個子產品以對時空網絡系列中的異構性進行模組化。

局部時空圖構造

通過在前一刻和下一刻将所有節點連接配接起來，我們可以獲得局部的時空圖。根據局部時空圖的拓撲結構，可以直接捕獲每個節點與其時空鄰居之間的相關性。這裡 A ( t 1 ) A^{(t_1)} A(t1​)代表t1時刻的鄰接矩陣，而 A t 1 → t 2 A^{t_1 \rightarrow t_2} At1​→t2​代表相鄰時間的連邊

時空embedding

連接配接不同時間的節點會掩蓋每個節點的時間屬性，這裡将位置嵌入到時空網絡序列中，對于時空網絡序列 X G ∈ R N × C × T X_G \in R^{N×C×T} XG​∈RN×C×T，構造一個可學習的時間嵌入 T e m b ∈ R C × T T_{emb} \in R^{C×T} Temb​∈RC×T和一個可學習的空間嵌入 S e m b ∈ R N ∗ C S_{emb} \in R^{N*C} Semb​∈RN∗C，訓練完成後兩個嵌入矩陣包括了時間相關和空間資訊。

将兩個embedding和原來的時空網絡序列相加得到新的網絡序清單示

時空同步圖卷積

建立了一個時空同步圖卷積子產品（STSGCM），以捕獲局部時空相關性。 STSGCM由一組圖卷積運算組成。圖卷積運算可以聚合每個節點及其鄰居的特征。在頂點域中定義圖卷積運算，以聚合時空網絡中的局部時空特征。圖卷積運算的輸入是局部時空圖的圖信号矩陣。圖卷積運算中，每個節點在相鄰的時間步長處彙總其自身及其鄰居的特征。聚合函數是線性組合，其權重等于節點與其鄰居之間的邊緣的權重。然後，我們部署一個具有激活功能的全連接配接層，以将節點的特征轉換為新的空間。該圖卷積運算可表示為：

h ( l ) h^(l) h(l)代表第l層圖卷積的輸出，對于一個有L層圖卷積的STSGCM，每個圖卷積的結果都會被送到聚合層，聚合層會壓縮所有輸出，聚合層有兩步操作，聚合和裁剪。

• 聚合：采用最大池化，子產品内卷積運算的kernel數目應該相等

  

• 剪裁：裁剪操作删除了上一個和下一個時間步的節點的所有特征，僅保留了中間時刻的節點。這樣做的原因是圖卷積運算已經彙總了上一個和下一個時間步驟中的資訊。即使我們裁剪了兩個時間步長，每個節點仍包含局部時空相關性。如果我們堆疊多個STSGCM，并保留所有相鄰時間步的特征，則大量備援資訊将駐留在模型中，這可能嚴重損害模型的性能。

時空同步圖卷積層

為了捕獲整個網絡系列的長期時空相關性，我們使用滑動視窗來切出不同的周期。由于時空資料的異質性，最好使用多個STSGCM模組化不同的周期，而不是在所有周期共享一個。多個STSGCM允許每個人專注于對本地化圖中的本地時空相關性進行模組化。我們将一組STSGCM部署為SpatialTemporal同步圖卷積層（STSGCL），以提取遠端時空特征，如圖2所示。

定義輸入矩陣： X ∈ R T × N × C X \in R^{T×N×C} X∈RT×N×C，首先加入時空嵌入，然後使用滑動視窗将分為 T − 2 T-2 T−2個時空網絡序列，每個時空網絡序列為 X ′ ∈ R 3 × N × C {X}' \in R^{3×N×C} X′∈R3×N×C，然後連同局部時空圖送入STSGCM中，然後T-2個GCM的輸出進行連接配接成一個矩陣

其中 M i ∈ R N × C o u t M_i \in R^{N×C_{out}} Mi​∈RN×Cout​定義第i個STSGCM的輸出

通過堆疊多個STSGCL，我們可以建構可以捕獲複雜的時空相關性和時空異質性的分層模型。經過幾次時空同步圖卷積運算後，每個節點将包含以自身為中心的局部時空相關性。

其他組成部分

• 掩碼矩陣 鄰接矩陣 A ′ {A}' A′決定了聚合程度，然而，每個節點不同程度地影響鄰居節點，如果鄰接矩陣僅僅包含0和1，那麼聚合可能會受到限制，如果在局部時空圖中兩個節點是相連的，那麼即使在某個時期他們沒有相關性，但是他們的特征也會聚合在一起，添加一個可學習的掩碼矩陣 W m a s k W_{mask} Wmask​來調整聚合權重，使得聚合更加合理。

  W m a s k ∈ R 3 N × 3 N W_{mask}\in R^{3N×3N} Wmask​∈R3N×3N，将其與局部鄰接矩陣 A ′ {A}' A′進行元素級别的乘法，來生成一個權重調整局部鄰接矩陣：

  A a d j u s t e d ′ = W m a s k ⊗ A ′ ∈ R 3 N × 3 N {A}'_{adjusted}=W_{mask} \otimes {A}' \in R^{3N×3N} Aadjusted′​=Wmask​⊗A′∈R3N×3N

  然後使用生成的 A a d j u s t e d ′ {A}'_{adjusted} Aadjusted′​來計算所有的圖卷積

• 輸入層 加入一個全連接配接在最頂端将輸入轉化到高維空間，能夠提升網絡的表征能力
• 輸出層 定義輸出層将STSGCL的最後一層轉化為想要的輸出，輸出層的輸入定義為 X ∈ R T × N × C X \in R^{T×N×C} X∈RT×N×C，首先對其進行轉置并reshape成 X T ∈ R N × T C X^T \in R^{N×TC} XT∈RN×TC，然後我們使用兩層全連接配接來産生預測

這裡 y ( i ) ^ \hat{y^{(i)}} y(i)^​表示第i步的預測結果

将多個時間步連接配接起來作為最後的輸出

• Loss Function

其中Y為groundtruth， Y ^ \hat Y Y^為模型預測， δ \delta δ為門檻值參數控制均方誤差

實驗

對比其他方法的性能

消融實驗

消融實驗證明每個結構都是有其作用的

critical thinking：

1. 創新點：将時域空域進行連接配接，生成局部時空同步圖來捕獲節點間的時空關系和異質關系，
2. 不同的局部時空圖之間對于預測的權重沒有考慮，因為不是每個局部時空圖對于每個節點的預測權重都是相同的，通過直接concat是否錯失了這種局部重要性關系，比如離預測時刻越近的局部時空對于決策的影響越大