ICLR 2018
最近在學習圖卷積網絡。調研一些文章吧。
這篇文章不是GCN，是GAT
輸入是N個結點特征h，輸出是新的N個特征h'。這個過程至少需要一個權重矩陣W來轉移。這裡W是所喲結點共享的。這樣的共享的結果肯定不是最優的，是以加上self-attention,為每個相鄰節點到中心節點的轉移設定獨特的權重：
這裡Ni是i節點的鄰接點集合。aij就是上述獨特的權重，其實就是鄰接點對中心點的重要性
文中還提到多頭注意力機制更優：
K是注意力機制數目。||是concat操作。
當然最後一層不能concat了，要求均值。