清華大學孫茂松組：圖神經網絡必讀論文清單

GitHub 連結： https://github.com/thunlp/GNNPapers

綜述論文

這部分共介紹了 8 篇論文，包括前面提到的清華大學的兩篇綜述論文。

機器之心介紹過其中的部分論文，參見：

• 深度學習時代的圖模型，清華發文綜述圖網絡
• 清華大學圖神經網絡綜述：模型與應用
• 學界 | DeepMind 等機構提出「圖網絡」：面向關系推理
• 學界 | Facebook 何恺明等人最新論文提出非局部神經網絡

模型

模型部分包括 35 篇論文，包括：

• Yoshua Bengio 發表在 ICLR 2018 上的論文 《Graph Attention Networks》 ，該論文提出了基于近鄰節點注意機制的網絡架構 GAT，可用于處理複雜、不規則結構的計算圖，并在三種困難的基準測試中得到了業内最佳水準，研究人員稱該模型有望在未來處理任意不規則結構圖。
• 谷歌發表在 ICLR 2018 上的論文《Graph Partition Neural Networks for Semi-Supervised Classification》，該論文提出了一種圖神經網絡的新變體——圖分割神經網絡（Graph Partition Neural Network，GPNN），該網絡适用于處理大型圖。
• 清華朱軍等人發表在 ICML 2018 上的論文《Stochastic Training of Graph Convolutional Networks with Variance Reduction》，提出基于控制變量的圖卷積網絡（GCN），有效減少感受野大小。
• 騰訊 AI Lab 發表在 AAAI 2018 上的論文 《Adaptive Graph Convolutional Neural Networks》 ，提出自适應圖卷積神經網絡 AGCN，可接受任意圖結構和規模的圖作為輸入。
• 李佳等人發表在 TOMM 2015 上的論文《CelebrityNet: A Social Network Constructed from Large-Scale Online Celebrity Images》，提出了一種基于圖像的社交網絡 CelebrityNet，該網絡基于名人照片中編碼的隐性關系建構而成。
• KDD 2018 最佳論文 《Adversarial Attacks on Neural Networks for Graph Data》 ，提出了針對圖深度學習模型的對抗攻擊方法，是首個在屬性圖上的對抗攻擊研究；研究者還提出了一種利用增量計算的高效算法 Nettack。
• ……

論文清單如下：

應用

應用部分有 86 篇論文，包括：

• DeepMind 發表在 ICLR 2017 上的論文《Discovering objects and their relations from entangled scene representations》和《Metacontrol for Adaptive Imagination-Based Optimization》，介紹了互動網絡在場景了解和基于想象的決策（imagination-based decision-making）上的應用。
• Geoffrey Hinton 等人發表在 NIPS 2016 上的論文《Attend, Infer, Repeat: Fast Scene Understanding with Generative Models》，該論文提出了一個用于結構化圖像模型（可以對目标進行明确的推理）中的有效推理的架構。這種方法是通過使用一個循環神經網絡來執行機率推理——該循環神經網絡可以處理場景元素且一次處理一個。關鍵的是，該模型自身可以學習選擇合适數量的推理步驟。相比于監督式的方法，該網絡可以産出更精确的推理，而且它們的結構也可以使歸納得到進一步的提升。
• 港中文發表在 AAAI 2018 上的論文 《Spatial Temporal Graph Convolutional Networks for Skeleton-Based Action Recognition》 ，該論文提出了一種時空圖卷積網絡，并利用它們進行人類行為識别。這種算法基于人類關節位置的時間序清單示而對動态骨骼模組化，并将圖卷積擴充為時空圖卷積網絡而捕捉這種時空的變化關系。
• CMU 和谷歌的 CVPR 2018 Spotlight 論文 《Iterative Visual Reasoning Beyond Convolutions》 ，提出了一種新的疊代視覺推理架構。該架構超越了目前隻具備卷積堆棧推理能力的識别系統。該架構由兩個核心子產品組成：一個是局部子產品，使用空間記憶以并行更新的方式存儲以前的信念；另一個是全局圖形推理子產品。
• 谷歌發表在 NIPS 2017 上的著名論文 《Attention Is All You Need》 ，提出了一種新型的簡單網絡架構——Transformer，它完全基于注意力機制，徹底放棄了循環和卷積。
• Christopher D. Manning 發表在 EMNLP 2015 上的論文《Effective Approaches to Attention-based Neural Machine Translation》，探讨了兩種簡單有效的注意機制類别：一種能顧及到所有源詞的全局方法，以及一種隻能一次檢視源詞的一個子集的局部方法。
• DeepMind 2018 年的研究 《Relational Deep Reinforcement Learning》 ，提出了一種「關系性深度強化學習」方法，并在星際争霸 2 中進行了測試。
• 來自微軟研究院和西門菲莎大學的研究者發表在 ICLR 2018 上的論文 《Learning to Represent Programs with Graphs》 ，提出基于程式圖簡化程式分析，從源代碼中學習。該方法結合基于數理邏輯和自然語言了解的程式分析方法，可以更準确地查找已釋出軟體中的 bug。
• 清華朱軍等人發表在 ICML 2018 上的論文《Adversarial Attack on Graph Structured Data》，關注圖神經網絡的魯棒性，即通過攻擊（對抗）訓練的方法來增強圖神經網絡分類的穩定性。
• Christopher D. Manning 等人發表在 ACL 2015 上的論文《Improved Semantic Representations From Tree-Structured Long Short-Term Memory Networks》，提出了改善語義表征的 Tree-LSTM，用于自然語言處理任務，在預測句子相關度和情感分類任務上表現優異。
• Christopher D. Manning 等人發表在 EMNLP 2018 上的論文《Graph Convolution over Pruned Dependency Trees Improves Relation Extraction》，提出一種用于關系提取的圖卷積網絡變體。
• UCLA 朱松純 教授等人發表在 ECCV 2018 上的論文《Learning Human-Object Interactions by Graph Parsing Neural Networks》，提出圖解析神經網絡（Graph Parsing Neural Network，GPNN），用于檢測和識别圖像和視訊中人-物互動的任務。