新零售智能引擎事業群出品
圖表示學習目前受到了廣泛關注，但目前絕大多數的圖表示學習方法都是針對特定領域的圖進行學習和模組化，所産出的圖神經網絡難以遷移。近期，預訓練在多個領域都取得了巨大的成功，顯著地提升了模型在各大下遊任務的表現。受到BERT (Devlin et al., 2018) 等工作的啟發，我們開始研究圖神經網絡的預訓練，希望能夠從中學習到通用的圖拓撲結構特征。我們提出了Graph Contrastive Coding的圖神經網絡預訓練架構，利用對比學習（Contrastive Learning）的方法學習到内在的可遷移的結構資訊。本工作GCC: Graph Contrastive Coding for Graph Neural Network Pre-Training已被KDD 2020 research track錄用。
傳統的圖表示學習主要參考NLP的基于skip-gram詞表示學習方法，如DeepWalk和Node2Vec等。而這些方法在模組化鄰居節點相似性，且訓練出來的表示往往缺乏通用性，局限于特定網絡。而我們提出的GCC則不同于傳統方法，關注結構相似性，且GCC學習得到的表征可以遷移到各種網絡上，具有很強的通用性。下圖展示了GCC的基本架構：
在GCC中，我們采用了對比學習的架構，基本思想即讓正例的表示和樣本的表示在空間更相近，并讓負例距離更遠。在對比學習中，給定查詢表示q，對于候選集中的K+1個表示{k_0,k_1,⋯,k_K}，其中包含正例k_+。我們優化以下損失函數：
而q和k均是樣本x^q和x^k的低維表示。而在GCC中，一個主要的方法設計則是每個樣本是一個針對特定節點的r階鄰居的網絡（在這裡我們成為r-ego network）采樣的子圖。正例則是從同一個r-ego network采樣的網絡，而大量的負例則是從其他r-ego network采樣的子圖。獲得了正例和負例後，我們需要建構圖編碼器實作圖表征學習。事實上，任意一個圖神經網絡都可以成為GCC的編碼器，而在實踐中，我們則采用Graph Isomorphism Network (GIN)作為我們的編碼器。
在對比學習中，我們需要維護一個大小為K的字典和編碼器。但要想計算上述損失函數，最理想的情況是把所有負例加入字典中進行計算，這樣會導緻K極大，難以維護。為了保證模型的效率，我們參考了MoCo (He et al., 2020)的方法加入動量對比學習（momentum contrast）。在MoCo的方法中，為了增大字典大小K，需要維護一個負樣本的隊列，隊列中包含此前訓練過的batch的樣本作為負例。此外，隻有q 的編碼器f_q的參數θ_q通過反向傳遞更新，而k 的編碼器f_k的參數θ_k則通過以下方式更新
θ_k←mθ_k+(1-m) θ_q
其中m 指的是動量，通過超參數設定。對GCC而言，MoCo相較其他方法更為高效。
GCC主要應用于圖級别和節點級别的下遊任務。對于圖級别的下遊任務，我們可以和預訓練保持一緻，輸入為子圖，而對于節點級别的任務，我們則需要得到它的r-ego network或采樣的子圖。
我們做了一系列的實驗去驗證GCC的效果，其中節點分類、圖分類和相似性檢索等等。實驗結果分别如下：
節點分類
圖分類
相似性檢索
從實驗結果不難看出，GCC在多個任務多個資料集上都取得了比較突出的表現，和現有最優模型相比能夠取得更優或相近的表現。這也表現了GCC的有效性。
綜上所述，本文提出的GCC的圖神經網絡預訓練架構利用對比學習的方法，有效地學習了圖結構的通用表征征，并且學習到圖的結構化資訊，可以遷移到各類下遊任務和各類圖中。實驗表明了該方法的有效性。未來我們會在更多的任務和實驗上進行實驗，并探索GCC在其他領域的應用。
參考文獻：
Devlin, J., Chang, M. W., Lee, K., & Toutanova, K. (2018). Bert: Pre-training of deep bidirectional transformers for language understanding. arXiv preprint arXiv:1810.04805.
He, K., Fan, H., Wu, Y., Xie, S., & Girshick, R. (2020). Momentum contrast for unsupervised visual representation learning. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (pp. 9729-9738).
更多資料挖掘領域論文解讀請檢視：
KDD精華論文解讀