今天給大家介紹McGill University和Uber AI一起在 NeurIPS 2020發表的一篇關于元學習的論文。該論文針對目前連結預測的方法不能夠在多圖的情況下有效的傳遞、利用圖中的資訊，以及不能從稀疏圖中有效的學習這兩個問題，提出了一個基于梯度下降的元學習架構——Meta-Graph。實驗結果顯示，對于多圖和稀疏圖的情況而言，MetaGraph相比于現有的模型有更好的效果。
1
簡介
常見的深度學習模型，目的是學習一個用于預測的數學模型。而元學習面向的不是學習的結果，而是學習的過程。其學習的不是一個直接用于預測的數學模型，而是學習“如何更快更好地學習一個數學模型”，簡單來說就是學習如何學習。
對于一個有着結點和邊的表示的圖，連結預測的目的是去學習這個圖，然後推斷結點之間目前未知的邊，以達到預測的目的。例如在社交網絡中，我們可以使用連結預測來增強友誼推薦系統，或者在生物網絡資料的情況下，利用連結預測來推斷藥物，蛋白質，疾病之間可能的關系。
目前的主流的連結預測方法的一個特點就是，這些工作通常指關注一個特定的問題設定：它通常假定連結預測将在單個大圖上執行，并且該圖相對完整。而在這項工作中，作者希望可以通過元學習，從多個圖（每個圖僅僅包含完整圖的小部分資料）上進行連結預測。
2
主要貢獻
Meta-Graph是基于梯度下降的元學習方法。作者把圖上的分布看作是任務的分布（也就是一幅圖看成是一個任務。多個任務組成我們擁有的全部資料），對于每一個任務，使用的模型是可以進行few-shot連結預測的圖神經網絡VAGE。從不同的任務中可以學習到一組全局初始化參數。
為了使得模型更加迅速的适應新的任務，還引入了圖簽名函數（Graph signature function），用于将每個圖的結構映射成為VAGE的初始輸入:。
利用全局初始化參數和圖簽名函數來初始化VGAE的推理模型。該論文的模型架構如下圖右圖所示，左圖為MAML模型與Meta-Graph模型的對比：
Meta-Graph 背後關鍵的思想是，使用基于梯度的元學習來優化VGAE推理模型中的全局初始化參數，同時還學習了調制圖形中參數初始化的編碼函數。通過不同的任務不斷去完善全局初始化參數和圖簽名函數，最後可以利用這兩個元件，在新的任務上實作更加優異的表現。主要的算法如下圖所示：
3
實驗
作者設計了三種新穎的基準測試，以實作few-shot連結預測任務。
3.1、模型表現 對于每個圖，隻選取其部分邊以及邊所對應的結點（作者設定了取10%，20%，30%三種情況），以構造出稀疏圖。下圖展示了該模型在不同程度的稀疏圖下的平均AUC表現。總體而言，Meta-Graph在除了一種設定外的其他所有設定中均實作了最高的平均AUC。與經典的基于梯度下降的元學習方法MAML相比較，平均AUC提高了4.8%，與Finetune基準相比，則提高了5.3%。值得一提的是，對于每個圖，僅使用10%的圖邊緣進行訓練時，Meta-Graph表現出特别強勁的性能，這突出了作者的架構可以從稀疏圖中有效的學習。
3.2、新任務的适應性 下圖展示了通過Meta-Graph，在一組稀疏圖訓練資料中，僅執行5次梯度更新後的平均AUC。可以看到，Meta-Graph的性能與MAML相比提高了9.4%，和Finetune相比平均提高了8.0%。這突出顯示了，圖不僅僅可以從稀疏的邊緣樣本中學習，而且還可以僅使用少量的梯度步驟就可以快速學習新的資料。
4
讨論
作者設計了Meta-Graph架構來解決few-shot連結預測的問題。該架構采用基于梯度的元學習來優化局部連結預測模型的全局初始化參數，同時還學習每個圖的編碼函數（圖簽名函數）。根據實驗結果可以知道，在三個截然不用的基線任務上，Meta-Graph取得了比較好的表現。就該方法的局限性而言，作者認為一個關鍵的局限性是圖形簽名函數僅限于通過目前圖形的編碼來調制本地連結預測模型，而該圖形并未明确捕獲資料集中圖形之間的成對相似性。可以通過學習圖之間的相似性度量或者核心來拓展原圖，然後将其用于條件元學習。