論文閱讀--Contrastive Deep Graph Clustering with Learnable Augmentation

Contrastive Deep Graph Clustering with Learnable Augmentation （可學習增強對比深度圖聚類）

文章目錄

• Contrastive Deep Graph Clustering with Learnable Augmentation （可學習增強對比深度圖聚類）
• • 1. 來源
  • 2. 動機
  • 3. 模型架構
  • 4. 方法介紹
  • • 4.1 總覽
    • 4.2 可學習的圖增強子產品
    • • 4.2.1 結構增強器
      • 4.2.2 屬性增強器
    • 4.3 可靠的改良子產品
    • • 4.3.1 相似矩陣改良
      • 4.3.2 僞标簽矩陣改良
    • 4.3 損失函數
  • 5. 實驗
  • 6. 總結

1. 來源

arxiv 2022
           

2. 動機

現有的方法首先生成具有随機增強的圖視圖，然後用交叉視圖一緻性原理對網絡進行訓練。雖然已經取得了良好的性能，但

• 實驗觀察到現有的增強方法通常是随機的；
• 并且依賴于預定義的增強，這是不夠的；
• 并且缺乏與最終的聚類任務之間的回報和協調；

為了解決這一問題，論文提出了一種新的可學習圖資料增強算法（GCC-LDA）的圖對比聚類方法，該方法完全由神經網絡進行優化。模型設計了一種對抗性學習機制，在潛在空間中保持交叉視圖的一緻性，同時確定增強視圖的多樣性。在架構中，建構了一個結構增強器和一個屬性增強器，用于結構級和屬性級的增強學習。為了提高學習到的親和矩陣的可靠性，在學習過程中引入了聚類方法，并利用高置信度僞标簽矩陣和橫視圖樣本相似度矩陣對學習到到的親和矩陣進行了改良。在訓練過程中，為了對學習到的視圖進行持久的優化，模型設計了一個兩階段的訓練政策，以獲得更可靠的聚類資訊。

3. 模型架構

模型設計了一種對抗學習機制，以保持潛在空間中的一緻性，同時確定增強視圖的多樣性。此外，還設計了結構和屬性增強器，分别動态學習結構和屬性資訊。此外，還從兩個方面優化了增強視圖的結構。

具體地說，一方面，利用兩階段的訓練政策，我們得到了高置信度的聚類僞标簽矩陣Z。另一方面，我們計算了交叉視圖相似度矩陣S來反映節點的鄰接關系。然後，我們用Z和S對可學習的結構Aug_S進行了改良，進而将聚類任務和增強學習內建到統一的架構中。

4. 方法介紹

4.1 總覽

如圖所示，模型的組成部分主要包括可學習的圖增強子產品和可靠的回報改良子產品。

4.2 可學習的圖增強子產品

4.2.1 結構增強器

• MLP-based

  

• GCN-based

  

• Attention-based

  

4.2.2 屬性增強器

• MLP-based

  

• Attention-based

  

  

4.3 可靠的改良子產品

通過增強子產品，我們可以得到圖資料的兩個視圖（原始圖和增強視圖）。

首先通過将編碼器 F ( ) \mathcal F() F()将兩個視圖進行編碼，并融合

接着對E進行K-means算法，得到聚類結果。然後，将對學習視圖進行改良，即相似矩陣和僞标簽矩陣改良。

4.3.1 相似矩陣改良

通過編碼器 F ( ) \mathcal F() F()，我們可以獲得每個視圖的嵌入。随後，相似度矩陣S表示第一個視圖中的第 i 個樣本與第二個視圖中的第 j 個樣本之間的相似度，公式如下：

其中， S i j S_{ij} Sij​為交叉視圖相似度矩陣。相似度矩陣S通過綜合考慮屬性和結構資訊來度量樣本之間的相似度。不同節點之間的連接配接關系可以用S來反映，是以，我們利用S對增強結構視圖進行改良：

4.3.2 僞标簽矩陣改良

為了進一步提高學習到的結構矩陣的可靠性，我們提取了可靠的聚類資訊來構造該矩陣，進而在增廣視圖中進一步改良該結構。具體地說，我們利用頂部 τ 高置信度僞标簽p來構造矩陣如下：

其中， Z i j Z_{ij} Zij​表示第i個樣本和第j個樣本之間的類别關系。詳細來說，當 Z i j Z_{ij} Zij​ = 1時，兩個樣本具有相同的僞标簽。而 Z i j Z_{ij} Zij​ = 0表示兩個樣本具有不同的僞标簽。利用高置信度類别資訊構造了僞标簽矩陣。是以，圖中的鄰接關系可以很好地反映出來，進而優化了增廣視圖中學習結構的結構。僞标簽矩陣用阿達瑪乘積将學習到的結構細化為：

在本小節中，提出了兩種政策來細化增廣視圖的結構。通過此設定，提高了學習結構AugS的可靠性，并保留了重要的拓撲結構。

4.3 損失函數

論文的GCC-LDA模型遵循共同的對比學習範式，其中模型最大化了交叉視圖的一緻性。詳細地，GCC-LDA共同優化了兩個損失函數，包括可學習增強損失La和對比損失Lc。

• 具體來說，La是原始圖與可學習圖之間的均方誤差（MSE）損失，可以表示為：

  

  其中，A、AugS和X、AugX分别為原始結構和學習增強結構，分别為原始屬性和學習增強屬性。
• 在GCC-LDA中，我們利用歸一化溫度尺度的交叉熵損失（NT-Xent）來緊湊正樣本，同時疏遠負樣本。對比損失的定義為：

  

  其中tmp為溫度參數。sim（·）表示計算相似度的函數，如内積。

最終，得到總損失函數為：

其中α是La和Lc之間的權衡。在等式中的第一項（16）鼓勵網絡生成具有不同語義的增廣視圖，以確定輸入空間的多樣性，而第二項是對比範式，以學習潛在空間中兩個視圖的一緻性。通過對抗性方式最小化總損失函數，可以提高網絡的鑒别能力。

5. 實驗

• 1

  

• 2

  

• 3

  

6. 總結

論文提出了一種可學習的圖對比聚類的增強方法，稱為GCC-LDA。

1. 模型設計了一個完全可學習的增強，用結構增強和屬性增強分别動态學習結構和屬性資訊。
2. 還設計了一種對抗性機制，在潛在空間中保持交叉視圖的一緻性，同時確定增強視圖的多樣性。
3. 同時還提出了一種兩階段的訓練政策，以在模型訓練過程中獲得更可靠的聚類資訊。得益于聚類資訊，我們用高置信度的僞标簽矩陣來細化學習到的結構。
4. 此外，模型利用交叉視圖樣本相似度矩陣對增廣視圖進行了改良，以進一步提高所學習結構的判别能力。