關注我們，一起學習~
title：Dynamic Graph Neural Networks for Sequential Recommendation
link：https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=9714053
from：TKDE 2022
1. 導讀
本文是針對序列推薦任務提出的方法DGSR，通常我們隻考慮使用者本身互動序列中包含的資訊而忽略了動态資訊，即利用動态GNN連接配接不同使用者的互動序列，發掘使用者和商品的互動行為。
- DGSR中的圖結構考慮了互動資訊的同時，也考慮了時間資訊以及互動的順序關系；
- 通過子圖采樣提升效率；
- 利用注意力機制，将結構資訊和序列資訊結合，挖掘使用者的長短期興趣以及商品的長短期特性
2. 定義
2.1 基礎符号
使用者集合為，商品集合Wie，對于使用者u有互動序列，互動序列最大長度為n，單個使用者和商品的embedding表示為，所有使用者和商品的embedding表示為矩陣，。
2.2 動态圖
動态網絡定義為，其中V是節點集合，邊E表示節點之間在t時刻的互動，是以邊可以表示為，有些情況下，t也可以表示兩個節點互動的先後順序。通過記錄每條邊的時間或順序，動态圖可以捕捉節點之間關系的演變。
3. 方法
如圖所示為DGSR的主要流程，分别包括動态度構造，子圖采樣和動态圖推薦。
3.1 動态圖構造
當使用者u和商品i在t時刻互動後，可以建構邊e為，其中表示u-i互動順序，即商品i在使用者互動的所有商品中的順序位置。表示u在和商品i互動的所有使用者中的順序位置。具體例子可見論文。由這個五元組構成的圖不僅包含了互動資訊和互動時間，也包含了順序關系。
定義在時間t及其之前的互動資料構成的圖為，給定使用者互動序列和對應的時間戳序列，建構圖得到使用者和商品表征後可以進行預測。
3.2 子圖采樣
随着使用者序列的擴充，它的鄰居序列的數量也在增加。同樣，由所有使用者組成的動态圖的規模也在逐漸擴大。這會增加計算成本并在目标序列中引入過多的噪聲。為了有效的訓練和推薦，這裡采用一種采樣政策，其細節如算法 1 所示。
- 首先選擇使用者節點u作為錨點節點，從選取其最近互動的n個一階鄰居節點構成集合，其中n就是互動序列的最大長度n；
- 對于集合中的每個商品節點i，将他們分别作為錨點節點，選取其對應的鄰居使用者節點構成集合；
- 為了提升采樣效率，記錄之前作為錨點節點的節點，并且在采樣使用者節點的時候也是采樣n個；
- 依此類推，我以得到節點 u 的多階鄰居，這可以形成的 u 的 m 階子圖（m 是用于控制子圖大小的超參數）。
采樣後，每個子圖包含互動序列的節點及其相關序列。這些序列中的使用者和商品節點通過在子圖中堆疊使用者到商品和商品到使用者的關系來互相連結。
3.3 動态圖推薦網絡
此處設計動态圖推薦網絡DGRN從子圖中學習使用者偏好，通過GNN進行消息傳播的目标是學習使用者到商品和商品到使用者的資訊，但是如何去編碼鄰居節點的序列資訊是一個難題，直接使用GNN無法捕獲序列資訊，而直接使用RNN方法可以捕獲序列資訊但是無法捕獲結構資訊，是以此處将兩者結合。
- 從商品到使用者。使用者節點 u 的鄰居節點集合是 u 購買的物品。為了更新每一層的使用者節點表征，需要從每個使用者節點的鄰居中提取兩類資訊，分别是長期偏好和短期偏好。使用者的長期偏好反映了固有特征和一般偏好，可以從使用者的所有曆史商品中得出。使用者的短期偏好反映了最近的興趣。
- 從使用者到項目。item節點i的鄰居節點集合是購買它的使用者，其中使用者按時間順序排列。與使用者類似，item的鄰居也反映了它的兩種特性。一方面，長期特征可以反映商品的一般特征。例如，有錢人通常購買高檔化妝品。另一方面，短期特征反映了商品的最新屬性。例如，許多非體育愛好者也可能會在世界杯期間購買球衣或球員海報。
3.3.1 消息傳播機制
3.3.1.1 長期資訊
作者設計了一個動态注意力子產品DAT來考慮結構資訊和順序資訊，對于已有的五元組，進一步定義序列中的商品或使用者與最後一個元素的關系，以使用者互動序列中的商品為例，。對于r可以經過embedding層得到對應的相對位置embedding。對于圖的結構資訊，作者通過聚合節點鄰居來捕獲，而對于順序關系則是加入了相對位置表征。
進而設計相對位置感覺的注意力機制，公式如下，其中h為經過GCN在l-1層時得到的使用者和商品embedding
對系數歸一化後得到下式，
使用者的長期興趣可以通過聚合鄰居得到，公式如下，其中p為相對位置embedding
同理可得商品的長期特性，公式如下，
3.3.1.2 短期資訊
短期的資訊是考慮目标商品/使用者和對應序列的最後一個商品/使用者之間的關系，同樣通過注意力機制來實作，公式如下，
3.3.2 節點更新
利用層的長期興趣，短期興趣以及層的表征來得到第層的表征，公式如下，
同理可得商品的表征，
3.4 模型優化
經過L層消息傳播之後，獲得L層每層的embedding，将不同層的embedding拼接後經過全連接配接層，然後與商品原始embedding求偏好分數，公式如下，
經過softmax層後計算交叉熵損失函數來優化模型，
4. 結果