2022推薦系統論文梳理系列
- 推薦系統相關頂會整理
- IJCAI'22 推薦系統論文梳理
- ICML/ICLR'22 推薦系統論文梳理
- WWW'22 推薦系統論文之序列推薦篇
- WWW'22 推薦系統論文之多任務與對比學習篇
- WWW'22 推薦系統論文之圖神經網絡篇
- ACL/NAACL'22 推薦系統論文梳理
- RecSys'22 推薦系統論文梳理
- SIGIR'22 推薦系統論文之POI篇
- SIGIR'22 推薦系統論文之序列推薦(長文)篇
- SIGIR'22 推薦系統論文之序列推薦(短文)篇
- SIGIR'22 推薦系統論文之對比學習篇 (本文)
一、概述
SIGIR 2022已公布錄用論文，投稿長文794篇/短文667篇，錄用長文161篇/短文165篇，錄用率長文20%/短文24.7%，完整錄用論文清單見Accepted papers • SIGIR 2022 - The 45th International ACM SIGIR Conference on Research and Development in Information Retrieval。
本文選擇推薦系統對比學習方向的論文進行解讀，包括5篇Long Paper，6篇Short Paper。
二、論文解讀
2.1 A Review-aware Graph Contrastive Learning Framework for Recommendation
論文連結: https://arxiv.org/abs/2204.12063
論文機構: 合工大、清華
論文分類: (圖)對比學習、基于評論的推薦
論文總結: 推薦模型通常包括兩個元件：使用者/項目embedding的學習 和 使用者-項目互動模組化。基于評論的推薦模型可以更好地模組化使用者和商品的互動，然而，目前基于評論的推薦模型存在兩個缺點：首先，基于評論的推薦可以自然地形成具有評論邊特征的使用者項目二部圖，那麼如何更好地利用這種獨特的圖結構進行推薦呢？其次，目前大多數模型都存在使用者行為較少的問題，我們能否利用評論圖中獨特的自監督信号來更好地指導兩個推薦元件？
為了充分利用具有評分和評論邊特征的使用者-項目二部圖的獨特結構，以及利用評論資訊來增強使用者/項目嵌入和使用者-項目互動模組化，我們提出了一種新穎的評論感覺圖對比學習架構 (Review-aware Graph Contrastive Learning，RGCL)，用于使用者偏好模組化和評分預測。具體來說，首先建構一個評論感覺的使用者項目圖，該圖具有特征增強邊，其中每個邊特征都由使用者項目評分和相應的評論語義組成。這個具有特征增強邊的圖可以幫助專注地學習每個鄰居節點的權重，以更有效地将評論資訊整合到使用者和項目嵌入學習中。之後，設計了兩個額外的對比學習任務（即節點增強和邊增強）來限制 RGCL 以獲得更好的節點嵌入和互動模組化，并基于得到的互動特征來預測評分。最後，對五個基準資料集的廣泛實驗證明了RGCL與最先進基線相比的優越性。
2.2 Are Graph Augmentations Necessary? Simple Graph Contrastive Learning for Recommendation
論文連結: https://arxiv.org/abs/2112.08679
代碼連結: GitHub - Coder-Yu/QRec: QRec: A Python Framework for quick implementation of recommender systems (TensorFlow Based)
論文機構: 昆士蘭大學、山大、格裡菲斯大學
論文分類: (圖)對比學習
論文總結: 這篇@張小磊大佬在參考文獻[1]中已經做了非常精彩的解讀，感興趣的朋友可以拜讀一下。
該文首先通過實驗揭示了在基于對比學習範式的推薦模型中，對比學習通過學習更統一的使用者/項目表示來進行推薦，這可以隐式地緩解流行度偏差。同時，還揭示了過去被認為是必要的圖增強操作在推薦領域隻是起到了很小的作用。基于這一發現，該文提出了一種簡單的對比學習方法，該方法丢棄了圖增強機制，而是将均勻噪聲添加到嵌入空間以建立對比視圖。該文在三個基準資料集上的綜合實驗研究表明，盡管看起來非常簡單，但所提出的方法可以平滑地調整學習表示的均勻性，并且在推薦準确性和訓練效率方面優于基于圖增強的方法。本文最大貢獻在于通過實驗證明了，面向推薦的圖對比學習中，圖增強不是必須的。而對比學習對于推薦效果的提升主要來自于學習到更均勻的表征分布。基于此，本文提出了一個極簡的圖對比學習方法，在推薦性能，訓練/收斂速度以及去偏能力等多個方面具有非常好的性能。
2.3 Knowledge Graph Contrastive Learning for Recommendation
論文連結: https://arxiv.org/abs/2205.00976
代碼連結: GitHub - yuh-yang/KGCL-SIGIR22
論文機構: 港大、武大
論文分類: (圖)對比學習、知識圖譜
論文總結: 知識圖譜（Knowledge Graph，KG）通常包含豐富的事實和商品間内在的語義關系，已被用作有用的輔助資訊來提高推薦品質。然而，此類方法的成功依賴于高品質的知識圖譜，并且可能因為兩個挑戰無法學習高品質的表征：i）實體的長尾分布導緻知識圖譜增強商品表征的監督信号稀疏； ii) 現實世界的知識圖譜通常存在噪聲，并且包含商品和實體之間與主題無關的連接配接。這種知識圖譜的稀疏性和噪聲使得商品間的實體依賴關系無法反映它們的真實特征，這顯著放大了噪聲效應，阻礙了使用者偏好的準确表示。為了填補這一研究空白，我們設計了一個通用的知識圖譜對比學習架構（KGCL），以減輕基于知識圖譜的推薦系統中的資訊噪聲。具體來說，我們提出了一種知識圖譜增強範式來抑制資訊聚合中的知識圖譜噪聲，并學習商品更強大的知識感覺表示。此外，我們利用來自知識圖譜增強過程的額外監督信号來指導跨視圖對比學習範式，在梯度下降中為無偏的使用者-商品互動提供更大的權重，并進一步抑制噪聲。在三個公共資料集上進行的大量實驗證明了我們的 KGCL 始終優于最先進的技術。 KGCL 在具有稀疏使用者-商品互動、長尾和嘈雜的知識圖譜實體的推薦場景中也取得了強大的性能。
結構包括三部分：1）基于關系的知識聚合(Relation-aware Knowledge Aggregation)，在商品及其連接配接實體之間建立了資訊聚合機制，基于異構注意力聚合器 (heterogeneous attentive aggregator)生成知識感覺的物品embedding；此外，為了進一步增強實體-商品依賴的多關系語義表示空間，在關系感覺知識聚合器和 TransE 之間執行替代訓練。2）知識圖譜增強(Knowledge Graph Augmentation)，在輸入知識圖譜上采用随機資料增強方案來生成兩個相關的資料視圖，通過實體自判别 (entity-wise self-discrimination)進行對比學習。3）知識引導的對比學習(Knowledge-Guided Contrastive Learning)，将知識圖增強模式與圖對比學習範式相結合，旨在提高基于圖的協同過濾在模型準确性和魯棒性方面的表示能力。 為了在使用者偏好學習中有效地傳遞有用的商品外部知識，為使用者-商品互動設計了兩個對比表示空間。 在這種對比學習架構中，可以利用去噪商品知識來指導使用者和商品表示，并減輕監督信号的稀疏性。不太了解這個任務，看起來太複雜了，提升也不夠明顯，篇幅原因，更多細節可以參考[2]。
2.4 Self-Augmented Recommendation with Hypergraph Contrastive Collaborative Filtering
論文連結: https://arxiv.org/pdf/2204.12200
代碼連結: GitHub - akaxlh/HCCF: Code for HCCF model proposed in Hypergraph Contrastive Collaborative Filtering in SIGIR'2022
論文機構: 港大、華南理工、百度等
論文分類: (圖)對比學習、協同過濾
論文總結: 協同過濾 (Collaborative Filtering, CF)已經成為将使用者和商品參數化到潛在表示空間的基本範式，它們的相關模式來自互動資料。在各種協同過濾技術中，基于 GNN 的推薦系統 (例如 PinSage 和 LightGCN)的開發提供了最先進的性能。然而，現有解決方案中的兩個關鍵挑戰尚未得到很好的探索：i) 更深層次的基于圖的協同過濾架構的過平滑效應可能導緻無法區分的使用者表示和推薦結果的退化； ii) 監督信号 (即使用者-項目互動)在現實中通常是稀缺且偏置分布的，這限制了協同過濾範式的表示能力。
為了應對這些挑戰，我們提出了一種新的自監督推薦架構 Hypergraph Contrastive Collaborative Filtering (HCCF)，以通過超圖增強的跨視圖對比學習架構同時捕獲本地和全局協同關系。特别是設計的超圖結構學習增強了基于 GNN 的協同過濾範式的判别能力，進而全面捕捉使用者之間複雜的高階依賴關系。此外，我們的 HCCF 模型有效地将超圖結構編碼與自監督學習相結合，以增強推薦系統的表示品質。在三個基準資料集上進行的大量實驗證明了我們的模型優于各種最先進的推薦方法，以及對稀疏使用者互動資料的魯棒性。
2.5 Multi-level Cross-view Contrastive Learning for Knowledge-aware Recommender System
論文連結: https://arxiv.org/pdf/2204.08807
代碼連結: GitHub - CCIIPLab/MCCLK: The source code for "Multi-level Cross-view Contrastive Learning for Knowledge-aware Recommender System".
論文機構: 華科、北理工、阿裡等
論文分類: 對比學習、圖網絡、知識圖譜
論文總結: 知識圖譜 (KG)在推薦系統中扮演着越來越重要的角色。最近，基于圖神經網絡 (GNNs)的模型逐漸成為知識感覺推薦 (KGR)的主題。然而，基于GNN的KGR模型存在一個天然的缺陷，即監督信号稀疏問題，這可能會使其實際性能有所下降。
受最近對比學習成功從資料本身挖掘監督信号的啟發，在本文中，我們專注于探索知識圖譜感覺推薦中的對比學習，并提出了一種新穎的多級跨視圖對比學習機制，命名為MCCLK。與傳統的對比學習方法通過統一的資料增強方案（例如損壞或丢棄）生成兩個圖視圖不同，我們綜合考慮了三種不同的圖視圖用于知識圖譜感覺推薦，包括全局級結構視圖、局部級協同和語義視圖。具體來說，我們将使用者-商品圖視為協同視圖，将商品-實體圖視為語義視圖，将使用者-商品-實體圖視為結構視圖。是以，MCCLK 在局部和全局級别的三個視圖上執行對比學習，以自監督的方式挖掘全面的圖特征和結構資訊。此外，在語義方面，提出了一個𝑘-最近鄰 (𝑘NN)商品-商品語義圖構模組化塊，以捕獲以前工作通常忽略的重要商品-商品語義關系。在三個基準資料集上進行的大量實驗表明，我們提出的方法優于最先進的方法。
2.6 (Short Paper) Socially-aware Dual Contrastive Learning for Cold-Start Recommendation
論文連結: https://dl.acm.org/doi/pdf/10.1145/3477495.3531780
論文機構: 新南威爾士大學、西工大
論文分類: 對比學習、冷啟動
論文總結: 使用圖神經網絡 (GNN) 的社交推薦通過将使用者-使用者社交關系與使用者-項目互動融合來學習表示冷啟動使用者，進而緩解與推薦系統相關的冷啟動問題。盡管很好地适應了社交關系和使用者-項目互動，但這些監督模型仍然容易受到流行度偏差的影響。對比學習通過識别區分正樣本和負樣本的屬性來幫助解決這一難題，但是在其與推薦系統的組合中，未考慮此上下文中的社交關系和冷啟動案例。此外，他們主要關注使用者和物品之間的協作功能，而沒有充分利用物品之間的相似性。在這項工作中，我們提出了用于冷啟動推薦的社交感覺雙對比學習，其中冷啟動使用者可以以與熱使用者相同的方式模組化。
為了充分利用社交關系，我們通過根據每個不同的查詢項目以使用者項目對的形式聚合來自不同鄰居的資訊，為每個使用者建立動态節點嵌入。我們進一步設計了一個雙分支自監督對比目标，以分别考慮使用者-項目協作特征和項目-項目互資訊。一方面，我們的架構在對比學習中通過适當的負采樣消除了流行度偏差，而無需額外的真實監督。另一方面，我們擴充了以前的對比學習方法，為包含社交關系的冷啟動問題提供解決方案。對兩個真實世界社交推薦資料集的廣泛實驗證明了它的有效性。
2.7 (Short Paper) Improving Micro-video Recommendation via Contrastive Multiple Interests
論文連結: https://dl.acm.org/doi/pdf/10.1145/3477495.3531861
論文機構: 國科大、新加坡MX Media
論文分類: 對比學習、多興趣、微視訊推薦
論文總結: 随着微視訊創作者和觀看者的快速增長，如何從大量的候選人中向觀看者進行個性化推薦開始受到越來越多的關注。然而，現有的微視訊推薦模型依賴于昂貴的多模态資訊，并且學習了無法反映使用者對微視訊的多種興趣的整體興趣嵌入。最近，對比學習為改進現有推薦技術提供了新的機會。是以，在本文中，我們提出提取對比多興趣并設計微視訊推薦模型 CMI。具體來說，CMI 從每個使用者的曆史互動序列中學習多個興趣嵌入，其中隐式正交微視訊類别用于解耦多個使用者興趣。此外，它建立了對比多興趣損失，以提高興趣嵌入的魯棒性和推薦的性能。在兩個微視訊資料集上的實驗結果表明，CMI 在現有基線上實作了最佳性能。
2.8 (Short Paper) Multi-modal Graph Contrastive Learning for Micro-video Recommendation
論文連結: https://dl.acm.org/doi/pdf/10.1145/3477495.3532027
論文機構: 格拉斯哥大學
論文分類: (圖) 對比學習、多模态、微視訊推薦
論文總結: 最近，微視訊在 TikTok 和 Instagram 等社交媒體平台上變得越來越流行。事實上，這樣的多媒體内容可以涉及多種模式，通常表示為推薦模型的視覺、聽覺和文本特征。現有的微視訊推薦工作傾向于統一多模态通道，進而将每個模态同等重視。然而，我們認為這些方法不足以對具有多種模态的項目表示進行編碼，因為所使用的方法不能完全解耦使用者對不同模态的喜好。為了解決這個問題，我們提出了一種新的學習方法，稱為多模态圖對比學習（Multi-Modal Graph Contrastive Learning，MMGCL），旨在以自監督學習的方式顯式增強多模态表示學習。特别是，我們設計了兩種增強技術來生成使用者/項目的多個視圖：模态邊丢棄和模态掩碼 (modality edge dropout and modality masking)。此外，我們引入了一種新穎的負采樣技術，該技術允許學習模态之間的相關性并確定每種模态的有效貢獻。在兩個微視訊資料集上進行的大量實驗證明了我們提出的 MMGCL 方法在推薦性能和訓練收斂速度方面優于現有的最先進方法。
2.9 (Short Paper) An MLP-based Algorithm for Efficient Contrastive Graph Recommendations
論文連結: https://dl.acm.org/doi/pdf/10.1145/3477495.3531874
論文機構: 格拉斯哥大學
論文分類: 對比學習、圖網絡
論文總結: 基于圖的推薦系統通過使用圖神經網絡 (GNN) 結合使用者-項目二部圖，取得了可喜的性能。在基于圖的推薦系統中，來自每個使用者和項目的多跳鄰居的資訊通過鄰域聚合和消息傳遞在節點之間有效地傳遞。盡管有效，但現有的鄰域資訊聚合和傳遞函數通常在計算上很昂貴。受新興對比學習技術的啟發，我們設計了一種簡單的鄰域建構方法，結合對比目标函數來模拟 GNN 的鄰域資訊處理。此外，我們提出了一種基于多層感覺機 (MLP) 的簡單算法，用于學習具有額外非線性的使用者和項目的表示，同時與多層 GNN 相比降低了計算負擔。我們在三個公共資料集上進行的大量實證明驗表明，我們提出的模型，即 MLPCGRec，可以将 GPU 記憶體消耗和訓練時間分别減少高達 24.0% 和 33.1%，與競争基線相比，推薦準确度不會顯著下降。
2.10 (Short Paper) Towards Personalized Bundle Creative Generation with Contrastive Non-Autoregressive Decoding
論文連結: https://dl.acm.org/doi/pdf/10.1145/3477495.3531909
論文機構: 阿裡
論文分類: 對比學習、捆綁生成
論文總結: 目前的捆綁生成研究側重于生成項目組合以改善使用者體驗。 在現實世界的應用中，也非常需要制作由混合類型的對象（例如項目、智語和模闆）組成的捆綁廣告，以獲得更好的推廣效果。 我們研究了一個名為捆綁創意生成的新問題：對于給定的使用者，目标是生成使用者會感興趣的個性化捆綁創意。為了兼顧品質和效率，我們提出了一個對比非自回歸模型來捕獲使用者 具有巧妙解碼目标的偏好。 在大規模真實世界資料集上的實驗驗證了我們提出的模型在創意品質和生成速度方面顯示出顯着優勢。
2.11 (Short Paper) Dual Contrastive Network for Sequential Recommendation
論文連結: https://dl.acm.org/doi/pdf/10.1145/3477495.3531918
論文機構: 清華
論文分類: 序列推薦、對比學習
論文總結: 序列推薦通過使用者的曆史項目序列預測給定使用者的下一個互動項目。然而，序列推薦與大多數推薦系統一樣存在資料稀疏問題。為了從資料中提取輔助信号，最近的一些工作利用自監督學習通過 dropout 政策生成增強資料，但這會導緻序列資料稀疏和信号模糊。在本文中，我們提出了雙對比網絡 (Dual Contrastive Network，DCN)來提升序列推薦，從整合輔助使用者序列的項目的新角度。具體來說，我們提出了兩種對比學習: 第一個是雙重表示對比學習，它最小化嵌入和使用者/項目的序清單示之間的距離；第二種是雙興趣對比學習，旨在通過輔助訓練對靜态興趣和下一個項目預測的動态興趣進行自監督。我們還結合了為給定項目的曆史使用者序列預測下一個使用者的輔助任務，它可以捕捉某些類型使用者偏好的項目的趨勢。在基準資料集上的實驗驗證了我們提出的方法的有效性，進一步的消融研究還說明了所提出的元件對不同序列模型的促進作用。
三、參考文獻
[1] SIGIR2022 | SimGCL: 面向推薦系統的極簡圖對比學習方法
[2] SIGIR 2022 | 港大、武大提出KGCL：基于知識圖譜對比學習的推薦系統