論文作者：于文輝，林肖，葛均鋒，歐文武，覃征
推薦算法是機器學習的一個重要應用，推薦算法與其他機器學習算法的一個重要差別在于資料的特點。在推薦系統中，由于使用者行為的長尾效應，往往資料極為稀疏，而另一個問題在于，推薦算法的資料集往往是隐式回報，即通過對使用者行為的采集而非query來獲得使用者對推薦标的的回報。學界針對這兩個問題曾提出過不少方法，也有很多經典的工作。然而，這兩個問題始終沒有得到完整的解決。
目前學界解決資料稀疏性的思路是引入更多的資訊來輔助協同過濾進行推薦，例如引入豐富的side information如文本和tag，圖檔等。而同時為了解決隐式回報，往往采用負采樣的方式添加負樣本來幫助模型學習。負采樣的方式存在一個明顯的缺點，即采樣過程中可能會将潛在的正樣本當作負樣本使用，使得負樣本中存在着較大的噪聲。
我們在已有工作的基礎上，提出了一個新的遷移學習的思路來同時解決這兩個問題。我們試圖通過讓模型學會舉一反三的方式，将知識從一個資料豐富的 domain（source domain）遷移至一個資料稀疏的 domain（target domain）。我們考慮一個極端的情形，即将知識從一個 domain 遷移至使用者和商品均不重疊的 domain，輔助推薦。同時，我們僅在 source domain 進行負采樣，通過知識遷移将負樣本的知識遷移到 target domain，避免了直接進行 target domain 上的負采樣，實作了在target domain 上的有效學習。
推薦算法極為依賴使用者和商品的表達，即embedding。常用的遷移學習算法大多建立在兩個domain共享embedding隐式空間的基礎之上。然而這一方式存在着一個嚴重的問題，即推薦算法中的embedding 分布在隐式空間之中，其空間不具備明确的語義含義。是以直接對兩個domain的embedding進行共享可能會導緻embedding 的錯位。這一點與 cv 領域中的共享隐層存在着極大的差異。因為在圖像領域中，圖檔的輪廓、色彩等資訊具備明确的含義，兩個資料集上的貓或者狗的圖檔在輪廓和紋理上是具有相似性的。而在推薦領域中，embedding 的任一個次元沒有語義含義，是以 source domain 中的一個恐怖電影與 target domain 中的喜劇電影，兩者的 embedding 向量可能很接近，直接遷移會造成語義上的南轅北轍。為此，我們引入了評論文本資訊，将兩個 domain 的 embedding 分别與對應的文本的語義空間進行對齊，保證兩個 domain 的恐怖電影的 embedding 均與 horrible 這一單詞較為接近，由此保證兩個 domain 的 embedding 可以進行更準确的空間對齊。
為此，我們設計了一個基于文本的半監督式遷移學習推薦算法，并将其命名為Text-enhanced Domain Adaptation Recommendation (TDAR)算法。我們首先在兩個domain中将使用者和商品分别構造出文本空間内的隐式表示。具體來說，我們采用了memory network，将使用者/商品的隐式表示模組化成評論文本中單詞embedding的線性組合，并通過一個基于文本的推薦任務對該表示進行訓練。而後，我們采用了domain adaption中經典的adversarial training的方式，設計了一個domain分類器和一個協同過濾子產品，其中domain分類器采用adversarial training的方式，将使用者/商品的embedding和文本表示進行對齊，使得source domain的使用者/商品embedding與target domain的使用者/商品embedding出于同一空間内。為了使得兩個domain的embedding能夠通過文本進行對齊，我們将使用者/商品基于文本的表示和embedding進行拼接後輸入到domain分類器，再進行對齊。
我們在亞馬遜的公開資料集上進行了實驗，選用了movies, videos, CDs 以及clothes進行了實驗，并将domain之間有使用者或者商品交集的資料删除。我們将資料最為豐富的movies作為source domain，其他三個domain作為target domain分别進行了實驗。同時，我們采用了經典的協同過濾算法MF，深度學習算法NeuMF，深度文本推薦算法CoNN，adversarial leanring經典算法DANN以及state-of-the-art的跨領域推薦算法Rec-DAN進行了對比，實驗結果表明，我們的算法在多個資料集上均取得了很好的效果。
同時，我們也觀察到，對于domain相對接近的任務中，我們的算法表現更為突出。這也符合我們的預期，因為從不相近的domain遷移知識，對于target domain而言收益并不大，這也提示我們應該選擇合适的domain來幫助學習。
我們利用文本資訊來對跨領域推薦的使用者/商品表示空間對齊的方案具備較強的擴充性，對于工業界的跨領域推薦也有着一定的啟示。考慮到文本隻是諸多資訊中的一個類型，我們在未來将會關注以其他的資訊來進一步幫助遷移學習在推薦算法中的使用，而遷移學習在cv以及nlp領域取得成果之後，我們相信這項技術在未來的推薦中也會發揮日益重要的作用。
更多資料挖掘領域論文請檢視：
KDD頂會論文解讀