基于内容推薦場景的發展，針對工業界主要召回算法的問題，提出CMDM 。
背景
随着電商場景和内容場景的快速發展，越來越多的融合場景開始出現。我們服務的場景是一個根植于電商場景下的内容消費場景，這樣一個全新的内容推薦場景也給我們的推薦技術帶來了全新的挑戰。在我們的推薦場景中，我們将推薦系統拆分為經典的召回（Match）和排序（Rank）兩個階段（排序可進一步分為粗排、精排和重排）。其中召回階段從海量的候選内容池中挑選出與使用者興趣相關的内容集合，排序階段對該内容集合中的每一個内容依據業務目标進行打分，并根據打分結果進行排序截斷，決定最終向使用者展示的結果順序。推薦算法的效果同時受到兩個階段的影響，其中召回作為推薦算法的第一個階段，生産了排序的候選池，是以也決定了整個推薦算法的效果上限。
目前工業界的召回算法主要分為兩類：基于協同過濾的召回（比如swing i2i）和基于深度學習的向量召回（比如deepmatch和MIND）。基于協同過濾的i2i召回從全局來看簡單高效，依靠内容的共現性可以保證使用者興趣的相關性，同時借助實時trigger便于捕捉使用者的實時興趣，在召回算法中發揮着非常重要的作用。但是i2i召回本身也存在一些問題，比如對新使用者和新商品不友好，難以解決冷啟動問題；無法有效利用使用者行為序列資訊及内容side info資訊，尤其像我們場景這樣的存在異構行為序列的複雜場景。是以，在使用i2i召回保證基本效果的基礎上，我們也大力探索了深度召回模型在逛逛場景的應用。目前業界主流的深度召回模型（如雙塔，TDM [1]，MIND [2]，ComiRec [3]）都是針對單一場景的召回，在我們這種全新的電商場景下的内容消費場景難以發揮最大的優勢。為了解決上述問題，我們提出了基于異構序列融合的多興趣深度召回模型CMDM （a cross-domain multi-interest deep matching network）。
問題分析
在探索深度召回模型在我們場景的應用過程中，我們發現目前業界主流的深度召回模型大都是針對單一場景的模組化，比如淘寶猜你喜歡這種純電商場景或者抖音、小紅書這種純内容消費場景。而随着内容電商概念的流行，無論是“電商内容化”還是“内容電商化”，都預示着在同一個app内的混合場景在未來将會成為新的主流推薦場景。在單一推薦場景下，深度召回模型隻需要考慮使用者在目前場景下的消費行為，通過序列模組化技術提取使用者興趣進而與目标商品或内容進行比對模組化。而在電商和内容的混合場景下，深度召回模型需要同時考慮使用者在内容場景内的内容消費行為和在電商場景内的商品消費行為，進行跨場景模組化。為此，我們提出了CMDM多興趣召回模型架構，能夠對使用者的跨場景異構行為序列進行融合模組化，取得了顯著的業務效果。
模型結構
本節重點介紹CMDM的模型結構，如圖1所示。CMDM融合了兩個場景的使用者消費行為，分别是商品域場景和内容域場景，是以CMDM接收兩個場景的使用者點選行為序列作為輸入，同時接收使用者畫像作為輸入用于描述使用者的基礎特征。在CMDM中，我們設計了用于異構序列模組化的層級注意力子產品，通過層級注意力子產品提取的多個使用者興趣向量與目标内容向量進行比對模組化。
圖1：CMDM: a Cross-domain Multi-Interest Deep Matching Network in Guangguang
▐ 層級注意力子產品
為了更好地融合使用者的内容行為序列和商品行為序列，我們設計了層級注意力機制。其中底層注意力機制可以聚焦到每個行為序列的内部，用于識别使用者的興趣，上層注意力機制負責行為序列特征間的融合。
- 底層注意力機制
我們對于内容行為序列和商品行為序列采用了不同的模組化方式。對于内容行為序列，我們采用了MIND提出的動态路由（Dynamic Routing）算法來模組化使用者的多峰興趣分布，因為與商品消費場景相似，使用者在内容消費場景的浏覽興趣通常也會橫跨多個類目，同時多興趣召回對于提升内容場景的多樣性等生态名額至關重要。與MIND不同的是，我們設計了UAT（user attention network）注意力機制，在内容進入動态路由進行聚類之前使用使用者基礎畫像特征對内容行為序列進行attention，使得聚類出的多興趣與使用者更加比對。對于商品行為序列，我們直接使用Transformer中的multi-head attention機制提取序列特征。我們對内容行為序列和商品行為序列差別對待的原因是内容行為序列是内容場景中的核心行為，刻畫了使用者的真實興趣。而商品行為序列更多的是充當輔助内容序列學習的角色，是以需要一個能夠完整提取使用者商品域興趣的模組化方式。這裡我們也嘗試過使用動态路由方法對商品行為序列模組化，發現效果不如multi-head attention機制。
- 上層注意力機制
我們需要融合兩種使用者行為序列内部生成的興趣表征，這裡我們通過attention機制設計了一種門控網絡，用于融合使用者的基礎畫像表征、内容興趣表征和商品興趣表征。這裡的設計思想是不同的使用者對于不同特征的依賴程度是不一樣的。對于内容場景内的高活使用者，場景内的内容消費行為應該發揮更關鍵的作用，而對于電商場景的高活使用者同時是内容場景的低活使用者，電商場景内的商品消費行為更為重要，最後對于兩個場景的低活使用者，使用者基礎特征可以起到一個基礎的打底作用。門控網絡的具體實作方式如圖1，接收使用者的基礎畫像表征、内容興趣表征和商品興趣表征作為輸入，并為每種表征産出一個權重，最後三種表征權重合并成最終的使用者興趣表征。
▐ 模型訓練
在抽取了多個使用者興趣之後, 我們使用MIND中采用的label-aware attention方式建構sampled softmax loss損失函數對多個興趣向量進行學習，如公式(1)所示。在訓練過程中，針對每個使用者，在抽取出的多個興趣中，根據每個興趣與目标内容的相關性計算每個興趣的權重，然後将多個興趣權重平均進入到後續的訓練。這裡我們也嘗試過hard attention方式，即隻從使用者的多個興趣中挑出一個與其目标内容最接近的興趣參與訓練，但是這種方式會導緻模型的馬太效應較為嚴重，雖然效率上取得了提升，但是對内容場景的生态名額影響較大。是以在最終的線上模型中我們依然采用了soft attention方式。
(1)deepmatch_loss=exp(vuTei)∑k∈Nexp(vuTek),其中N代表負樣本集合。目前業界主流的負樣本采樣方式是在整個内容侯選池随機負采樣，這差別于精排模型的曝光未點選負采樣，原因是深度召回模型面對的是整個内容侯選池，随機負采樣可以讓負樣本盡量符合線上真實分布。但是使用随機采樣得到的負樣本，很多情況下跟使用者是極不比對的，導緻訓練出來的模型，隻能學到粗粒度上的差異，無法感覺更細微的差别。是以，除了随機負采樣樣本這種easy negative樣本，我們還使用了hard negative樣本，如公式(2)所示。選擇hard negative樣本時，我們嘗試了兩種方式：曝光未點選和召回未曝光。實驗結果表名召回未曝光效果提升較為明顯，而曝光未點選作為負樣本基本上沒有提升。這是因為曝光未點選樣本與正樣本的差别非常小，模型很難從這些負樣本裡進一步學習到收益。
(2)deepmatch_loss=a⋅exp(vuTei)∑k∈Nexp(vuTek)+
(1−a)⋅exp(vuTei)∑m∈Hexp(vuTem)
Case展示
本節我們以一個使用者在内容場景和電商場景的點選行為與CMDM在各個興趣下的召回内容為例, 進行簡單的 CASE 展示。如下圖所示，左邊是使用者在在内容場景和電商場景的點選行為，其中内容場景的行為主要覆寫了娛樂、寵物和家居三個領域的内容，而電商場景的絕大部分行為都與服飾相關。最終CMDM的召回内容涵蓋了娛樂、寵物、家居和服飾領域的内容，在保留使用者在内容場景點選核心内容的基礎上兼顧了商品域興趣向内容域的遷移。我們的上線實驗結果也表明，加入了使用者的商品點選行為序列的CMDM與隻使用内容行為序列的base模型相比，效率提升非常明顯。
總結
本文提出了一種應用在電商和内容混合場景下的多興趣召回模型架構CMDM，能夠對使用者的跨場景異構行為序列進行有效地融合模組化，取得了顯著的業務效果。CMDM是我們在跨場景推薦應用中的一個初步探索，在CMDM中，我們隻是簡單的把使用者的商品行為序列引入了主模型架構中。由于使用者在内容場景和電商場景中的消費行為分布差異性，導緻CMDM不能完全挖掘商品行為序列的價值。後續我們會在内容行為序列和商品行為序列的語義空間映射方面繼續探索，充分利用好這種混合場景内的異構資料。
相關工作
- Han Zhu, Xiang Li, Pengye Zhang, Guozheng Li, Jie He, Han Li, and Kun Gai. 2018. Learning Tree-based Deep Model for Recommender Systems. In Proceedings of the 24th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining (KDD '18).
- Chao Li, Zhiyuan Liu, Mengmeng Wu, Yuchi Xu, Huan Zhao, Pipei Huang, Guoliang Kang, Qiwei Chen, Wei Li, and Dik Lun Lee. 2019. Multi-Interest Network with Dynamic Routing for Recommendation at Tmall. In Proceedings of the 28th ACM International Conference on Information and Knowledge Management (CIKM '19).
- Yukuo Cen, Jianwei Zhang, Xu Zou, Chang Zhou, Hongxia Yang and Jie Tang. Controllable Multi-Interest Framework for Recommendation. In Proceedings of the 26th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining (KDD '20).
團隊介紹
我們來自淘寶逛逛算法團隊，逛逛是淘寶重要的内容化場景，團隊優勢有：
- 業務空間大、基礎設施完善：場景海量回報，在工程團隊的支援下，算法工程師可以輕松上線大規模模型，分鐘級更新，更加注重算法本身。
- 團隊氛圍好、研究與落地深度結合：團隊不僅僅解決業務算法問題，還會緊跟學術領域進展。也歡迎有實習想法的同學加入，由資深師兄根據同學優勢與興趣定義好業務問題，輔導研究，給每位同學都有充分的成長空間。
人才需求：有機器學習、深度學習有一定了解，對内容分發和内容了解感興趣，可以發郵件到郵箱mingyi.ff#alibaba-inc.com或者jinxin.hjx#alibaba-inc.com（發送郵件時，請把#替換成@）