本文從跨域聯合召會、語義&圖譜&多模态、使用者多興趣表征和未來工作四個子產品展開。
引言
内容化這幾年越來越成為電商的重點，使用者來到網購的時候越來越不局限在隻有明确需求的時候，而更多的是沒有明确需求的時候，就像是逛街一樣。逛逛就是在這樣的背景下誕生的内容化産品，打造出有用、有趣、潮流、奇妙、新鮮的内容，為消費者提供全新的内容消費體驗。在這個場景下的内容召回有很多問題需要探索，其中主要的特點和挑戰有：
- 強時效性：内容推薦場景下的内容新舊汰換非常快，新内容的使用者行為少，很難用使用者曆史行為去描述新内容，而使用者行為正是老内容投放主要的依賴。是以當不能依靠使用者行為資料來模組化内容之間關系的時候，我們必須要找到其他可以表征内容的方法。
- 多興趣表征：多興趣表征，特别是多峰召回是這幾年比較主流的一個趨勢。但是目前多峰模型中峰的數量是固定的，當使用者行為高度集中的時候，強制的将使用者行為拆分成多向量，又會影響單個向量的表達能力。如何去平衡不同使用者行為特點，特别是收斂和發散的興趣分布，就成了此類任務的挑戰。
在設計優化方向的時候，我們重點考慮上面描述問題的解法（召回本身也需要兼顧精準性和多樣性，是以單一召回模型顯然無法滿足這些要求，我們的思路是開發多個互補的召回模型）。詳細的介紹在後面的章節以及對應的後續文章中展開：
- 跨域聯合召回：除了單純把多域的資訊平等輸入到模型中，如何更好利用跨域之間的資訊互動就變的尤為重要。目前有很多優秀的工作在讨論這樣的問題，比如通過使用者語義，通過差異學習和輔助loss等。我們提出了基于異構序列融合的多興趣深度召回模型CMDM（a cross-domain multi-interest deep matching network），以及雙序列融合網絡Contextual Gate DAN 2種模型結構來解決這個問題。
- 語義&圖譜&多模态：解決時效性，最主要的問題就是怎麼去模組化新内容，最自然的就是content-based的思想。content-based的關鍵是真正了解内容本身，而content-based裡主要的輸入資訊就是語義，圖像，視訊等多模态資訊。目前有許多工作在讨論這樣的問題，比如通過認知的方式來解決，多模态表征學習，結合bert和高階張量等方式等等。在語義召回上，我們不僅僅滿足于語義資訊的融入，還通過Auxiliary Sequence Mask Learning去對行為序列進行高階語義層面的提純。更進一步，我們利用内容圖譜資訊來推薦，并且引入了個性化動态圖譜的概念。對于新老内容上表達能力的差異問題，我們通過multi-view learning的思想去将id特征和多模态特征做融合。
- 泛多峰：為了解決多峰強制将興趣拆分的問題，我們考慮到單峰和多峰的各自特點，特别是在泛化和多樣性上各自有不同的模組化能力。基于此，我們提出了泛多峰的概念。
跨域聯合召回
▐ 基于異構序列融合的多興趣深度召回
在單一推薦場景下，深度召回模型隻需要考慮使用者在目前場景下的消費行為，通過序列模組化技術提取使用者興趣進而與目标商品或内容進行比對模組化。而在本推薦場景下，深度召回模型需要同時考慮使用者内容消費行為和商品消費行為，進行跨場景模組化。為此，我們提出了CMDM多興趣召回模型架構，能夠對使用者的跨場景異構行為序列進行融合模組化。在CMDM中，我們設計了用于異構序列模組化的層級注意力子產品，通過層級注意力子產品提取的多個使用者興趣向量與目标内容向量進行比對模組化。
▐ 雙序列融合網絡Contextual Gate DAN
除了通過層次注意力的方式，異構序列中還有個特點就是在時間上更接近交叉并存的狀态。為了學習到兩個序列之間的資訊交叉，充分融合商品點選序列和内容點選序列，我們從自然語言處理的VQA任務中得到啟發。VQA是用自然語言回答給定圖像的問題的任務，常用做法是在圖檔上應用視覺注意力，在文本上應用文本注意力，再分别将圖檔、文字多模态向量輸入到一個聯合的學習空間，通過融合映射到共享語義空間。而DAN結構是VQA任務中一個十分有效的模型結構，DAN通過設計子產品化網絡，允許視覺和文本注意力在協作期間互相引導并共享語義資訊。我們對DAN結構進行了改進，設計了Contextual Gate DAN 雙序列融合網絡：
語義&圖譜&多模态
▐ 多模态語義召回
在内容推薦場景内，存在大量新内容需要冷啟動，我們主要通過語義和多模态2種方式。相對于搜尋任務，語義比對是一個從單點到多點，解空間更大更廣的問題。首先是使用者行為的不确定性，内容推薦場景下使用者決策空間更大更廣，進而導緻使用者對推薦系統的回報信号本身就存在較大的不确定性；再就是語義空間表達的對齊問題，這裡的對齊包含兩個方面，第一個方面是單個序列裡的内容表達的語義标簽提取方式差别大（比如cpv、分詞、語義标簽、多模态表征等等），另外一個方面是多序列（内容和商品等）之間的語義空間對齊問題。多模态的召回方式融合了文本，圖像，音頻等大量模式跨域資訊，由于與内容互動解耦，在緩解内容冷啟動上具有一定的優勢。多模态召回主要是通過了解内容多模态表征，先後進行了collaborative filtering、聚類中心召回、個性化多模态表征相關的探索工作，在多樣性方面取得了一定的效果，深度語義召回方面針對使用者行為去噪和更好的表達語義資訊角度出發，疊代了cate-aware和query-aware和序列mask 自監督任務的模型。
▐ 行為稀疏場景下的圖模型實踐
更進一步，我們利用内容圖譜資訊來推薦。知識圖譜建構的出發點就是對使用者的深度認知，能夠幫助系統以使用者需求出發建構概念，進而可以幫助了解使用者行為背後的語義和邏輯。這樣可以将使用者的每次點選行為，都用圖譜的形式極大的豐富，圖譜帶來的可解釋的能力還可以大大加快模型的收斂速度。知識圖譜有個特點，就是其中的資訊是相對固定的，或者說是靜态的，因為知識圖譜基本是由先驗資訊構成的。但是從各個使用者的角度，知識圖譜的資料中的連結重要度并不相同。比如一個電影，有的使用者是因為主演看的，有的使用者是因為導演看的，那麼這個電影連接配接的主演邊和導演邊的權重就因人而異了。我們提出了一種新的方法來融合使用者動态資訊和靜态圖譜資料。每個行為都用圖譜擴充，這樣行為序列變成行為圖譜序列， 并且加入KnowledgeGraph-guided gating的自适應的生成式門控圖注意力，去影響知識圖譜融入到模型中的點邊的權重。
▐ 融合多模态資訊的跨模态召回
針對新内容冷啟動的問題，我們提出了跨模态召回模型來兼顧content-based和behaviour-based的召回各自的優點。在跨模态召回模型建構前，我們首先引入了多模态meta資訊為主的“語義” deep collaborative filtering召回，兩者的顯著差别主要在target side的特征組成中相較與behaviour-based的特征，多模态特征建構的模型去除了影響較大的内容id類的特征，将這些特征更換為了來自多模态預訓練技術得到的多模态表征輸入。除了上面的變化，我們還加入了triplet loss的部分使得embedding空間更具有區分度，效率名額也有了較大幅度的提升。
使用者多興趣表征
▐ 多模型簇聯合學習
多峰召回模型通過對使用者側産生多個表征不同“興趣”的向量進行多個向量的召回，是對于單峰的一個拓展，将單個使用者的表達擴充成了多個興趣表達, 更精确地刻畫了使用者, 進而取得更好的效果。我們通過對于單峰模型及多峰模型的觀察發現，使用者行為高度集中的序列單峰模型的線上效率相對于多峰模型會更有優勢，而那些使用者序列類目豐富度較高的則多峰模型的效率明顯占優。是以這裡提出了泛多峰u2i模型的概念，嘗試将多峰模型容易拟合行為序列類目豐富度較高的使用者，而單峰模型則更容易拟合行為序列類目豐富度較為集中的使用者的優勢進行結合。使得單一模型能夠通過産生不同算法簇的多個不同表征的向量在不同簇的内容向量中進行召回，進而具備這兩種召回範式的優點。
未來工作
在未來的工作中，我們希望從下面方向進一步提升優化：
▐ 認知推薦
我們正在嘗試，将圖譜用于user embedding投影，投影的平面空間就是語義空間，這樣做到可控多元度語義可解釋embedding。另外，對于召回，采樣方式對模型效果影響非常大，結合知識圖譜來進行graph-based Learning to sample的優化，對于正負樣本的選取更加做到關聯可控，加快疊代速度，提升效果。
▐ 興趣破圈
在内容化推薦領域，僅僅相似度提高的優化，會導緻使用者沒有新鮮感，對平台粘性變低。如何幫助使用者探索他更多的興趣，是現在内容化推薦亟待解決的另一個問題。一種做法是興趣近鄰，從已有興趣出發，慢慢通過興趣之間的相似，擴充使用者未知的領域，可以參考MIND，CLR一些思路。另一種做法是對興趣建構推理引擎，在對已有興趣推理過程模組化之後，加入擾動來探索使用者可能新的興趣。
擴充閱讀
後續我們将有一系列的文章，對每一個内容做詳細的展開，敬請期待：
- CMDM：基于異構序列融合的多興趣深度召回模型在手淘逛逛的探索和實踐
- 淘寶逛逛多模态語義召回的若幹實踐
- 基于多模型簇聯合學習的多任務召回架構
- 多序列融合召回在逛逛新使用者冷啟動上的應用
- 融合多模态資訊的跨模态召回
- 行為稀疏場景下的圖模型實踐
團隊介紹
我們來自淘寶逛逛算法團隊，逛逛是淘寶重要的内容化場景，團隊優勢有：
- 業務空間大、基礎設施完善：場景海量回報，在工程團隊的支援下，算法工程師可以輕松上線大規模模型，分鐘級更新，更加注重算法本身。
- 團隊氛圍好、研究與落地深度結合：團隊不僅僅解決業務算法問題，還會緊跟學術領域進展。也歡迎有實習想法的同學加入，由資深師兄根據同學優勢與興趣定義好業務問題，輔導研究，給每位同學都有充分的成長空間。
人才需求：有機器學習、深度學習有一定了解，對内容分發和内容了解感興趣，可以發郵件到郵箱mingyi.ff#alibaba-inc.com或者jinxin.hjx#alibaba-inc.com（發送郵件時，請把#替換成@）