新零售智能引擎事業群出品
論文連結：
https://arxiv.org/pdf/1910.07099.pdf
1. 全空間模組化任務的背景
随着移動網際網路的興起，從海量的資料中挖掘出有價值的資訊并呈現給使用者，已成了電商、 社交、新聞等主流應用的核心功能，推薦系統正是在這樣的背景下誕生的。在電商領域，高 品質的推薦系統能為使用者提供精準、及時、甚至帶有一定驚喜性的個性化服務，進而有效地 增加了使用者與系統之間的黏性，同時也能為平台帶來一定的收入。一般說來，電商領域(如 淘寶)的推薦系統架構主要包括兩個階段：系統決策和使用者決策，如下圖所示：
1）系統決策：淘寶上有數億商品，如何從中挑選最适合的少量商品展現給使用者呢？這就是 推薦系統存在的價值。推薦系統首先會根據使用者的長短期興趣召回大量(一般是千級别的數 量級)相關的商品；接着将頭部的商品傳遞給後續的精排階段。精排階段則結合着使用者、商 品、上下文等特征，對商品的點選率(CTR)、轉化率(CVR)等排序名額進行模組化。然後，系統 會按照一定的商業目标(例如GMV)綜合所有的排序名額并計算出最終的排序分，最後系統會 将排序分最靠前的商品展現給使用者。由此可見，精準地預估CTR、CVR等排序名額對最後的商品展現起着至關重要的作用。
2）使用者決策：當商品曝光給使用者後，使用者會在商品上産生一系列行為。首先使用者會點選令 他們感興趣的商品，接着還可能對點選商品産生更進一步的購買行為，這一序列行為過程可 以表示成“Impression→Click→Buy”。另外，使用者各階段的行為資料會回報給推薦系統做更 進一步的疊代更新。
通常來講，傳統的推薦系統會根據使用者在不同階段的回報資料建立對應的算法模型，例如， 根據使用者從曝光到點選階段的行為資料建構點選率預估模型；根據使用者從點選到購買階段的 行為資料建構轉化率預估模型等。但是，多階段獨立模組化存在一些問題。以post-clickCVR 模型為例，直覺的模組化方式是采用點選資料：點選且購買為正樣本，點選非購買為負樣本； 但它存在兩個非常明顯的問題：
1）樣本選擇偏差(SampleSelectionBias，SSB)問題: 訓練CVR模型時，隻采用點選樣本； 但是線上serving的時候，使用者直接面對的是曝光商品，而不是點選後的商品。這樣， training 空間和線上inference空間的不一緻性，必然會使CVR預估産生有偏的結果，進而損失效 果及收益。是以，CVR模組化時，應充分保障training空間與線上inference空間的一緻性
2）資料稀疏性(DataSparsity,DS)問題: 通常說來，CVR任務的參數量與CTR任務的參數 量規模相當；但是如果隻使用點選資料訓練CVR任務，其樣本量将比CTR任務的樣本量小 1～3個量級，導緻CVR模型參數的更新必然是不充分的，進一步會影響線上效果。 另外，模組化時，我們還需要考慮每個任務與場景最終目标的關系。以商家私域推薦為例，它 的目标是GMV，雖然它與CTR、CVR都強相關，但是這并不意味着我們應該分階段獨立預 估CTR和CVR。根據我們的實踐經驗，模型能做到CVR很高，即點選後商品的轉化率很 高；但是我們發現商品本身的CTR卻上不去，整體而言，使用者的成交筆數本身卻沒有明顯 的提升。事實上，我們模組化時，應該從全局優化的角度出發，基于曝光(全)空間的模組化則是 一個很好的切入點。
2. 全空間模組化已有工作：ESMM模型
ESMM模型是阿裡廣告算法團隊提出的首個同時解決SSB和DS問題的轉戶率預估模型。 具體而言，它基于使用者行為路徑“Impression→Click→Buy”模組化，并引入了兩個基于全空間 的輔任務： “Impression→Click”(CTR)和“Impression→Buy”(CTCVR)。這樣，由CTR和CTCVR任 務推導而來的CVR任務也受益于全空間模組化，保證了training空間與inference空間的一 緻性，解決了SSB問題。
同時，ESMM借鑒了多任務學習的架構，讓作為主任務的CVR網絡和作為輔任務的CTR 網絡共享底層Embedding。事實上，Embedding的參數規模主導了整個網絡的參數量，它 依賴于資料規模同樣很大的曝光樣本，并生成較為準确的使用者和商品的特征表達。 Embedding層的共享緩解了CVR任務正樣本稀疏的現狀，一定程度上解決了DS問題。 ESMM的模型結構圖如下：
總之，ESMM模型将CTR、CVR、及CTCVR任務融入到一個統一的模型架構中，線上場 景可以結合自己的業務目标選擇與之比對的排序名額。精妙的模型結構同時解決了轉化率預 估模型中普遍存在的SSB和DS兩大關鍵性問題。
雖然ESMM模型的設計已經很精妙了，線上也取得了不錯的業務效果。但是，當我們進一 步分析實際的業務資料後，發現ESMM模型還有進一步的優化空間。 1）ESMM模型對使用者的行為路徑模組化過于簡單，僅僅隻考慮了“Impression→Click→Buy”。 事實上，使用者的行為路徑是十分複雜的，例如，使用者點選商品後，可能不會直接購買，而是 先将商品加入購物車中，再通過購物車路徑産生購買行為，這樣該使用者的行為路徑就變成了 “曝光->點選->加購->購買”；那麼，我們在模組化過程中應該如何考慮使用者更加真實且複雜的 行為路徑呢？
2）根據業務資料分析發現，使用者産生的購買正樣本非常稀疏，例如從曝光到最後的購買， 往往在千分之幾甚至萬分之幾的量級。正樣本量的稀疏對轉化率預估模型的建構提出了不小 的挑戰。雖然ESMM模型借助于Embedding共享的技術一定程度上緩解了樣本稀疏性的 問題，但是卻不能直接解決購買樣本天然缺乏的問題，一種較直接的解法是引入使用者更多與 購買相關的回報資訊。事實上，我們發現，使用者在點選商品詳情頁後，往往會發生很多與購 買行為強相關的post-click行為，例如加購、收藏行為等。那麼，我們如何引入與使用者購買 行為強相關的post-click行為進一步建構轉化率預估模型呢？
3. ESM^2: 基于全空間的機率分解
3.1 ESM^2 模組化動機
使用者對商品的購買決策過程是非常複雜的，如下圖(a)所示，例如，使用者點選商品後，可能 先加入購物車，然後再通過購物車購買商品；又或者，使用者點選商品後，先加入購物車，再 通過購物車打開商品詳情頁接着再加入收藏夾，最後通過收藏夾購買等；顯然，使用者從點選 到購買的行為路徑是多樣化的，而我們在模組化時不可能枚舉所有從點選到購買的行為路徑。
事實上，我們可以在點選到購買路徑中插入若幹預先定義好的關鍵節點，例如加購(cart)、 收藏(wish)等，如上圖(b)所示。例如，使用者點選商品後，先加購再購買；或點選後，先收 藏再購買等。定義的關鍵節點簡化了使用者非常複雜的購買決策過程，同時又為模組化提供了理 論上的可能性。值得一提的是，我們定義的關鍵節點需要同時滿足如下3個特性：
1）這些節點自帶使用者直接的回報信号，例如使用者是否發生加購行為，是否發生收藏行為等
2）相比購買行為，這些節點對應的資料稀疏性問題能得到一定的緩解，例如從點選到購買 的轉化率為2.5%，但是從點選到加購(收藏)的機率分别為8.3%(3.2%)。
3）關鍵節點與使用者的購買行為強相關，例如，從加購到購買的機率為18.4%，從收藏到購 買的機率為6.3%等。
接着，我們再針對關鍵節點定義若幹算子事件，而這些算子事件的作用在于對商品post-click 空間進行完備劃分。例如，當關鍵節點是加購和收藏時，那麼對post-click空間完備劃分的 一種方案可以是 和與之對應的補集 ，如上圖(c)所示。有了基于商品 post-click空間的完備劃分，自然的，我們可以引入全機率的思想對轉化率預估進行模組化。假 設事件1 、 2 、 ... 、 為post-click空間的一種完備劃分，從點選到事件發生的機率為， 且事件到購買的機率為，那麼，post-clickCVR定義為： =1 ，其中 =1 =1。 接下去，我們以 和 作為post-click空間完備劃為為例，推導post-click CVR的全機率模組化過程。為了叙述友善，我們定義事件DAction代表事件 ， OAction代表事件 ，如上圖(d)所示。
3.2 轉化率 CVR的全機率模組化推導
首先，我們用符号 am代表商品的點選率,它代表圖中路徑Impression→Click，進一步可以數 學化為：
其中，我們用b代表b=1。另外，商品隻有點選後才會有後續購買行為發生，是以，
。這樣，基于全空間的使用者行為圖：I mpression→Click→DAction/Action→Buy被分解成Impression→Click和C lick→DAction/OAction→Buy。換句話說，根據鍊式法則，等式（4）內建了等式（1）和等式（3）的結果。
3.3 ESM^2 模型結構
根據上面的全機率公式推導發現：pi ctr、pi ctavr、pi ctcvr這三個基于全空間的輔助任務能由y1i、 y2i、y3i及y4i四個隐變量推導而來，而這4個隐變量分别代表了路徑Impression→Click、 Click→DAction、DAction→Buy、OAction→Buy發生的條件機率。一方面，這4個隐變量 的訓練全都是基于曝光樣本得到的，以y2i為例，直接用Click→DAction的樣本訓練會産生 SSB問題，但是我們注意到y2i能由pi ctr和pi ctavr根據公式(2)推導而來，并且pi ctr和pi ctavr是基于 全空間模組化的，這樣推導而來的y2i也受益于全空間模組化，消除了SSB問題。另一方面，三 個輔助任務pi ctr、pi ctavr、pi ctcvr的label很容易從使用者行為日志中得到，三個輔助任務的引入 會幫助學習相關的4個隐變量的學習，而多個變量的學習可以借助于multi-task的架構。整個模型結構如下圖所示：
模型解讀：
1）整個模型結構上分為Input、SEM、DPM、SCM四個部分；Input為原始的One-hot編碼 特征輸入， SEM則将one-hot進行embedding編碼表達，所有的4個子網絡共享embedding。接 着DPM通過4個網絡分别預估出4個隐變量的值；最後，SCM則根據上一節推導的機率公 式計算出pi ctr、pi ctavr、pi ctcvr及pi cvr的值，并配合上相應的label進行loss的計算。
2）用于模組化1、2、3及4這4個隐變量的4個網絡的輸入都是曝光樣本，這樣由它們 推導而出的 bm也受益于全空間模組化，解決了直接從點選到購買模組化CVR帶來的SSB問題
3）引入充足且與購買行為強相關的post-click行為，進一步緩解購買正樣本稀疏的DS問題
3.4 ESM^2 模型實驗結論
為了進一步評估ESM^2模型的效率，我們做了大量的離線和線上實驗，對比的模型主要包 括GBDT、DNN、DNN-OS、ESMM。其中，DNN模型分别使用“曝光到點選”、“點選到購 買”的樣本訓練點選率(ctr)和轉化率(cvr)模型，再将兩個預估分相乘得到ctcvr分；DNN-OS 模型則針對“點選到購買”的樣本進行了過采樣，其他操作類似于DNN模型；ESMM則基于 使用者行為序列“Impression→Click→Buy”訓練多任務模型，同時得到ctr、cvr和ctcvr(ctr*cvr) 預估分。
離線實驗結論：我們對比過AUC和F1分數， ESM^2模型效果表現均最好，例如相比ESMM 模型，在CVRAUC上提升0.0088。
離線AUC評估結果：
離線F1評估結果：
線上實驗結論： ESM^2在所有的對比模型中，表現也是最好的。例如，相比之前最好的 ESMM模型，轉化率提升超過3%。
ESM^2線上效果:
另外，我們還做了大量的Ablation實驗，包括網絡參數設定、post-click行為選取等，具體 實驗結論如下：
網絡參數設定實驗：
post-click 行為選取：
4. 總結與展望
本文在ESMM模型的基礎上，充分考慮到了使用者點選後的 post-click行為，進一步地提出 了 ESM^2 模型，它模組化使用者行為路徑時從傳統的“Impression→Click→Buy”更新為 “Impression→Click→DAction/Action→Buy”，它緩解了SSB和DS問題，并且從離線/線上 實驗來看，效果均好于其他相關的代表模型。後續工作将進一步圍繞引入更加豐富的 post-click行為展開。
5. 參考文獻
[1] Xiao Ma, Liqin Zhao, Guan Huang, Zhi Wang, Zelin Hu, Xiaoqiang Zhu, and Kun Gai. 2018. Entire space multi-task model: An effective approach for estimating post-click conversion rate. In T h e 4 1 s t I n t e r n a ti o n a l A C M S I G I R C o n f e r e n c e o n R e s e a r c h & D e v e l o p m e n t i n I n f o r m a ti o n R e tri e v a l . ACM, 1137 –1140.
[2] Hong Wen, Jing Zhang, Quan Lin, Keping Yang, and Pipei Huang. 2019. MultiLevel Deep Cascade Trees for Conversion Rate Prediction in Recommendation System. In P r o c e e d i n g s o f t h e A A A I C o n f e r e n c e o n A rtifi c i a l I n t e lli g e n c e .
[3] Yelong Shen, Xiaodong He, Jianfeng Gao, Li Deng, and Grégoire Mesnil. 2014. A latent semantic model with convolutional-pooling structure for information retrieval. In P r o c e e d i n g s o f t h e 2 3 r d A C M i n t e r n a ti o n a l c o n f e r e n c e o n c o n f e r e n c e o n i n f o r m a ti o n a n d k n o w l e d g e m a n a g e m e n t . ACM, 101–110.
[4] Yufei Feng, Fuyu Lv, Weichen Shen, Menghan Wang, Fei Sun, Yu Zhu, and Keping Yang. 2019. Deep Session Interest Network for Click-Through Rate Prediction. a r X i v p r e p ri n t a r X i v : 1 9 0 5 . 0 6 4 8 2 (2019).
[5] Guorui Zhou, Xiaoqiang Zhu, Chenru Song, Ying Fan, Han Zhu, Xiao Ma, Yanghui Yan, Junqi Jin, Han Li, and Kun Gai. 2018. Deep interest network for click-through rate prediction. In P r o c e e d i n g s o f t h e 2 4 t h A C M S I G K D D I n t e r n a ti o n a l C o n f e r e n c e o n K n o w l e d g e D i s c o v e r y & D a t a M i n i n g . ACM, 1059– 1068.
[6] Han Zhu, Junqi Jin, Chang Tan, Fei Pan, Yifan Zeng, Han Li, and Kun Gai. 2017. Optimized cost per click in taobao display advertising. In P r o c e e d i n g s o f t h e 2 3 r d A C M S I G K D D I n t e r n a ti o n a l C o n f e r e n c e o n K n o w l e d g e D i s c o v e r y a n d D a t a M i n i n g .
[7] Han Zhu, Xiang Li, Pengye Zhang, Guozheng Li, Jie He, Han Li, and Kun Gai. 2018. Learning Tree-based Deep Model for Recommender Systems. In P r o c e e d i n g s o f t h e 2 4 t h A C M S I G K D D I n t e r n a ti o n a l C o n f e r e n c e o n K n o w l e d g e D i s c o v e r y & D a t a M i n i n g . ACM, 1079–1088.
[8] Fuyu Lv, Taiwei Jin, Changlong Yu, Fei Sun, Quan Lin, Keping Yang, and Wilfred Ng. 2019. SDM: Sequential deep matching model for online large-scale recommender system. In P r o c e e d i n g s o f t h e 2 8 t h A C M I n t e r n a ti o n a l C o n f e r e n c e o n I n f o r m a ti o n a n d K n o w l e d g e M a n a g e m e n t . 2635–2643.
更多資訊檢索技術内容請檢視：
獨家下載下傳！《SIGIR 頂會論文解讀》電子書重磅釋出