PAL: A Position-bias Aware Learning Framework for CTR Prediction in Live Recommender Systems (RecSys2019)
作者：一進制，公衆号：煉丹筆記
準确預測點選率（CTR）是推薦系統的關鍵。一般來說，CTR模型是基于從流量日志中收集的使用者回報來訓練的。
然而，位置偏差存在于使用者回報中，因為使用者點選某個商品不僅是因為她喜歡它，而且因為它處于一個好的位置。
一種方法是将位置作為訓練資料中的一個特征進行模組化，由于其簡單性，在工業應用中得到了廣泛的應用。特别地，由于實際位置資訊在那時不可用，是以必須使用預設位置值來預測線上推斷中的CTR。但是，使用不同的預設位置值可能會導緻完全不同的推薦結果。是以，這種方法導緻次優的線上性能。針對這一問題，本文提出了一種位置偏差感覺學習架構（PAL），用于實時推薦系統中的CTR預測。它能夠對離線訓練中的位置偏差進行模組化，并在沒有位置資訊的情況下進行線上推理。在為期三周的AB測試中，大量的線上實驗證明PAL在CTR和CVR（轉換率）方面比基線高出3%-35%。
之前處理該問題一共有兩種方案：
- 使用IPW(inverse propensity weighting):對位置資訊應用使用者定義的變換，然後固定變換後的值。這麼做很難為位置資訊手動設計一個好的轉換，這導緻效果比自動學習的轉換差。
- 将位置資訊當做特征輸入：但這麼做在線上推斷中，必須使用預設位置值來預測CTR，因為此時實際位置資訊不可用。使用不同的預設位置值可能會導緻完全不同的推薦結果，進而導緻次優的線上性能。
本文提出了一個位置偏差感覺學習架構（PAL）來模拟離線訓練中的位置偏差，
并在沒有位置資訊的情況下進行線上推理。
PAL的思想是基于這樣一個假設：使用者點選某個商品的機率取決于兩個因素：
- 使用者看到該商品的機率；
- 使用者點選該商品的機率；
如果對兩個子產品分别進行優化，由于兩個子產品的訓練目标不一緻，可能導緻整個系統處于次優狀态。為了避免這種局限性，提高CTR預測性能，PAL對兩個子產品同時進行了優化。一旦這兩個子產品通過離線訓練得到很好的訓練，第二個子產品即使用者點選該項目的機率（假設該項目已被使用者看到）就被部署來預測線上推理中的CTR。
之前處理該方案的政策有：将position-bias當做是一個特征或者似乎一個子產品。
1. 作為特征
将位置資訊模組化為一個特征， 線下訓練的時候，我們将其作為特征向量并且拼接輸入到模型當中,
這麼做就要求我們在線上推理時也需要有輸入，預設值的話會帶來次優的效果，而如果枚舉position資訊的話又會導緻時間增大，不能接受，是以這麼做泛化性會較差。
2. 作為子產品
針對以上以将位置資訊作為特征的局限性，本文提出了一種新的以位置資訊為子產品的架構，以便在
離線訓練中建立位置偏差模型，在沒有位置資訊的情況下進行線上推理。
我們的架構是基于這樣一個假設，即
一個商品隻有在被使用者看到時才被使用者點選。更具體地說，我們認為商品被使用者點選的機率取決于兩個因素：
- 商品被使用者看到的機率；
- 使用者點選商品的機率;
假設商品被使用者看到，那麼我們有：
我們做進一步的假設：
- 一個商品被看到的機率隻與相關位置被觀察到的機率有關；
- 一個商品被點選的機率是和位置無關的;
我們提出的架構可以基于上面的等式并且由兩個子產品組成。
- Baseline:The baseline framework refers to “as a feature" strategy
- 不同的位置k對于Base的影響很大。
- 我們注意到線上線下都得到了一直的提升;
我們提出了一個PAL架構，它可以在離線訓練中對訓練資料中的位置偏差進行模組化，在線上推理中可以在沒有位置資訊的情況下預測CTR。與基線相比，PAL在為期三周的線上AB測試中有更好的結果。大量的線上實驗結果驗證了該架構的有效性。
參考文獻：
- PAL: A Position-bias Aware Learning Framework for CTR Prediction in Live Recommender Systems:https://dl.acm.org/doi/pdf/10.1145/3298689.3347033
更多幹貨，請關注微信公衆号：煉丹筆記