聊聊淘寶天貓個性化推薦技術演進史

引言：個性化推薦技術直面使用者，可以說是站在最前線的那個。如今，從使用者打開手機淘寶用戶端（簡稱“手淘”）或是手機天貓用戶端（簡稱“貓客”）的那一刻起，個性化推薦技術就已經啟動，為你我帶來一場個性化的購物之旅。本文将細數個性化推薦的一路風雨，講講個性化推薦技術的演進史。

本文選自[《盡在雙11——阿裡巴巴技術演進與超越》。

1、個性化推薦All-in無線

　　無線個性化推薦起步于2013年10月。現在往回看，當時的阿裡很好地把握住了移動端快速發展的浪潮，以集團All-in無線的形式吹響了移動端戰鬥的号角。個性化推薦團隊也是從All-in無線這一事件中孵化的。我們從零開始搭建了個性化推薦算法體系及個性化算法平台TPP。TPP這一個性化算法平台對個性化推薦團隊的成長起到了至關重要的作用。基于TPP，個性化算法團隊成員們驗證算法的速度得到了極大的提高，優化算法的速度進而也得到了極大的提高。僅僅花了不到兩個月的時間，個性化推薦的第一版算法就在“有好貨” 中初露鋒芒：結合基于主動學習的選品算法平台TSP，個性化推薦團隊一舉打造了“有好貨”針對高端人群的優質導購體驗。

　　2014年，随着個性化推薦算法團隊對業務問題有了更好了解，以及技術研發的深入，我們逐漸開發并上線了排序引擎RTP、标簽探索算法PairTag及線上學習引擎Olive（如下圖所示）等多項核心技術。個性化推薦算法也是以被快速地應用到“發現好店”、“愛逛街”、“猜你喜歡”及購物鍊路等手淘的各個主要場景中。其中，手淘底部的“猜你喜歡”商品瀑布流推薦是億萬使用者每天登入手淘後必逛的場景，為人們搜尋和發掘自己喜好的商品提供了便捷的管道。“猜你喜歡”也一舉成為中國電商中最大的推薦産品。

　　　　　　　　　　　　　　　　　　　　　　　　　　　Olive流程圖

　　正是在All-in無線後的這一年，個性化推薦開始在阿裡逐漸成長起來。

2、 個性化推薦初逢雙11

　　2015年，個性化推薦第一次在雙11中大放異彩。還記得當年9月中旬，我們正在維也納參加推薦系統最大的會議RecSys。逍遙子突然來電，告知在2015年雙11上要全面開啟個性化推薦，随行的同僚們都很興奮，但我們又不得不面臨缺乏雙11實戰經驗的實際問題。當然，機會和風險往往是并存的。面對挑戰，我們很快開始規劃程序和分工。回到杭州之後，團隊全員進入備戰狀态，我們的努力在雙11當天得到了回報。2015年11月12日淩晨，推薦算法團隊、手淘及天貓的衆多小夥伴們并不覺得疲乏，大家的臉上都閃爍着喜悅。個性化推薦算法在雙11大放光芒，一個又一個令人瞠目的數字足以為證。個性化推薦的第一戰場“雙11主會場”更是自雙11開展多年以來首次達到了個位數的跳失率，其引導人數和人均引導頁面數都是前一年的2～3倍。不得不說，這些令人振奮的結果都要歸功于之前兩年中個性化推薦在無線端的落地。

　　2015年雙11主會場個性化算法（即“天坑一号”，如下圖）包括三個層次：樓層順序個性化、樓層内坑位個性化、坑位素材個性化。這三個層次自頂向下，在使用者體驗上形成一套完整的方案。其中：

• 樓層順序個性化使得女神看到的樓層順序可能是女裝、美妝、天貓國際等，歐巴看到的樓層順序可能是男裝、旅行、數位等。
• 樓層内坑位内容個性化，使得在同一個樓層内，不同使用者看到的商品或店鋪不同，比如同樣都是美食控，喜歡辣味的使用者可能看見麻辣牛肉幹，喜歡甜味的使用者可能看見巧克力。
• 坑位内容素材個性化，使得同一個樓層的同一個坑位，即便算法預測兩個使用者都需要巧克力，但一個喜歡費列羅而另一個喜歡德芙，也會在入口圖上展示不同的品牌。 　　　　　　　　　　　

  

  　　　　　　　　　　　　　　　　　　　　　　 “天坑一号”個性化主會場示意圖

這三層個性化中涉及多政策推薦算法、排序學習、合圖等多項技術。整個項目的進展用六個字來總結就是“時間緊任務重”。在多個團隊的辛勤工作及緊密協作下，我們第一次全方位地将自All-in以來所積累的個性化推薦技術用于如此複雜的場景之中。

　　個性化推薦在“雙11主會場”取得成功的因素有很多。其中，最值得稱道的莫過于“首圖個性化”。在指甲殼大小的空間上，我們對産品創意素材和文字進行精雕細琢和個性化投放。這一改變極大地提升了使用者活躍度，并催生了2015年雙11主會場的個性化項目。該項目的成功上線成倍地降低了會場跳失率。更重要的是，個性化推薦為使用者帶來了全新的無線端購物體驗，并且為阿裡在電商領域的茁壯成長帶來了顯著的助力作用。個性化推薦算法團隊是以榮獲2015年CEO特别貢獻獎。下面引用阿裡巴巴CEO逍遙子嘉獎信裡的一段話：“這次雙11的一大亮點是，我們基于大資料的無線産品和技術的創新，使得整個營運效率有了大幅度提升。淘系的活躍使用者得到了充分的引導和互動，得到了大量個性化的展示和推薦，事實證明了大資料的巨大威力。我們用大資料賦能了雙11，賦能了我們自己的營運能力。”

正是在2015年雙11之後，個性化推薦的故事開始為人們津津樂道。

3、 個性化推薦再戰雙11

　　2015年雙11之後，個性化推薦團隊乘風起航，繼續發力。正是這一年的持續發展，使得個性化推薦在2016年雙11中更進一步，遍及無線端的各個場景。包括主會場在内的幾乎全部活動會場、産品都實作了個性化算法投放。個性化推薦團隊的代表作“海神”以及“魯班”（下圖為魯班批量生産的創意Banner）都是首次在雙11中亮相。

　　　　　　　　　　　　

　　　　　　　　　　　　　　　　　　　　　　　魯班批量生産的創意Banner

　　　　　　　　　　　　　　　　　　　　　　　

　　在2016年雙11中，面對更為複雜的個性化需求，樂田及工程師們将全面更新後的個性化推薦完美地展現在雙11主會場中。雖然2016年的雙11主會場與2015年的“天坑一号”主會場極其相似，但這一次個性化推薦産品做得更為精細了。其中，GBDT+FTRL、Wide & Deep Learning和AdaptiveLearning這三項最前沿的機器學習技術被應用到了主會場的三層結構中，極大地提升了線上模型的效果及實時預測的效率。

　　除了正常的個性化推薦之外，我們在2016年雙11開始嘗試融合商家流量配置設定的個性化推薦。逍遙子在2015年雙11總結中提到：“我們還要更上一層樓，利用大資料賦能給所有的商家，幫助他們營運好消費者，這樣才能讓我們在大資料時代踐行‘讓天下沒有難做的生意’的使命。”随着個性化場景的不斷更新，商家很多時候都對流量的波動束手無策。對那些有營運能力的商家來說，我們希望其通過更多優質的商品和優秀的服務換來更多的流量或銷量上的部分确定性。因為推薦各場景大小不一、定位差異大，有導購類場景、有成交類場景等，我們需要根據場景本身的特性來進行流量智能調控。是以，商家賦能個性化推薦系統 — Matrix應運而生。Matrix系統主要用于調節使用者體驗、賣家流量訴求和投資回報率、電商平台健康度等方面的效用，平衡場景的短期收益和長期收益。在2016年雙11中，Matrix在部分場景的上線為今後的賣家賦能積累了寶貴的經驗。

　　　　　　　　　　　　　　　

　　　　　　　　　　　　　　　　　　　　　　賦能商家的Matrix系統流程圖

4、 個性化推薦的智能未來

　　個性化推薦從無到有，直到演進成為CEO逍遙子口中的“電商基礎設施”，這一切來得極為不易。面對更具挑戰的未來，個性化推薦可以做得更好、更智能，而基于全局資訊的個性化推薦将會是達成這一目标的重要途徑。

衆所周知，個性化推薦涉及多種不同層次、不同粒度的子任務。從推薦内容上來說，個性化推薦分為商品推薦、店鋪推薦、品牌推薦、評論推薦等；從推薦目标上來說，個性化推薦分為點選率預測、轉化率預測、成交量預測等。雖然我們目前設計的個性化推薦算法在TPP上實作了流程一體化，但我們對每個推薦場景面臨的子問題卻是單獨模組化的。如果能從全局的角度分析使用者的喜好，個性化推薦必然能夠更上一層樓。

　　2016年，我們已經通過深度強化學習（Deep Reinforcement Learning）技術對全局資訊共享下基于多任務學習　　（Multi-task Learning）的個性化推薦進行了初步探索。從資料流通鍊路來看（比如下圖所示的手淘場景資料流通圖），我們可以很自然地将全鍊路多場景的推薦任務了解為推薦系統面向使用者的連續決策過程。随着使用者對不同推薦場景的持續浏覽和互動，推薦系統對于使用者實時需求和意圖的了解會越來越清晰，是以也可以更準确地為使用者推薦更為合适的内容。深度強化學習已經在人工智能領域掀起了新的浪潮，這一技術必将成為個性化推薦智能化的最強武器。

　　　　　　　　　　　　　　

　　　　　　　　　　　　　　　　　　　　　　　手淘場景資料流通圖

5、 總結

　　個性化推薦所取得的成就是一個“意料之外卻情理之中”的結果。僅僅經曆了短短幾年的時間，淘寶和天貓就從以人工營運為主配置設定流量和資源位的方式成功轉變為以大資料和人工智能為導向的新方式。與此同時，我們初步建立了人工經驗與算法投放協同工作的機制。自2013年年底All-in無線以來的沉澱和積累終于逐漸轉化成了果實。經過不斷地積累和打磨，個性化推薦技術變得越發成熟和犀利，相信個性化推薦的未來會更好。

　　本文選自《盡在雙11——阿裡巴巴技術演進與超越》，點此連結可在博文視點官網檢視此書。

　　　　　　　　　　　　　　　　　　　　　

　　想及時獲得更多精彩文章，可在微信中搜尋“博文視點”或者掃描下方二維碼并關注。