【摘要】 12月6-7日，由阿裡巴巴集團、阿裡巴巴技術發展部、阿裡雲雲栖社群聯合主辦，以“2016 雙11技術創新”為主題的阿裡巴巴技術論壇上，來自商家事業部的技術總監魏虎給大家分享了資料賦能商家背後的AI技術。首先對大資料和人工智能進行了簡要介紹，接着着重分析了客戶營運平台，包括實時分群算法、match和rank架構以及千人千面技術，最後講解了千牛頭條、服務市場和智能客服中AI技術的應用。
背景介紹
大資料
大資料主要有四個特征：Volume（大量）、Value（價值）、Velocity（速度）、Variety（多樣）。
- Volume（大量）：網際網路實時采集使用者的各種行為，資料量龐大；
- Variety（多樣）：資料格式發生了翻天覆地的變化，資料類型的多樣性也是大資料的特點；
- Velocity（速度）：資訊采集速度為秒級或毫秒級；
- Value（價值）：海量資料中存在很多金礦，價值密度低，須通過不同類型的資料挖掘才能完整刻畫使用者，産生價值。
人工智能
- 通用人工智能（General AI）概念，指擁有人類五感（視覺、聽覺、嗅覺、觸覺、味覺、甚至更多）、推理能力以及人類思維方式的神奇機器；
- 弱人工智能（Narrow AI）：執行特定任務的水準與人類相當，甚至超越人類的技術。
上世紀50年代，人工智能的概念就已提出，人工智能的發展也經曆了坎坷的階段；上世紀80年代，機器學習開始興起，開始用模型、算法和資料組成軟體部分；随着處理能力的提升和海量資料的累積，2010年以後，深度學習火熱起來，它源自于人工神經網絡，深度學習的發展也得益于算法模型的優化，自動學習特征。
人工智能的核心點由大資料、處理能力、資料模型組成。人工智能給我們帶來了四大方向：
- 發現：通過人工智能可以發現一些有價值的資料，比如發現一些使用者的購買行為，經常購買搭配的組合套餐；
- 預測：可以對使用者進行預測，預測購買哪些商品，購買機率是多少；
- 推薦：預測後就要推薦，通過各種推薦技術，比如猜你喜歡進行推薦；
- 自動化：了解使用者定期購買什麼商品，自動化的定期進行推薦。
客戶營運平台
CRM：企業為提高核心競争力，利用相應的資訊技術以及網際網路技術來協調企業與顧客間在銷售、營銷和服務上的互動，進而提升其管理方式，向客戶提供創新式的個性化客戶互動和服務過程。其最終目标是吸引新客戶、保留老客戶以及将已有客戶轉為忠實客戶，增加市場佔有率。
客戶營運平台來自于CRM，是為阿裡商家打造的資料驅動的客戶精細化營運平台，商家可以對自己的客戶進行洞察和分群，同時可以針對自己的客戶在各個溝通的通道上（店鋪首頁、詳情、微淘、旺旺等）進行千人千面的溝通和表達。客戶營運平台承載着從流量營運到客戶精細化營運的使命。
個性化店鋪首頁
頁面級千人千面，通過面向不同的客戶人群投放不同的個性化店鋪首頁來提升轉化效果。面向消費者部分，我們需要做實時偏好算法分群。因為是需要賣家參與設計對應人群的頁面，是以不同商家效果有差別，做得好的商家，成交轉化率能有50%的提升；面向商家部分，我們不僅僅是做一個工具，包括人群細分（年齡、性别）、個性化頁面選擇（屬性偏好）、政策診斷（比對度）、選品助手、效果跟蹤，背後都是AI在支援。
談到實時分群算法，它的分群方法是基于實時商品分組、品類等次元定義标簽，算法實時預測比對分群，實時分群政策可與普通标簽交叉使用，實時分群政策還可以透視。算法體系包括行業級别的模型，GBDT線上預測，長期+近期+實時偏好相結合，還引入了增強學習方法，根據實時的累積受益來調整偏好門檻值。
圖中從上到下分為離線、近線、線上算法。離線部分有離線特征計算，我們用了使用者、搜尋、浏覽、加購、支付等，離線算法也應用很多，包括普通的LR、SimRank、圖計算以及深度學習等，我們都做了很多嘗試，并且取得了一些成果，最後通過模型庫訓練産生一些結果；離線部分可能一天算一次，而近線部分是分鐘級或小時級，包括流計算引擎，實時接收各種浏覽加購行為，實時計算使用者特征；線上部分需要給使用者展示商品，商家需要設定子產品，線上部分我們也引入了投放政策，通過增強學習動态調整每個店鋪使用者的偏好門檻值。整個個性化店鋪首頁背後技術由離線、近線和線上三套架構來支撐人群分群政策。
雙11店鋪承接頁
店鋪承接頁包括三個子產品。“所見即所得”，根據使用者個性化進行推薦；樓層商品的個性化排序，商家可以參與選擇；猜你喜歡瀑布流完全由算法幫助實作個性化推薦。對比有AI支撐承接頁和沒有AI能力的承接頁，人均成交率提高20%以上。
Match架構
Match架構分為基礎日志、訓練資料構造、Match算法引起三部分：
- 基礎日志：日志抽取解析和資料清洗；
- 訓練資料構造：生成使用者序列，商品使用者關系圖，進行rank i2i樣本構造，樣本去躁以及特征工程。
- Match算法引擎：主要分為Online和Offline兩部分，具體類别主要包含：基于節點關系，基于Hash，基于Learning，基于熱度，基于屬性比對，基于流式計算的Match資料。以上資料，可以在不同層次滿足資料Match召回方式，具有極強的覆寫率和準确性。
Rank架構
Rank架構主要分為樣本、特征、模型三個點：
- 樣本：通過預處理、去噪得到幹淨的訓練資料，根據不同樣本的政策訓練效果最好的模型。
- 特征：千萬級的ID類特征，包括使用者、商品基礎特征及互相組合特征；場景回報類特征如ctr、cvr等；實時特征如召回類型、召回分數以及使用者類目、價格偏好等；業務類特征如會場類目資訊、承接頁頁面資訊，大促商品折扣率，商品加購率等。
- 模型：通過PS版的LR、PAI平台的DNN訓練天級及小時級模型，做到模型的準實時；并線上上通過融合CTR、CVR模型，做到線上效果最佳。
旺鋪個性化子產品
商家可以通過場景化商品池實作多樣化的營銷需求，隻要選擇商品庫，其餘都可交給AI來做。這樣，消費者端千人千面投放可實作高速轉化，整個子產品點選率平均提升20%，成交轉化率提升超過40%，千次展現支付金額提升超過50%。
智能海報
通過素材生産能力與千人千面技術結合，提升店鋪、詳情等場景banner投放效果。
背後的技術就是圖像技術與個性化投放的結合，商家可以自動選模闆将商品放進去， 自動生成海報。
詳情個性化
我們提供給商家易于營運的詳情個性化訪客營運工具，提升轉化效果和客單價。我們給予商家自主權，可以自主選擇在詳情推薦子產品放哪些商品。在商家端，操作成本低、可以批量覆寫多款商品，“一鍵更新”直接覆寫最多100款商品，并支援高階配置（商品池、權重商品池）；在消費者端，基于目前使用者、目前商品的個性化投放，商家配置的權重商品能夠獲得曝光保障。詳情個性化很好地将商家的确定性和個性化融合起來。
粉絲&會員營運算法
我們提供對粉絲/會員的深入洞察，進行分群剖析。我們也提供一些場景化的能力，比如粉絲個性化營銷算法，提供高購買潛力粉絲、預流失粉絲等；對于會員個性化營銷算法，提供預複購會員、預流失會員等人群；對于前端投放算法體系，提供投放時機算法和人群權益比對算法，根據預測模型預測機率值。
千牛頭條
千牛頭條定位于面向B端商家的電商媒體門戶，旨在引入媒體、小二、服務商幫助商家緊跟行業動态、官方規則變化，以及實時的直播内容。
通過AI能力賦能千牛頭條。資訊在千牛頭條中很重要，實施個性化後，整個頻道頁個性化點選率有了很大提升，也提升了單個使用者的資訊消耗率。
千牛頭條的算法架構也分成離線、近線和線上。離線部分，對使用者進行分層，抽取行業特征，包括店鋪規模、關鍵詞等等，對商家做360度的刻畫，此外，離線部分還有各種文章品質的打分模型，通過大規模的離線計算得出商家對哪些文章感興趣；近線部分個性周期更加快，可以對文章進行自然語言處理，包括關鍵詞提取、環境資訊提取等，還要建立索引，對文章進行相似度的計算；線上部分是一個流程，商家過來一個請求，我們會拿到商家的profile，生成一個query，到實時檢索引擎中進行召回，去重過濾，在模型裡我們也做了如圖創新，每一篇文章訓練一個模型，接着後處理帶有一些營運規則，包括多樣性的處理，最後推薦給使用者。
服務市場
我們推出的主要面向商家，為其提供店鋪、訂單、營銷管理等軟體工具以及營運、客服外包、攝影等服務為一體的營運平台，是阿裡生态體系的重要組成部分。很多服務商與我們一起為商家提供工具，通過AI能力進行賦能，使服務市場效果有顯著提升。
資料賦能服務市場搜尋，解決商家在服務市場“搜什麼”、“搜不到”、“搜不準”、“搜不好”的體驗問題。使之達到更精準的搜尋體驗、更高效的平台導購、更多優秀服務得到曝光。采用基于前沿的NLP技術的Query了解，基于語義的檢索，也有資料驅動的自适應模型優化，個性化排序模型優化，還有實時個性化技術，熱搜詞挖掘、引導價值分析等。通過AI能力使搜尋點選率增加25%，跳失率降低16%，付費轉化提升20%。
搜尋之後就是個性化推薦技術，包括首頁、結果頁、詳情頁、付款、購後整個商家的服務市場流程中，進行深入分析和挖掘使用者訂購行為，嘗試前沿AI算法，提升推薦精準性；深入挖掘優質的服務和服務商，為使用者推薦優質服務；深化服務市場個性化導購，進一步提升使用者訂購體驗和效率。我們做了一些導購場景布點，主要技術與推薦相關，包括使用者商家的實時意圖分析等，使服務市場的商家更容易搜到想要的服務。
智能客服
我們制定了智能客服的全新接待模式，消費者通過聊天視窗與客服溝通時，推薦消費者可能問的問題，并給出相應答案，大大節省了客服工作量。
智能客服管理團隊，實時分析消費者和客服之間聊天記錄，實時做語義分析，幫助監控客服效率，機器可以自動挖掘好的問答對。
智能客服背後的算法，從下往上，第一層基礎資料，我們會對聊天記錄、店鋪、商品和評價等底料進行挖掘；第二層是AI算法，包括自然語言處理、線上學習、深度學習等；第三層是知識沉澱，包括知識庫、知識圖譜、績效名額體系等；第四層是公共服務，提供意圖識别、多輪互動、情感分析等；第五層是業務，包括智能搜尋、智能績效、熱點挖掘等。通過AI能力，我們的目标是提升店鋪銷售額，降低營運成本，提升服務體驗。
總結
通過這些技術的深入了解，在各個産品的功能裡更新，在毛細血管中融入AI能力，可以更好的賦能商家，提升效率。
相關閱讀：
- 千人千面、個性化推薦：解讀資料賦能商家背後的AI技術
- 阿裡超大規模Docker化之路
- 雙11媒體大屏背後的資料技術與産品
- 手機端創新體驗——手把手教你搭建VR&AR架構
- 雙11背後的網絡自動化技術
聲明：本文阿裡巴巴技術論壇整理文章，首發于CSDN，未經許可，禁止任何形式的轉載。
作者：魏虎，阿裡巴巴集團商家事業部技術總監，目前的主要工作是通過大資料和人工智能相關技術提升阿裡商家的效能，進而為商家賦能。
責編：錢曙光，關注架構和算法領域，尋求報道或者投稿請發郵件[email protected]，另有「CSDN 進階架構師群」，内有諸多知名網際網路公司的大牛架構師，歡迎架構師加微信qianshuguangarch申請入群，備注姓名+公司+職位。