2021年11月11日23:59:59，阿裡巴巴淘特（淘寶特價版）的第二個雙11完美落下帷幕。在雙11大促期間，淘特曆經多個大促爆發高峰，豐富的權限玩法，各類高成本效益貨品，大促期間累計超上千萬人在淘特買到質美價廉的商品。本次雙11大促中，淘特無論是流量、買家還是訂單數都創下新的記錄，交出了完美答卷，這也意味着，阿裡巴巴在下沉市場開始斬露頭角。
業務簡介與面臨的問題
淘特(原淘寶特價版)定位為消費者帶來低價且有品質的源頭好貨，目前仍然處于使用者快速增長的階段，其中三方線上廣告投放具有規模效應大，行業成熟度高等特點，是平台使用者引流的重要管道。
在淘特為期30多天的雙促期間（雙10，雙11），市場競争尤為激烈，管道投放政策的及時優化調整是保障獲量與控本的重要手段。同時針對下沉使用者偏好簡單的玩法和獨特區域性貨盤的特點，平台需要創新研發各類簡單易于了解的營銷玩法，和相應的站内流量分發機制，促使更多的使用者可以邊玩邊買。
由于本次大促具有時間長與高爆發兩個特點，在這個過程中，我們面臨這這麼幾個問題：
- 流量低價獲客：線上廣告創意規模大，但拉新拉活效果成本參差不齊。但因為不同時間波段流量差異大，如何通過探索式分析，快速定位問題廣告或者挖掘新機會，為大促提供持續穩定的高品質流量成為了優化師們進行投放優化的首要問題。
- 極簡營銷玩法：大促新上各類營銷玩法，營銷玩法的效果需要實時監控。如何實時多元分析，幫助業務進行實作不同場景的不同效果分析，最終反哺業務實作大促交易目标。
- 貨商高效汰換：貨品是電商的核心，超長大促周期下，會場同學需要進行會場貨品調優，行業同學需要通過貨品類目進行供給調整，還有風控、商家管理等多個角色，均需要通過對單商單品的精準強控。其中如何通過實時聚合排序，及時對低效能貨品的汰換，避免流量與轉化效率的錯配。
解決方案
圍繞淘特雙10&雙11，基于上述在流量投放優化、營銷玩法多元分析，品商實時排序等面臨的業務問題下，我們建構了一套基于實時數倉Hologres的統一資料服務系統，從流量、玩法、貨品全方面監控資料，支援業務在大促期間的精細化營運訴求。
下面分别從三方面内容講述淘特在這一領域的實踐。
優化投放持續低價獲客
場景介紹和特點：廣告投放場景偏探索分析，具有查詢頻率中，查詢複雜程度高，對延遲容忍度相對較高等特點。分析師需要從一縱一橫兩個視角進行投放優化，一橫即可以從廣告創意到廣告組、計劃、賬戶、代理、媒體等不同顆粒度。一縱即從展示、點選、消耗的前鍊路資料到激活、新登、喚端、下單、支付等後鍊路資料。再疊加時間次元進行分析與優化。
實作方案：考慮到上卷與下鑽次元非常多，且查詢不固定，無法采用預計算模式，是以我們選擇圍繞最細顆粒度廣告創意進行加工，将各類次元屬性備援成标簽，前後鍊路的效果作為名額，存儲在Hologres上，将分析師在投放中心上的優化的查詢邏輯轉變為基于明細資料的再篩選、聚合、加工的方案。
挑戰與優化：探索式靈活分析，複雜查詢，對Hologres都會産生較大的性能壓力，我們主要考慮了存儲優化、選擇分布列和索引優化三種種優化方式。
- 在存儲方式上，由于外投中心的使用場景是以範圍查詢、單表聚合為主，是以選用列存的存儲方式。
- 此外由于分布列将檔案組分成不同shard，然後優先在各shard内執行join和group by操作，是以選用了常用的關聯鍵和聚合次元account_id, campaign_id, adgroup_id, agent, creative_id。
- 在索引優化上，根據不同索引方式我們選用了不同的字段作為key來優化查詢速度。首先是選用了creative_id作為聚簇列，适用于範圍查詢和篩選所用字段。使用比特編碼索引在聚簇後進一步進行檔案内位圖索引，适用于等值查詢條件，是以選擇了creative_id, account_id, campaign_id, adgroup_id, agent等常用于等值查詢的字段。最後是分段鍵，該索引是用于辨別檔案邊界，常用的是非空時間戳，這裡我們選擇用的是stat_date。
通過上述系列優化使得最終98%以上的通過投放平台過來的探索式分析查詢可以在3s内完成。
業務收益：該資料産品在目标三方廣告投放營運、産品中覆寫度100%，營運通過該平台快速高效的定位并解決包括異常掉量、消耗過高等問題計劃數日均幾十+，使得投放側的優化效率整體提升50%以上。同時還幫助營運能夠快速的找到增量價值管道等。
權益玩法促使用者成交轉化
場景介紹和特點：營銷玩法投放在包含新人、互動、裂變等不同的場域中，玩法的引導效果還與貨盤強相關，交叉模式以及看數用數名額相對固定，且相對比較高頻。
實作方案：我們在實時計算Blink中通過直接産出CUBE表，寫入Hologres中，基于該CUBE表搭建資料報表。
業務收益：大促期間通過效果資料針對玩法進行了10+優化，如通過玩法X場域，為跨店滿減會場新增購物車入口，快速滿足使用者的湊單需求；官方補貼的氛圍鍊路透傳提升轉化率等，幫助行業順利完成目标。
商品商家汰換高效分發流量
場景介紹與特點：營運小二為了能夠在大促期間對商品與商家進行監控與汰換，就需要有細顆粒的查詢監控，同時由于商品會關注在活動中的各個會場的特色名額表現，且部分活動存在跨多天的情況，是以多日累積的資料也是營運決策的重要參考。
實作方案：我們選擇在實時計算Blink引擎中，完成對最細顆粒度的商品-人的計算，并将相關活動名額打橫，寫入Hologres。在報表層，根據營運的篩選條件進行跨天的彙總到商品、商家粒度的聚合排序。單個分區日志資料商品-人達到了2億左右資料規模，通過索引、分布列等的優化基本可以滿足單表的各類查詢。
挑戰與優化：實時離線的資料存在一定GAP，在多日的周期下，差異累積放大，導緻影響業務的決策判斷，另一方面大促期間人力開發資源緊張，如果用離線資料進行覆寫，成本額外增加一倍。在此背景下，引入了流批一體的技術方案，使用Hologres進行統一存儲與計算，并且通過Blink Batch實作了實時離線共用同一套代碼，計算邏輯統一，大幅度降低了重複開發與後續運維成本。
業務收益：品/商多元度實時排行覆寫行業營運、會場營運小二，通過選品汰換在幾百家會場幫助消費者買到心儀商品，并針對挖掘出的潛力商家，及時的給予流量扶持，整體大促期間超過幾百萬商家完成動銷。
業務總結
這是實時數倉Hologres首次走進淘特的雙11大促，在大促期間，Hologers在流量洪峰的壓力下，以99.8%響應支撐力多個促銷活動的順利開展。資料同學隻需要加工最明細資料，便能通過Hologres建構靈活多元的查詢應用，整體的研發效率提升在40%以上(單場景平均5人日下降至3人日)，同時部分原本需要由線上Blink作業的資料計算，轉變為了查詢時再計算的模式，整體計算資源預計有20%左右的減少。
這是淘特在阿裡巴巴參與的第二個雙11大促，大促期間累計超過上千萬消費者在此買到心儀的商品，數百萬家商家因為淘特而變得不同，未來，淘特也将會繼續更好的服務于下沉市場，讓惠民走近千萬家。