2019 天貓雙 11 全球狂歡節96秒成交額破百億，24小時總成交額2684億，創造了交易建立峰值 54.4萬筆／秒的曆史記錄。天貓雙11，已經不僅是購物節，也是品牌成長節、消費者互動節。天貓雙11更是是商業的奧林匹克。
今年，雙11走到了第11個年頭，史無前例的，阿裡經濟體内有49支技術團隊共同參與作戰，也是第一次，雙11的核心系統将100%跑在雲上，這無疑讓今年的雙11技術作戰充滿了更大的挑戰。
正如2019年雙11技術團長平疇（湯興）說的“「善戰者，無智名，無勇功」，這是我們技術人最高的境界”。
我們一起捍衛了阿裡技術人的榮耀，一個字 “穩”！
年年雙11，回回新玩法，“在嗎，蓋樓嗎？”成為了好友聊天的日常，每天蹲守等待淘寶直播的你是否也體會到了“真香定律”？而背後支撐如此大體量使用者的淘系如何保障技術和業務的“絲般順滑”？給大家帶來今年雙11最新最快的核心技術解讀。
直播内容生态技術
今年淘寶直播已經促進了年度千億級别的成交，阿裡巴巴副總裁平疇表示“淘寶直播的内容模式，将一直引領消費的生活方式和消費重點，成為未來商業模式的主流”
2019 年雙 11 直播已成為淘寶内容生态裡程碑式的節點，其意義可對标 2015 年的淘寶無線化，所有的業務闆塊都在利用網紅主播的巨大粉絲效應來放大品牌影響力，同時利用個性化的實時互動創造了新的内容營運模式。淘寶直播作為電商生态中新媒體、新内容、新生态的典型産品，不僅是承接連結使用者和品牌的人貨場，更多的是代表一種面向未來聚焦使用者的新營運業态。
直播業務系統架構
直播體驗的關鍵在于觀看，但傳統直播在弱網下、移動場景均存在固有缺陷導緻畫質不佳、頻繁卡頓，同時傳統直播中心化的分發模式成本也難以降低，多級分發的機制更是對優化時延提出挑戰，均對使用者體驗帶來諸多不利影響。淘寶直播基于以上問題，自研了全新的音視訊實時通信引擎，去中心化設計，支援橫向級聯，實作了大規模低延時直播，時延從原先 5-7 秒降低至 1 秒内，并在弱網下有更好的表現。核心技術點包括：邊緣接入、最佳路由、下行網絡保障。
直播開放體系
直播生态存在多種參與角色，包括達人、商家、機構、平台、使用者；需要針對不同的角色來設計差異化的商業變現手段，2019 年淘寶直播全面更新開放體系，目前已支援微網誌、UC、優酷等多端通過開放體系接入淘寶直播，實作了内容在多平台随時開播的能力。
其次，直播核心是粉絲經濟，需要設計一套從新粉、鐵粉、鑽粉、摯愛會員親密度體系來提升使用者粘性，進而給主播提供更細粒度會員營銷能力。今年雙11基于淘寶直播的開放體系提供了多種靈活的營銷玩法，并打通了招商系統、權益互動體系，提供了一站式的實時使用者互動平台，賦能業務賦能商家。
智能直播商品識别
在内容 AI 領域，利用端側算法識别主播講解的商品，将直播内容結構化，進而将實時内容轉為離線的帶有商品語義的視訊切片，提升了直播在長尾分發的效果和規模，促進了使用者的進店率、購買轉化率。技術上來看，直播商品識别，本質上是一個視訊到圖像的小庫跨域實時檢索問題，從query資訊比較明顯的服飾場景切入，通過目标檢測，逐漸細化可能的query目标主體，并對主體進行檢索，主要的任務先檢測人、檢測衣服，然後檢測視訊幀主體到商品圖像檢索。目前已經實作了淘寶天貓服飾場景的全覆寫。
智能 Push 技術
面對使用者不斷差異化的購物需求，手淘不斷進行了全面更新，打造了個性化的使用者購物體驗。
依賴端智能的計算能力，我們在業界首次打造了雲/端關聯的全鍊路智能化營銷投放（Push）平台，全面支援端側實時場景化決策、使用者狀态實時感覺和商品營銷個性化投放。通過人、貨、場全方面一體化的智能化鍊路改造，提升營銷内容和通知消息的有用性和及時性，使推送更加懂你所想。
雙11當天，端側實時智能 Push 覆寫了手淘主要使用者，通過對使用者的實時個性化推送引導，相比去年雙11，大促會場的引導打開量提升了105%。通過雲端一體化的全鍊路智能營銷架構的技術創新，我們成功的幫助使用者在大促中更容易的找到自己心儀的商品，也幫助商家和平台實作了精準化和個性化的營銷，實作了使用者，商家和平台的三赢。
手淘智能Push平台
端側
建立了全域标準化使用者行為中心，使得手淘可以在第一時間感覺使用者的實時行為，并且在端上直接加工成為标準化的特征。依賴于端側機器學習推理架構，我們在端上部署了智能意圖預測系統，通過情景計算架構可以準确實時感覺使用者的場景需求和預測各種購買意圖，将這些場景需求和購買意圖輸入到端上的智能決策子產品後，由決策子產品決定是否向雲端發起對使用者的消息提醒和觸達，實作億級使用者的全域秒級精準觸達能力。
雲側
使用者全生命周期管理平台作為服務端的大腦，主要起兩個作用。首先，它會擷取使用者的各種資料和狀态，并且實時下發給端側，幫助端側進行智能決策；其次，它還會監聽端側發起的觸達請求，結合使用者的生命周期狀态，來決定觸達的方式。政策任務排程平台負責整個消息發送的觸發和排程，并且具備實時人群過濾的能力，過濾不必要的消息發送。最後的個性化算法平台，通過整合全鍊路的場景化資訊，結合使用者狀态進行個性化比對，判斷使用者目前應該推薦的最佳内容。
經過多個系統的流轉，合适的内容可以在合适的時機推送給合适的使用者，通過收集使用者的實時回報，進一步優化後續的消息内容。整體上，我們希望通過從端側到雲側的全鍊路平台化架構，能夠做到真正的場景化、智能化、個性化的推送體驗。
自适應限流技術
2019年阿裡巴巴的第11個雙11，随着業務的不斷發展，應用數量、拓撲依賴與複雜性都在持續增長；流量模型的有效預測會更加困難。系統與流量的不确定性都會導緻系統處理容量評估疏漏或評估過時（如明星官宣結婚帶來熱點流量暴漲），這些情況在雙11等大型複雜活動中上會更加突顯。
面對上述穩定性問題，諾亞(Noah) 自适應限流系統采用不同于業界傳統的針對 QPS 限制的靜态限流方法，首次以自動控制算法為核心手段，提供自适應限流方案，解決了限流過時的痛點，大幅提升應用抵抗流量沖擊的能力，極度簡化了限流配置工作，同時在系統資源使用率、使用者體驗、運維效率等方面均有大幅優化效果。
諾亞(Noah)
諾亞目前已上線超過9個月，已有大量容器規模部署運作了諾亞。線上上實戰和全鍊路壓測中，諾亞保護了大促會場、直播、導購等等核心業務場景；應用在出現容量缺失30%或近20倍大流量脈沖不預期場景下保持穩定運作。
諾亞(Noah)自适應限流的資料效果：
- 壓垮 QPS 上限最高可提升 20 倍于業務負載流量；
- 在負載壓力減少後1秒快速恢複服務，大流量下僅需直接擴容機器一步即可；
- 對于使用者體驗的優化，應用在負載情況下，服務成功率最高可提升 2.7 倍，同時響應時間維持正常水準不劣化；
- 對于成本的優化，資源使用率最高可提升 100%（去除為了穩定性/不确定性而留的資源備援）；
- 對于應用穩定性運維效率的優化，應用過載時直接擴容即可、使全鍊路壓測更順暢，無需人工設定，避免人工評估錯誤導緻系統被壓垮後需要大量調整時間。
諾亞(Noah)在雙11大促過程中，保障大量業務應用系統，提升穩定性、提升資源使用率、優化體驗與效率，提升淘系(及更多BU)的穩定性底盤，成為應用穩定性保障的核心能力，推動了業界在大型分布式線上業務系統的高可用/穩定性保障的進展。
自适應限流控制效果：在流量飙升/大流量壓力時，CPU穩定控制在門檻值，且服務RT正常
諾亞(Noah)的後續發展：
-
自适應能力由限流拓展到隔離/熔斷等更多穩定性能力上。
如自适應線程資源隔離、自适應服務比例、自适應服務熔斷等等。
-
由單機的自适應限流拓展到鍊路級，尤其是用戶端流量入口接入層。
與接入層協同，可以讓接入層通過的流量即應用收到流量 與 應用的處理容量 自适應比對，确定性地保障應用穩定性。
-
自适應控制處理流量拓展到自适應伸縮容，即流量控制與處理資源控制/伸縮容協同。
無論是流量的控制還是資源的控制，都是為了讓處理容量與資源容量比對，保證系統不過載穩定性與業務請求的成功率。
技術君說：
每一年的雙11，零點交易的數字都在不斷提升，而淘系技術的突破和創新遠不止與此，我們将持續以技術驅動産品和商業創新。
2020，我們精彩繼續！
關注「淘系技術」微信公衆号，擷取更多技術幹貨！