實時計算案例:阿裡巴巴雙11大屏

挑戰

2018 年 11 月12 日零點 , 天貓雙 11 大屏顯示全球狂歡節全天成交額 2135 億元, 再創紀錄新高 , 同時物流訂單量 也超過 10 億。每年的雙 11 于阿裡而言都是一次資料大考，天貓雙 11 大屏更是萬衆矚目，全球大資料洩洪般湧 入，對資料處理系統提出了極高的要求:低延遲，GMV 首屏顯數控制 5s 以内;高并發，實時日志處理峰值每秒 17 億條(約合每秒 1.7 TB);高穩定，全球直播，不能間斷。阿裡雲實時計算面臨着各項性能極高要求的巨大挑 戰，在這種場景下阿裡雲實時計算迎難而上，給出了完美的答卷。

解決方案

2018 年的天貓雙 11 大屏在實時資料處理上完全采用了實時計算作為計算引擎。首先，雙 11 場景資料來源多樣 化，例如:TT，SLS 等，實時計算支援多方輸入與輸出并支援多條資料流的對接，能夠友善快捷地連接配接計算場 景。其次，實時計算作為批流統一的大資料計算引擎，既能支援流計算也能支援批計算;實時計算的批計算能力 能幫助業務大幅減少資料的 IO，提高計算速度與效率。再次，在準确性上，實時計算的 Exactly-once 特性與背 壓政策保證了資料的計算速度，保證資料不重複不丢失;同時在穩定性上，實時計算的監控以及 Failover 加快照 點機制保障，失敗資料必須全部從快照點處重新計算，保障了資料的準确性。最後，實時計算還支援曆史資料回 刷保障了資料容災，利用資料回刷能力進行大量壓測驗證儲存 30 天的訂單資料能夠在 10 分鐘内全部計算完 成。

業務優勢

2018 年雙 11，阿裡巴巴集團數十個 BU 都采用實時計算解決其流計算、實時資料分析與統計等問題。實時計算 的強大 Flink SQL 使雙 11 各項業務整體性能提升 1 倍多，大約節省幾千台機器成本。實時計算對天貓雙 11 海量 成交資料的實時分析不僅成功應用在大屏展示中，還為商家實時檢視背景資料提供支援，確定了雙 11 大屏展示 各項奇迹的同時也為商家，小二提供包括成交，會員，種草，好友，消息等多種業務實時資料，并能夠根據業務 場景設立實時的排行，促進線下場景中導購的積極度，為雙 11 的實時交易額創造新的增量。

客戶評價

實時計算在資料處理上，依靠增量模型，微批處理，分布式計算，性能優化等從上到下減少了計算資料，提升 了計算能力也保證了秒級資料實時算力。在準确性上，實時計算依靠增量模型，狀态管理，容災恢複，強大的 調試工具保證了資料計算的準确性。在穩定上，實時計算通過增量模型，熱點解決，背壓調整，容災恢複，各 種性能優化保證天貓雙 11 大屏資料鍊路的穩定性，完美應對了天貓雙 11 大屏的各項挑戰。

實時計算 Flink 版産品交流群

阿裡雲實時計算Flink - 解決方案： https://developer.aliyun.com/article/765097 阿裡雲實時計算Flink - 場景案例： https://ververica.cn/corporate-practice 阿裡雲實時計算Flink - 産品詳情頁： https://www.aliyun.com/product/bigdata/product/sc