天天看點

雲原生實時數倉首次在2020雙11核心資料場景落地

剛剛結束的2020天貓雙11又創下兩項新記錄:交易額4982億,訂單建立峰值每秒58.3萬筆。

這是史上資料量、計算量最大的一年,是實時處理要求最高、與機器智能結合性最強的一次雙11,也是全球最大規模的一次雲原生實踐。

背後作為資料核心支撐的大資料平台更是創下新的世界紀錄。

2020雙11的交易中,阿裡雲大資料平台完成雲原生史上最大規模的大資料算力和實時處理能力。MaxCompute 批處理單日計算資料量達1.7EB,相當于為全球77億人每人存儲230張1080P高清照片;實時計算Flink峰值40億條/秒,約合7TB/秒,相當于一秒處理500萬本新華字典的資訊量;MaxCompute 互動式分析(下稱Hologres)峰值實時寫入5.96億條記錄/秒。

此外,雲原生實時數倉首次在2020雙11核心資料場景落地。Flink+Hologres實作商業全鍊路實時化,毫秒級海量資料處理能力,為商家和消費者帶來了更加智能的消費體驗。菜鳥提升物流包裹流轉效率,整體資料鍊路從小時級同步直接優化到3分鐘;餓了麼提升單個商圈的獲客效率,商圈Leads密度提升50%以上;CCO客服作息智能調配業務接入應用效率提升,平均等待時間降低;供應鍊平台供應商入駐效率提升,平均耗時下降78%,駁回率下降55%……

MaxCompute 是面向分析的安全可靠的大資料計算服務,它以Serverless架構提供快速、全托管的線上數倉服務,是阿裡經濟體資料中台的計算核心和阿裡雲大資料的基礎服務。MaxCompute基于動态資源彈性和統一排程能力,支援阿裡經濟體混部,并從實體機和神龍執行個體更新到安全容器,擁抱雲原生和統一排程的整體能力。

MaxCompute 5年來持續重新整理TPCx-BigBench世界記錄,今年10月 TPC 官網最新釋出 100TB規模達到26000+QPM。

Flink從2015年承載搜尋和推薦實時化開始,已經覆寫阿裡經濟體絕大多數實時計算需求,擁有全球領先的實時計算規模。在流批一體的設計理念下,Flink自研了全新的流批SQL統一處理架構、智能優化服務Autopilot和新一代狀态存儲Gemini,大大提升使用者的業務開發和支援效率。在阿裡的海量場景打磨之下,Flink開源社群已連續兩年榮膺Apache開源軟體基金會最活躍項目的稱号。

Hologres是自研的分布式實時資料倉庫引擎,曆經多次雙11技術曆練。它支援PB級資料互動式分析場景,面向高吞吐寫入高度優化,支援資料實時寫入、實時更新、實時查詢的全鍊路實時化能力,在一個引擎中同時支援了複雜多元分析和高性能服務查詢兩個場景,是分析服務一體化的最佳行業實踐。Hologres技術創新發表在資料庫界全球頂級學術會議VLDB 2020。

據稱,阿裡雲大資料平台不僅穩定支撐阿裡經濟體的資料計算業務,經過雙11大規模場景驗證之後,更是雲上客戶大資料平台的重要組成部分,涵蓋網際網路、金融、交通、IOT、新零售等領域的龍頭企業。

點此檢視更多
雲原生實時數倉首次在2020雙11核心資料場景落地

通路2020阿裡巴巴雙11技術全觀專題: https://developer.aliyun.com/topic/1111techs/2020 了解更多關于2020雙11的技術幹貨内容

繼續閱讀