天天看點

阿裡雲資料庫資深專家林偉:大規模計算平台研究與實戰

<b>議題名稱</b>:《大規模計算平台研究與實戰》

<b>議題簡介</b>:maxcompute是由阿裡雲自主研發,是阿裡巴巴自主研發的海量資料處理平台。能夠在多個單機群達萬台跨叢集的計算平台上提供針對tb/pb/eb級資料分布式處理能力,應用于資料分析、挖掘、商業智能等領域。提供海量資料倉庫的解決方案以及針對大資料的分析模組化服務。支援阿裡巴巴和螞蟻金服絕大多數計算分析任務。本次演講向大家介紹maxcompute中的在面對超大規模的活動中如何滿足阿裡巴巴上萬使用者不同計算任務在延時,性能,規模上不同需求并在全局做到低成本,高性能,高彈性,高可用。 同時如何能夠在保證高可用的計算服務和使用者資料的安全性下能夠持續釋出改進計算平台。

<b>演講要點: </b>

伏羲資源排程和多租戶管理 

分布式場景中的查詢優化 

基于曆史資料的優化 

跨叢集計算使得計算突破單機群限制 

大規模計算平台如何進行持續改進和釋出  

<b>關于分享者</b>

林偉,阿裡雲資料庫資深專家林偉,阿裡雲大資料計算平台maxcompute首席架構師。該系統目前支撐了阿裡巴巴、螞蟻金服叢集絕大多數計算任務。具有大規模并發系統有10年以上的系統架構設計及研發經驗,并在國際一流odsi、nsdi、sigmod會議上多次發表論文。