前言
2018年3月13日,Forrester釋出了最新的雲化資料倉庫分析報告( Now Tech: Cloud Data Warehouse, Q1 2018),阿裡巴巴同亞馬遜,谷歌,微軟四個世界級雲廠商共同進入領先者陣營。同時今年二月份Gartner釋出的分析型資料管理平台報告中( Magic Quadrant for Data Management Solutions for Analytics),阿裡巴巴第一次參評即進入魔力四象限。這展現了阿裡巴巴多年來在打造 DT商業過程中的大量資料分析技術積累。阿裡巴巴的整套資料分析平台基于阿裡飛天分布式系統打造,其核心的産品包括大資料計算服務MaxCompute 和分析型資料庫AnalyticDB,以及數加DataWorks 等。其中AnalyticDB作為分布式分析型資料庫,更是承載了将資料探索實時化,線上化的關鍵任務。
AnalyticDB早期出身于阿裡巴巴集團内部為資料分析業務打造的線上分析系統,無論是淘寶天貓的廣告營銷平台,還是螞蟻金服的風控、征信等業務,AnalyticDB産品的使命就是将資料價值探索做到實時線上化,提供大并發下的毫秒級分析查詢響應。當面對具備上千個标簽屬性的消費人群和千億級别的交易記錄,資料分析師在做市場趨勢分析,業務研判和廣告投放時,需要在PB級資料上依據不斷變化的業務模型做分析探索,對業務發展方向進行決策。如何以極低的成本和毫秒級的響應時延支援資料探索,釋放海量資料的商業價值,就是這些年來AnalyticDB産品不斷演進的方向。
AnalyticDB資料庫建構的最初理念就是以低成本提供極緻性能的資料分析探索能力。傳統企業BI分析,資料往往先經過離線的ETL批處理過程,之後再基于固定的業務模型,以多元報表形式做分析結果展現。這種模式下,資料分析的實時性,業務發展的靈活性受到制約,資料價值的釋放和資料分析師的工作受到限制。AnalyticDB基于傳統MPP資料庫架構,支援高擴充采用流水線的計算模式,同時創新的引入多項黑科技,支撐海量資料的高性能線上實時分析。

新硬體加速 利用阿裡雲IaaS層的垂直整合優勢,全面引入SSD卡存儲,較傳統磁盤存儲 I/O帶寬提升10倍以上。AnalyticDB今年即将上線的GPU加速特性,将資料分析裡的計算密集型操作解除安裝到GPU,利用GPU高并行計算能力,提升複雜資料計算的性能。已經在廣告等資料探索類業務上驗證,性能平均提升5倍以上。

曦和分析計算引擎 AnalyticDB 在17年全面更新為新一代曦和分布式計算引擎,整體采用MPP架構,支援DAG計算模型,節點内引入LLVM等運作時代碼編譯優化技術,性能提升一倍以上。資料分析任務在曦和計算引擎内被打散成小顆粒的計算單元,引擎内置分時輪詢的計算排程機制,可以保證高并發下作業任務的穩定運作。

智能存儲索引 AnalyticDB支援創新的是行列混存,同時針對不同的資料類型在資料加載寫入時,智能的建構多種次元索引,包括B+索引、區間索引、反向索引、位圖索引等,并對傳統索引算法進行創新,引入動态過濾、延遲物化等方式,極大的降低I/O,實作高性能的點或範圍的檢索,支援萬億級記錄關聯分析。

讀寫分離架構 在各類生産營運系統裡,随着移動端應用以及物聯網的興起,高性能的寫入成為分析類系統的強需求。AnalyticDB整體采用讀寫分離架構,除支援大批量資料加載外,也支援每秒千萬條記錄的寫入,寫入成功即持久化儲存在盤古分布式檔案系統裡,根據使用者配置支援不同的資料一緻性級别。
AnalyticDB 建構在阿裡雲飛天分布式系統之上,接入層、計算層、存儲層解耦,各層可獨立伸縮。同時所有的服務節點均采用無狀态化(Serverless)設計,所有節點均為多活(Active-Active)模式或主備(Primary-Standby)模式,相較于傳統資料庫的緊耦合架構,其擴容、更新等運維操作往往需要停機幾個小時或者天,AnalyticDB支援線上擴容(Online scale out)和滾動更新(Rolling upgrade),過程對客戶業務無感覺,進而更好的支援阿裡雲上客戶業務的不斷發展,按需購買服務,當業務迅速擴充時,靈活靈活的進行AnalyticDB擴縮容操作。AnalyticDB 的各元件均為無狀态化設計(Serverless),當發生任何軟、硬體故障時,飛天的伏羲排程系統會自動檢測和遷移故障節點,整個過程對應用透明無感覺。
AnalyticDB的資料存儲在阿裡巴巴自研的盤古分布式檔案系統上,支援多副本或糾錯碼(Erasure Code)模式存儲資料,相較于傳統資料庫基于本地磁盤的存儲,具備更高的資料可靠性。17年盤古分布式檔案系統全面更新,上線25GE網絡和新的SSD存儲媒體,面向資料分析類場景,提供了更高的資料吞吐能力。
AnalyticDB 已經在阿裡雲國内主要資料中心開通,包括華北2(北京)、華東1(上海)和華東2(杭州)區等,服務支撐的客戶即包括衆多網際網路創業公司,如小黃車ofo等,也在支撐很多大型企業的數字化建設,例如中國郵政等等。在今年3月28日的深圳雲栖大會上,AnalyticDB産品釋出了兩個重要消息:

各類型執行個體将在四月份平均降價50%,普惠廣大阿裡雲的資料分析使用者,通過線上化資料分析,最大釋放資料價值;

四月份将在阿裡雲華南區(深圳)開通AnalyticDB服務,便于華南客戶可以更便捷的應用該服務。