上周小編釋出的 《在嗎?0代碼加速查詢MaxCompute請查收》 ,主要是提供如何使用HoloStudio快速查詢MaxCompute資料的操作步驟,沒想到收獲了無數朋友們愛的表白,紛紛表示,互動式分析的出現解決了離線資料處理的一大心病,甚至有的朋友開始自發寫使用文章,(大家都是成年人了,表白請直接點!)。本文内容節選自阿裡集團某業務部門的ATA文章(已獲得作者本人的同意),部分内容有修改。
1.加速方案對比
MaxCompute作為離線大資料的存儲引擎,承載了阿裡集團海量資料的存儲服務。但由于其架構原因,讀資料的速度較慢,不滿足業務場景的ad-hoc查詢。目前常用的加速方案是使用其他資料庫來将MaxCompute資料加速查詢,例如MySQL、MongoDB、HiStore、RDS、Postgre For MySQL、ElasticSearch等。不同的資料庫支援的業務場景如下:
資料庫 | 資料庫類型 | 可支援資料量 | 讀取速度 | 說明 |
---|---|---|---|---|
MySQL | 關系型資料庫 | 單表500萬 | 實時 | 大批量資料可分庫分表 |
AnalyticDB for PostgreSQL | 分析型資料庫 | 千億級 | 近實時 | OLAP |
HybridDB for MySQL | OLAP+OLTP | |||
AnalyticDB for MySQL | 百億級 | OLTP | ||
MongoDB | NoSQL資料庫 | No Schema文檔型存儲 + 搜尋 | ||
HBase | 萬億級 | 列存儲 | ||
ElasticSearch | 搜尋引擎 | |||
Seahawks | MaxCompute加速方案 | 基于Hash Clustering + PostgreSQL,Seahawks可以繞過MaxCompute耗時的排程,進而達到加速讀取的目的。FBI主要的加速方案。 | ||
互動式分析 | 互動式查詢分析引擎 | 與MaxCompute資料直接打通,支援秒級查詢;相容PostgreSQL,無縫對接BI工具 |
2.HoloStudio介紹
HoloStudio是基于互動式分析的一站式開發平台,深度內建于DataWorks上,可使用HoloStudio進行UI一鍵建表快速查詢MaxCompute資料,同時也支援以标準的SQL語句進行開發,還能對接DataWorks的資料開發、資料服務等功能,實作資料從收集--查詢--可視化分析的一站式操作流程,節約大量中間轉化時間!
關于HoloStudio介紹,可以參加往期:
互動式分析六脈神劍》之Dataworks-HoloStudio初體驗也可以參考官網文檔進行操作學習:
基于HoloStuido的開發3.HoloStudio查詢MaxCompute
1.建立資料源
登入DataWorks,在資料地圖中準備一張MaxCompute表或者建立ODPS SQL寫入一張表并導入資料。

2.建立外部表
HoloStudio中建立外部表,這一步相當于在互動式分析裡給原始的MaxCompute表加上了一層字段映射,并通過底層資源的打通,達到秒級響應。(一次query的資料量在100GB以下可以建外部表直接查詢MaxCompute,超過100GB以上MaxCompute資料建議導入互動式分析再查詢)。
這裡以某張MaxCompute表為例,表的資料總共103GB,單分區1500萬行資料左右。
說明:能查詢這個MaxCompute表的前提是目前賬号有這張表的通路權限

勾選需要加速查詢的字段後,送出表就完成了。
接下來測試一下查詢性能,在左側資料開發Tab下建立開發腳本如下:
從1500萬行資料裡,按照使用者id聚合,取前10個大使用者,大概耗時16秒。

3 建立資料服務
經過HoloStudio查詢的資料,可以直接對接DataWorks的資料服務,生成API。
1.進入DataWorks資料內建--資料源管理--新增資料源,選擇PostgreSQL資料源,并填寫連接配接資訊

說明:目前配置頁面為集團内環境,公共雲使用者請參考 DataWorks資料服務 進行資料源配置
2.完成資料源配置後,在資料服務頁面建立資料服務。由于向導模式暫時不完善,這裡建議選擇“腳本模式”。建議選擇腳本模式進行資料源便編寫。

3.儲存腳本,單擊測試進行查詢性能測試。
測試API可以使用,調用耗時25秒。

4測試完成之後,可将API進行釋出。釋出之後就可以使用API查詢資料了。

本文隻是節選部分操作步驟,具體生成API的操作步驟,大家可以參考往期内容:
互動式分析加速查詢MaxCompute封裝API的最佳實踐收到小夥伴的使用回報,小編表示今晚可以加個雞腿了!當然,類似的文章還有很多,小編隻是節選部分内容,沒選中的小夥伴别傷心,後面小編一定宣你!同時,也歡迎各位小夥伴寫回報文章給小編,到時候會有福利相送哦!(大家都是成年人了,表白請直接點)
若您在使用産品過程中有任何問題,歡迎進群開怼!