天天看點

大家都是成年人了,表白請直接點!

上周小編釋出的 《在嗎?0代碼加速查詢MaxCompute請查收》 ,主要是提供如何使用HoloStudio快速查詢MaxCompute資料的操作步驟,沒想到收獲了無數朋友們愛的表白,紛紛表示,互動式分析的出現解決了離線資料處理的一大心病,甚至有的朋友開始自發寫使用文章,(大家都是成年人了,表白請直接點!)。本文内容節選自阿裡集團某業務部門的ATA文章(已獲得作者本人的同意),部分内容有修改。

1.加速方案對比

MaxCompute作為離線大資料的存儲引擎,承載了阿裡集團海量資料的存儲服務。但由于其架構原因,讀資料的速度較慢,不滿足業務場景的ad-hoc查詢。目前常用的加速方案是使用其他資料庫來将MaxCompute資料加速查詢,例如MySQL、MongoDB、HiStore、RDS、Postgre For MySQL、ElasticSearch等。不同的資料庫支援的業務場景如下:

資料庫 資料庫類型 可支援資料量 讀取速度 說明
MySQL 關系型資料庫 單表500萬 實時 大批量資料可分庫分表
AnalyticDB for PostgreSQL 分析型資料庫 千億級 近實時 OLAP
HybridDB for MySQL OLAP+OLTP
AnalyticDB for MySQL 百億級 OLTP
MongoDB NoSQL資料庫 No Schema文檔型存儲 + 搜尋
HBase 萬億級 列存儲
ElasticSearch 搜尋引擎
Seahawks MaxCompute加速方案 基于Hash Clustering + PostgreSQL,Seahawks可以繞過MaxCompute耗時的排程,進而達到加速讀取的目的。FBI主要的加速方案。
互動式分析 互動式查詢分析引擎 與MaxCompute資料直接打通,支援秒級查詢;相容PostgreSQL,無縫對接BI工具

2.HoloStudio介紹

HoloStudio是基于互動式分析的一站式開發平台,深度內建于DataWorks上,可使用HoloStudio進行UI一鍵建表快速查詢MaxCompute資料,同時也支援以标準的SQL語句進行開發,還能對接DataWorks的資料開發、資料服務等功能,實作資料從收集--查詢--可視化分析的一站式操作流程,節約大量中間轉化時間!

關于HoloStudio介紹,可以參加往期:

互動式分析六脈神劍》之Dataworks-HoloStudio初體驗

也可以參考官網文檔進行操作學習:

基于HoloStuido的開發

3.HoloStudio查詢MaxCompute

1.建立資料源

登入DataWorks,在資料地圖中準備一張MaxCompute表或者建立ODPS SQL寫入一張表并導入資料。

大家都是成年人了,表白請直接點!

2.建立外部表

HoloStudio中建立外部表,這一步相當于在互動式分析裡給原始的MaxCompute表加上了一層字段映射,并通過底層資源的打通,達到秒級響應。(一次query的資料量在100GB以下可以建外部表直接查詢MaxCompute,超過100GB以上MaxCompute資料建議導入互動式分析再查詢)。

這裡以某張MaxCompute表為例,表的資料總共103GB,單分區1500萬行資料左右。

說明:能查詢這個MaxCompute表的前提是目前賬号有這張表的通路權限
大家都是成年人了,表白請直接點!

勾選需要加速查詢的字段後,送出表就完成了。

接下來測試一下查詢性能,在左側資料開發Tab下建立開發腳本如下:

從1500萬行資料裡,按照使用者id聚合,取前10個大使用者,大概耗時16秒。

大家都是成年人了,表白請直接點!

3 建立資料服務

經過HoloStudio查詢的資料,可以直接對接DataWorks的資料服務,生成API。

1.進入DataWorks資料內建--資料源管理--新增資料源,選擇PostgreSQL資料源,并填寫連接配接資訊

大家都是成年人了,表白請直接點!
說明:目前配置頁面為集團内環境,公共雲使用者請參考 DataWorks資料服務 進行資料源配置

2.完成資料源配置後,在資料服務頁面建立資料服務。由于向導模式暫時不完善,這裡建議選擇“腳本模式”。建議選擇腳本模式進行資料源便編寫。

大家都是成年人了,表白請直接點!

3.儲存腳本,單擊測試進行查詢性能測試。

測試API可以使用,調用耗時25秒。

大家都是成年人了,表白請直接點!

4測試完成之後,可将API進行釋出。釋出之後就可以使用API查詢資料了。

大家都是成年人了,表白請直接點!

本文隻是節選部分操作步驟,具體生成API的操作步驟,大家可以參考往期内容:

互動式分析加速查詢MaxCompute封裝API的最佳實踐

收到小夥伴的使用回報,小編表示今晚可以加個雞腿了!當然,類似的文章還有很多,小編隻是節選部分内容,沒選中的小夥伴别傷心,後面小編一定宣你!同時,也歡迎各位小夥伴寫回報文章給小編,到時候會有福利相送哦!(大家都是成年人了,表白請直接點)

若您在使用産品過程中有任何問題,歡迎進群開怼!

大家都是成年人了,表白請直接點!