天天看點

來了,2行代碼秒級查詢MaxCompute!

看了 《在嗎?0代碼加速查詢MaxCompute請查收!》

的朋友們紛紛表示按照文章操作,能夠快速查詢到MaxCompute中的資料,同時還不需要寫建表代碼,簡單又實用。但是呢,随之而來就會有個問題,業務資料量太大時,直接查詢響應也會有點遲緩,依賴HoloStudio的導入查詢具體怎麼操作?今天小編就來為大家講解,如何使用HoloStudio用最少的代碼導入查詢MaxCompute資料,實作秒級互動式響應!(小Tips:直接查詢資料仍然存在MaxCompute中,導入查詢資料最終存在互動式分析中)

往期精彩傳送門:

HoloStudio介紹:

《互動式分析六脈神劍》之Dataworks-HoloStudio初體驗 DataWorks資料服務: 互動式分析加速查詢MaxCompute封裝API的最佳實踐 DataWorks排程: 什麼?你還不會使用DataWorks排程? 操作步驟

1.準備MaxCompute資料表

準備一張MaxCompute表,本示例直接采用資料地圖中的一張表,資料條數約為7600萬條

來了,2行代碼秒級查詢MaxCompute!

2.HoloStudio建立外部表

在HoloStudio中建立一張外部表,用于做MaxCompute表字段的一一映射。在HoloStudio中選擇PG管理--外部表,一鍵建立外部表。因為是将整張表資料導入進互動式分析,是以字段全部映射(可根據項目情況選擇部分字段映射)

來了,2行代碼秒級查詢MaxCompute!

若是直接外部表的話,查詢20萬條資料用時2.5秒

來了,2行代碼秒級查詢MaxCompute!

3.HoloStudio建立真實存儲表

在HoloStudio中建立一張真實存儲表,用于真正接受資料。建立内部表的字段需要一一對應。最簡單的建表操作就是複制外部表的建表語句,再修改成對應内部表即可,不需要自己再寫建表sql,輕輕松松完成建内部表。

來了,2行代碼秒級查詢MaxCompute!

3.導入資料

将資料從MaxCompute中導入至互動式分析中,可以選擇部分字段資料導入,也可以選擇全部資料導入。若資料量太大,使用SQL Console會報50秒逾時的錯誤,這是DataWorks本身的限制,請使用HoloStudio的終端進行資料導入。示例導入全部資料SQL如下,隻需要1行代碼即可:

INSERT INTO holo_lineitem92
SELECT * FROM  odps_lineitem92;           

導入7600萬條資料用時15秒

來了,2行代碼秒級查詢MaxCompute!

4.查詢資料

資料導入完成之後,可以直接查詢資料,示例,同樣查詢20萬條資料,用時4毫秒傳回。(1行代碼)

SELECT * from holo_lineitem92 LIMIT 200000;           
來了,2行代碼秒級查詢MaxCompute!

結論:通過以上操作步驟,相信大家也都學會了如何在HoloStudio中用最少的代碼将MaxCompute中的資料導入查詢,具體的操作步驟,大家也可以參考官網文檔:

離線資料導入分析

通過兩次HoloStudio的查詢MaxCompute資料示範,相信大家也能更加直覺體會到兩種查詢方式的差別:小資料量使用直接查詢也可以直接擷取結果,但是大資料量更建議大家導入查詢,查詢性能在同等資源條件下也會更優。

同時,使用HoloStudio,能讓你用最少的代碼,最快的查詢MaxCompute中的資料,既解放了雙手,又實作了資料的秒級互動響應,兩全其美啊!

若大家對互動式分析有任何疑問,歡迎大家進群咨詢哦

來了,2行代碼秒級查詢MaxCompute!
https://yq.aliyun.com/users/ejj7vymfxj332 https://yq.aliyun.com/users/ejj7vymfxj332 https://yq.aliyun.com/users/ejj7vymfxj332