天天看點

讓你的QuickBI報表快起來: 使用DLA Presto來無縫加速原理加速效果實施步驟優惠活動

Quick BI是專為雲上使用者量身打造的新一代智能BI服務平台, 提供海量資料實時線上分析服務,支援拖拽式操作、提供了豐富的可視化效果。QuickBI提供了通過DLA加速MaxCompute查詢的功能,當報表基于MaxCompute 資料源建立時,您可以在Quick BI上配置DLA加速引擎,通過DLA Presto為MaxCompute 資料源加速,進而節約報表的查詢時間,提升使用者體驗。

關于加速的效果,我們專門針對TPCH資料集做了測試,TPCH一共22條SQL中,查詢的特征是偏IO密集型的SQL(17條)都有加速效果,加速效果從最小的1.x倍,到最大的8.x倍,比如提升倍數最大的Q12 111.6s -> 13s,大大提高了體驗。

為了友善大家體驗這個加速功能,咱們在文章末尾準備了一個免費試用的活動,歡迎大家試用。

原理

開啟查詢加速後,QuickBI會在DLA中建立MaxCompute的表,當使用者檢視報表時,QuickBI會同時向MaxCompute和DLA發起查詢,如果DLA先傳回結果,就會使用DLA的查詢結果,進而達到查詢加速的效果。

在DLA中會對MaxCompute的資料、分區等資訊進行緩存。如果一個查詢依賴的資料存在于緩存中且緩存有效(MaxCompute中沒有進行過更新操作,是以MaxCompute中的資料和緩存一緻),則直接讀取緩存的資料,否則從MaxCompute讀取資料。這樣DLA總是能傳回最新的資料,并且在對MaxCompute中同樣的資料進行多次查詢時,會起到加速的效果。

DLA對MaxCompute的查詢加速不僅限于來自QuickBI的查詢,直接通過DLA查詢MaxCompute資料源也可以享受到查詢加速的效果。

加速效果

我們通過一個測試來驗證DLA查詢加速的效果。

資料源:向MaxCompute導入TPCH-100GB的資料。最大的兩個表 lineitem 6億行左右。orders 1.5億行。lineitem表按照l_shipdate分區,分區數2000+,orders表按照o_orderdate分區,分區數2000+。其他表仍然不分區。

測試SQL:TPCH的22條SQL(其中Q20 ODPS報錯跑不出來)。

測試方法:分别在MaxCompute中直接執行SQL,和通過DLA64核256GB的CU執行SQL,比較延時。

測試結果:

DLA中有加速效果的查詢如下:

讓你的QuickBI報表快起來: 使用DLA Presto來無縫加速原理加速效果實施步驟優惠活動

這張圖的縱軸是查詢的運作時間,機關是毫秒,橫軸是所有運作的查詢。可以看出TPCH一共22條SQL中,絕大部分有加速的效果,這些查詢的特征是偏IO密集型的,加速效果從最小的1.x倍,到最大的8.x倍,比如提升倍數最大的Q12 111.6s -> 13s,大大提高了體驗。

實施步驟

步驟1 開通Presto CU

DLA隻在CU版提供了Maxcompute查詢加速功能。是以,如果您沒有開通Presto CU,需要參考

開通CU文檔

進行開通。

注意:

• DLA Presto與需要加速MaxCompute項目要在同一地域。

• 推薦規格64核256 GB及以上版本。

步驟2 配置加速引擎

在Quick BI配置加速引擎,具體操作請參見

配置加速引擎

說明 在配置加速引擎之前,需要将IP位址10.152.69.0/24,10.152.163.0/24,139.224.4.0/24加入到DLA的白名單。否則,Quick BI無法成功連接配接DLA,起不到加速查詢的效果。

優惠活動

針對QuickBI加速的場景,DLA這邊推出了64C免費試用一周的活動,消除您試用的後顧之憂,優惠的開通可以直接找相關對接的阿裡雲對接的同學,或者直接加入我們的釘釘群進行咨詢:

讓你的QuickBI報表快起來: 使用DLA Presto來無縫加速原理加速效果實施步驟優惠活動