天天看點

一文教你如何用阿裡雲DLA搞定“一鍵建倉”

DLA很早之前就支援了對關系型資料庫的查詢,但是一直以來使用者會有一個擔心:

直接分析RDS裡面的資料會不會影響線上業務。

這個擔心很合理,除非你要查詢的RDS是專門用來做背景資料分析使用的,否則直接大規模分析确實可能會造成資料庫性能下降,影響前台業務。對于這個擔憂我們做過一些改進的措施,比如

提供hint讓使用者可以手動指定底層查詢并發度

, 但是不是最理想的方案。

是以我們現在推出了一個極緻方案: 每天自動、無縫地幫您把RDS裡面的資料同步到OSS上面,并建立好相應的表結構 -- 跟RDS裡面一樣的表結構,讓你可以基于OSS的資料進行無憂無慮的分析,這個功能我們稱之為一鍵建倉。

一鍵建倉

首先打開DLA的

Schema管理頁面

,這裡顯示了您所有的資料庫。

一文教你如何用阿裡雲DLA搞定“一鍵建倉”

點選“建立Schema”按鈕進入建庫向導選擇頁面,選擇其中的“一鍵建倉”,點選“使用向導建立”

一文教你如何用阿裡雲DLA搞定“一鍵建倉”

因為一鍵建倉其實是在打通你的RDS資料和OSS資料,是以我們需要您的RDS和OSS授權:

一文教你如何用阿裡雲DLA搞定“一鍵建倉”

授予好權限之後點選下一步進入一鍵建倉配置的首頁面:

一文教你如何用阿裡雲DLA搞定“一鍵建倉”

這個頁面的左邊列出了你所有的RDS,這是我們要建倉的資料來源,選擇其中您要建倉的RDS,右邊的伺服器名,端口會自動填上,然後您需要填上使用者名,密碼,以及要同步的RDS的庫名。

照道理說這個RDS的庫名應該提供一個下拉框直接選就好了,不過目前由于一些限制暫時隻能手動輸入。

RDS資訊填寫完畢之後可以點選“測試連接配接”驗證一下填寫是否正确。

一文教你如何用阿裡雲DLA搞定“一鍵建倉”

資料來源搞定之後,下一步我們要填寫“建倉配置”,這一塊是我們數倉相關的配置,在DLA的場景下主要是OSS相關的一些配置, 主要有三個:

  1. Schema: 這份資料在DLA裡面建立一個什麼名字的Schema
  2. 資料位置: 這份資料放在您的哪個bucket的哪個路徑下
  3. 同步時間: 每天幾點幫您定時同步RDS的最新資料到OSS上面

這裡同步時間要注意下,應該選擇半夜業務低谷的時候進行同步,避免影響線上業務。另外選擇資料位置的時候我們會對您賦予DLA的OSS操作權限進行校驗,如果沒有賦予足夠的權限,我們會做提示:

一文教你如何用阿裡雲DLA搞定“一鍵建倉”

一鍵建倉需要使用者授予DLA對于所選擇的路徑有删除權限,因為我們每天會同步最新的資料到OSS上來,這裡就涉及到要删除老資料的操作,關于如果賦予DLA OSS删除權限的詳情可以參見這篇文章:

如何授權OSS删除權限給DLA。
為什麼前面已經進行了OSS授權,這裡又來檢查一遍OSS權限?

上一步授權的隻是OSS隻讀權限,因為OSS删除權限茲事體大,是以沒有在預設的權限裡面,需要使用者單獨手動授權。

所有輸入框有輸入完畢之後點選“建立”就完成了建立操作,然後我們可以去Schema清單去檢視我們通過一鍵建倉建立出來的這個新的Schema:

一文教你如何用阿裡雲DLA搞定“一鍵建倉”

點選“詳細資訊”進入這個Schema的詳情頁面,可以看出跟普通的Schema不一樣,這個Schema的詳情裡面多了一個“配置”的頁籤,這個頁籤裡面有一鍵建倉的詳細配置。

一文教你如何用阿裡雲DLA搞定“一鍵建倉”

如果有修改一鍵建倉配置可以點選更新。比較有意思的是這個“立即同步”的按鈕,一鍵建倉建立好了之後,我們隻是建立了一個空的資料庫,沒有馬上進行同步,而是要等使用者設定的時間才運作,以免影響線上業務。如果使用者判斷對線上影響不大,想立馬把資料同步過來以進行分析,那麼可以點選“立即同步”的按鈕。點選之後可以去“監控中心”的“任務清單”檢視正在運作的一鍵建倉任務:

一文教你如何用阿裡雲DLA搞定“一鍵建倉”

這裡可以看到執行的任務的類型,名稱,狀态,點選詳情可以看到JSON格式的更詳細的狀态資訊:哪些表正在同步,哪些表已經同步完成:

一文教你如何用阿裡雲DLA搞定“一鍵建倉”

等這個任務執行完成之後再回去看這個Schema就會發現已經有表了:

一文教你如何用阿裡雲DLA搞定“一鍵建倉”

來,我們再驗證一下資料是不是真的過來了:

一文教你如何用阿裡雲DLA搞定“一鍵建倉”

果然資料也有了,搞定!

總結

這裡我們介紹了DLA最新引入的一鍵建倉的功能,一鍵建倉的作用就是為了讓資料在RDS裡面的客戶可以友善、快速、沒有後顧之憂地對業務資料進行分析,希望這個功能的引入能夠讓大家把RDS裡面的資料更好的分析起來。

産品詳情請戳>>>

https://www.aliyun.com/product/datalakeanalytics?spm=5176.161322.cwnn_jpze.71.5fcc75aermEM12

功能介紹請戳>>>

https://help.aliyun.com/document_detail/129965.html?spm=a2c4g.11186623.6.600.43a54cb1mDxop3