本篇文章主要介紹了DataWorks相關資源組的概念,包括分類、差別和使用場景等,并實操示範了如何打通資料內建獨享資源組與VPC資料源網絡。
分享人:DataWorks技術支援團隊
我們在開發者社群學習路線裡有釋出一個DataWorks的學習路線,裡面包含了入門講解和熟能生巧系列的直播内容,大家可以去學習一下,需要主賬号登陸學習哦:
https://developer.aliyun.com/learning/course/81 本期視訊位址: https://developer.aliyun.com/learning/course/81/detail/1241一、資源組相關概念介紹
什麼是資源組? - 資源組是任務分發、執行的伺服器。
DataWorks資源組分為公共資源組、獨享資源組、自定義資源組。
- 公共資源組為使用者共享的機器,高峰期可能出現任務等待機器資源而暫時無法運作的情況,運作任務時按量付費。
- 獨享資源組需要使用者自行購買,包年包月形式售賣,購買後可配置設定到使用者自己的工作空間獨享使用,由DataWorks團隊負責維護。
- 自定義資源組為使用者自建的機器,通過安裝dataworks所提供的服務插件來獲得排程或者資料內建運作的能力,是由使用者自己維護。

資源組的差別和使用場景如下:
任務執行時如果資源不足,任務會等待資源:
①排程資源組和資料內建資源組這兩種資源組等待資源的具體表現形式不同。如果排程資源組資源不足,那麼任務日志中會列印“任務并發執行數已達上限,正在等待雲端的gateway資源”
②資料內建資源組不足的情況下,資料內建的任務實際不會配置設定到資源來運作,是以資料內建日志中會長時間地列印wait日志資訊。
如果是使用公共資源組出現等待資源,可以考慮購買獨享資源組。如果是獨享資源組資源不夠,可以考慮擴容或者購買新的獨享資源組。注意獨享資源組僅在綁定的工作空間内使用,如果是多個工作空間,建議分開購買獨享資源組。合理規劃使用獨享資源組,可以保障任務按時執行和産出。
獨享資源組的購買可以在DataWorks管控台的資源組清單中直接進行,
也可以通過如下購買連結直接購買:
https://common-buy.aliyun.com/?commodityCode=dide_resource_pre&request=%7B%22ord_time%22:%221:Month%22,%22order_num%22:1,%22region%22:%22cn-shenzhen%22,%22dide_ex_pre_type%22:%22dide_ex_alisa%22,%22dide_ex_alisa_spec%22:%228c16g%22,%22expand_num%22:2%7D購買時請謹慎确認地域、資源組類型和資源組規格等資訊:
購買之後即可在對應工作空間進行綁定,綁定完成後該空間即可使用獨享資源組:
在不同的資料內建任務場景中,資料源所在網絡環境比較複雜,需要通過一系列操作打通獨享資料內建資源組和資料源的網絡連結,下面的連結具體講解了各種場景。當然,目前DataWorks提供了資料源網絡連通性工具來幫助大家連通資料源,降低連通操作的複雜度。
本次主要以RDS-MySQL為例,講解如何在VPC環境下和獨享資料內建資源組打通網絡,主要分為以下6個步驟:
- 購買阿裡雲資料庫服務(以rds-mysql為例)
- 購買同地域同可用區(可用區可不一緻)的資料內建獨享資源組
- 資料內建獨享資源組綁定dataworks工作空間
- 資料內建獨享資源組修改專有網絡綁定(添加rds執行個體的vpc資訊。不同可用區需要添加路由)
- 将資料內建獨享資源組的eip和彈性網卡ip添加到rds執行個體的白名單中
- 建立資料內建資料源并正常測試獨享資料內建資源組的連通性
文檔指導操作連結:
https://developer.aliyun.com/article/766753二、實操示範部分
① 首先到RDS管控台,根據我們的需要購買相應的執行個體。
建立好RDS-MySQL執行個體之後,可以檢視它的基本資訊,比如地域可用區、内網位址等。
随後再看下資料庫連接配接,這裡有一個網絡類型,表示的是這個執行個體所在的VPC,而VSwitch表示的是RDS執行個體所在的VPC下的某個交換機資訊(重要)。
② 購買RDS執行個體之後,再到DataWorks管控台購買獨享資料內建資源組(用作同步任務,若是用做排程任務,需購買獨享排程資源組),建立名字和備注。
這裡選獨享資料內建資源組并根據需求購買規格,比如4vCPU 8GiB最多支援的離線任務并發數是8,表示的是該資源組上支援的同一時間運作的任務的總的并發數是8。
③ 現在這個獨享資源組還無法和對應的RDS執行個體連通。首先要先改一下歸屬空間,這是為了讓這個獨享資源組在對應的工作空間下可以選中并且使用。
④随後開始網絡打通。首先點開專有網絡綁定,點選新增綁定,選擇剛才RDS的專有網絡,這裡交換機和安全組選擇預設的即可,如果目前的資源組所在的可用區下沒有交換機也可以自己建立。
注意:這裡“專有網絡”要標明RDS-MySQL執行個體控制台的VPC,就是剛才RDS控制台“資料庫連接配接”裡看到的執行個體VPC,另外還有一個VSwitch是交換機号碼,這裡配置交換機的時候如果找不到RDS執行個體的VSwitch(RDS交換機和資源組在不同可用區會找不到,但沒關系,後面配置路由連接配接交換機即可,配置好VPC就行),可以先任意選一個或者建立一個(點選“建立交換機”),安全組選預設的就行,。
這就完成了第一步綁定,但由于它們的交換機不一樣,是以現在還無法連通。
⑤ (在資源組綁定的交換機和rds執行個體真實的交換機不一緻的情況下)需要通過路由規則來将同一個VPC下的不同交換機的網絡進行連通。點選“自定義路由”來新增路由,目的類型選擇VPC,目的VPC和目的Switch執行個體選擇RDS-MySQL執行個體(這裡應該就能找到VSwitch号碼了)的位址。
添加成功後會有頂部彈出條提示成功
⑥ 生成路由成功之後,需要将交換機網段以及彈性網卡IP加入到RDS執行個體的白名單内。
⑦ 添加白名單之後,這個網絡就連通了。連通後進入DataWorks工作空間清單,找到剛才的工作空間,進入資料內建。再進入資料源管理界面,建立MySQL資料源,填入RDS-MySQL資料源的執行個體資訊以及賬号、資料庫名等資訊。
⑧ 然後我們就可以進行獨享資料內建資源組的連通性測試。
如果使用連接配接串方式添加資料源,那配置選擇會變多:
“網絡連接配接類型”選擇阿裡雲VPC的話,“JDBC URL”配置裡RDS執行個體位址就使用内網位址,填寫形式大概是 “内網位址:端口号/資料庫名”
“網絡連接配接類型”選擇公網的話,“JDBC URL”配置裡RDS執行個體位址就使用公網位址
以上就是本次“資料內建獨享資源組與VPC資料源網絡打通”講解的全部内容,有問題需要解答的同學可以掃碼加一下我們的釘釘大群,群裡有直播回放可以觀看,技術支援的同學們也會回答大家的問題。
感謝大家的關注!