天天看點

DataWorks 功能實踐速覽02期

往期回顧: DataWorks 功能實踐速覽01期——資料同步解決方案

DataWorks 功能實踐速覽02期

功能推薦:獨享資料內建資源組

如上期資料同步解決方案介紹,資料內建的批資料同步任務運作時,需要占用一定的計算資源,這些資源即資源組,通常先從資料來源所在的機器抽取資料至資源組所在的機器,再推送至目标資料源所在的機器。

DataWorks 功能實踐速覽02期

而進行資料同步時,可以根據實際情況規劃使用哪種資料內建資源組,資源組規劃的關鍵點包括連通性和性能兩方面。

以下就從資料內建資源組的類型與性能、網絡連通性兩方面,為您介紹資料內建資源組的詳情:

Part1:資料內建資源組的類型與性能對比

DataWorks資料內建支援多種不同資源組:

  • 獨享資料內建資源組:

    購買後可獨占使用的資源組。在任務高并發執行且無法錯峰運作,需要獨享的資源組來保障資料快速、穩定地傳輸時,您可以選擇獨享資源組。

  • 自定義資料內建資源組:

    如果您有富餘的伺服器資源,也可将此部分資源作為DataWorks中任務運作的資源組使用,DataWorks支援自定義資源組。

以上兩種資料內建資源組在應用上的能力對比如下表所示:

類别 獨享資源組 自定義資源組
機器資源歸屬 由DataWorks維護,是自己的租戶獨享使用的計算資源。 由您自己維護,是屬于您的IDC機器。
網絡 支援VPC、公網和任意網絡下的阿裡雲産品。
收費方式 根據機器的規格,包年包月計費。 DataWorks版本按月使用收費。
支援的資料源 全部資料源
安全性 根據您自身機器所處的環境決定

任務執行的效率

指任務是否能夠分到足夠的計算資源,能否以最高性能運作。

可靠性

指任務是否能夠按時啟動。執行任務時,網絡資源是否被其它租戶占用,導緻任務不能按時産出結果。

适用場景 大量、重要的生産級别的任務。 使用自定義資源組的場景如下:
  • 如果您自身已有計算資源,可以對接阿裡雲重複使用,無需重新購買。
  • 需要同步的資料源全部在IDC内。
推薦指數 ★★★★★

非常建議您使用獨享資料內建資源組來運作資料內建任務。獨享資料內建資源組的購買後,您需要完成網絡配置和工作空間綁定,後續即可選擇與資料源的網絡連通方案進行連通配置了。在此之前,獨享資料內建資源組的購買與基礎配置的操作詳情請參見

新增和使用獨享資料內建資源組

Part2:資料內建資源組的網絡連通方案

進行資料同步時,需要根據資料庫所在網絡環境,通過對應的網絡解決方案,實作對應類型資源組與資料庫的網絡連通。連通方案概覽如下。

DataWorks 功能實踐速覽02期

以下為您重點介紹獨享資料內建資源組的網絡連通方案詳情,其他資源組類型的網絡連通方案可進入

幫助中心

檢視。

場景1:資料源具備通路公網的能力

如果資料源具備公網通路能力的話,那麼資料源與資源組之間可以直接通過公網互訪。

DataWorks 功能實踐速覽02期

場景2:資料源在VPC網絡中,且VPC和DataWorks在同一個地域

如果資料源在VPC網絡中,且VPC和DataWorks在同一個地域,那可以将獨享資料內建資源組綁定資料源所在VPC。同時需要關注,資源組與DataWorks是否在同一個可用區中,如果不在同一個可用區中,還需要手動添加一下路由,保障資源組與資料源之間網絡是連通的。添加路由的操作詳情可參見

添加路由
DataWorks 功能實踐速覽02期

場景3:資料源在VPC網絡中,且VPC和DataWorks在不同的地域

如果資料源在VPC網絡中,且VPC和DataWorks在不同的地域中,那您需要為獨享資料內建資源組綁定一個VPC,然後通過高速通道、VPN或其他網絡連通産品連通資源組綁定的VPC與資料源所在的VPC。

常見的網絡連通産品包括:

此外,您依舊需要手動添加一下路由,保障網絡連通性。添加路由的操作詳情可參見

DataWorks 功能實踐速覽02期

場景4:資料源在IDC内

如果資料源在IDC内,與場景3:資料源在VPC中且與DataWorks不同地域的場景類似,您需要為獨享資料內建資源組綁定一個VPC,然後通過高速通道、VPN或其他網絡連通産品連通資源組綁定的VPC與資料源所在的VPC。

DataWorks 功能實踐速覽02期

場景5:資料源在經典網絡

如果資料源在經典網絡内,則此場景下,不支援資料源與DataWorks資源組網絡連通,建議您将資料源遷移至VPC網絡中。

PS:阿裡雲經典網絡已不推薦使用,建議您遷移資料源至VPC。

Part3:注意事項——白名單的影響

保障資源組與資料源之間網絡連通後,您還需保障資源組與資料源之間不會因為白名單的限制而無法進行資料通路,例如,部分資料源設定白名單後會不允許白名單外的IP通路,您需要将資源組的IP添加至資料源的白名單中。

使用不同類型的資料內建資源組時,需要添加到資料源白名單中的IP位址不一緻,詳情可進入

檢視,以下為您示例,使用獨享資料內建資源組時,需要擷取并添加到資料源白名單中的IP位址。

  • 交換機網段:
DataWorks 功能實踐速覽02期
  • 獨享資源組的EIP位址:
DataWorks 功能實踐速覽02期

場景實踐

了解了獨享資料內建資源組後,您可以參考以下文檔進行實操實踐。