資料同步節點任務是阿裡雲大資料平台對外提供的穩定高效、彈性伸縮的資料同步雲服務。DRDS到ODPS資料遷移采用CDP的方式同步資料。
初次在同步資料前需要在源庫和目标庫建立好相應的表結構。
1.登入Base管控台,單擊頂部菜單欄中的<b>項目管理</b>,并選擇相應的項目。

2.進入<b>資料源配置</b>,單擊<b>新增資料源。</b>
3. 在建立資料源彈出框中,選擇資料源類型為DRDS;
<b></b>
<b>配置項說明(</b>上圖中帶*的都必須輸入相應的資訊<b>):</b>
l <b>資料源名稱</b>:由英文字母、數字、下劃線組成且需以字元或下劃線開頭,長度不超過60個字元。
l <b>資料源描述</b>:對資料源進行簡單描述,不得超過80個字元。
l <b>資料源類型</b>:目前選擇的資料源類型DRDS。
l <b>jdbcUrl</b>:JDBC連接配接資訊,格式為:jdbc://mysql://serverIP:Port/database。
l <b>使用者名/</b><b>密碼</b>:DRDS庫對應的使用者名和密碼。
4. 單擊<b>測試連通性</b>。
5. 測試連通性通過後,單擊<b>确定</b>。
1.登入Base管控台,單擊頂部菜單欄中的<b>項目管理</b>,并選擇相應的項目。
2. 進入<b>資料源配置</b>,單擊<b>新增資料源</b>。
3. 在建立資料源彈出框中,選擇資料源類型為 ODPS。
l <b>資料源類型</b>:目前選擇的資料源類型ODPS。
l <b>ODPS Endpoint</b>:預設隻讀。從系統配置中自動讀取。
l <b>ODPS</b><b>項目名稱:</b>與計算引擎配置中的ODPS項目名稱相同。
4. 單擊測試連通性。
5. 測試連通性通過後,單擊确定。
1.  建立資料同步節點,如下圖所示:
<b>建立任務配置項說明(</b>帶*項都需要輸入或選擇<b>):</b>
<b>名稱</b>:
起一個好識别的名稱,符合命名規則即可;
<b>任務類型</b>為工作流任務可一次性排程或周期排程,節點任務隻能是周期排程;
<b>類型</b>:選擇資料同步;
<b>選擇目錄</b>:根據任務開發,選擇您所使用的檔案夾中要同步的任務。
2.
選擇資料來源和目标
其中:資料來源指的是資料源,資料流向指的是目标資料源。
3. 字段配置
當源表和目标表結構一緻時源和目标表字段預設是一一對應的關系,不用做任何設定。如下圖所示:
4.抽取控制和加載控制
•
抽取控制
全量遷移資料過濾為空,增量同步時需要增加時間過濾條件。
加載控制
清理規則需要根據資料要求配置,預設是寫入前清理已有資料。
寫入前清理已有資料寫入前保留已有資料
5.流量與出錯控制
作業速率上限是指資料同步作業可能達到的最高速率,其最終實際速率受網絡環境、資料庫配置等影響。
建立任務建立好儲存後,會預設産生一個周期排程任務,預設的時間是每天晚上00:00執行。客戶也可根據實際的同步場景進行時間調整配置。下圖所示是預設的配置:
預設的依賴屬性:
依賴屬性中可以配置任務的上遊依賴,表示即使目前任務的執行個體已經到定時時間,也必須等待上遊任務的執行個體運作完畢才會觸發運作。
如果沒有配置上遊任務,則目前任務預設由項目本身觸發運作,故在排程系統中,該任務的上遊預設為
project_start 任務。每一個項目中預設會建立一個 project_start 任務作為根任務。
1.單擊工作流頁面中的測試運作按鈕,如下圖所示:
2. 根據跳轉頁面的提示,單擊<b>确認</b>和<b>運作</b>;
3.單擊前往運維中心檢視任務運作狀态和運作日志,如下圖所示:
<b>說明:</b>
測試運作是手動觸發任務執行,任務排程的時間到了,就自動運作,無視執行個體的上遊依賴關系。
若測試運作隻需要運作一次,測試運作完成後需要在排程狀态前打勾暫停掉此任務。