天天看點

使用DTS從RDS PG實時同步資料到AnalyticDB for PostgreSQL

DTS支援從RDS PG将資料實時同步到AnalyticDB for PG,使用者可以很友善的搭建起RDS PG到AnalyticDB for PG的資料同步,輕松實作資料的流轉和複雜查詢的優化。

使用DTS的前提條件

  • 要求同步的資料表,必須建有主鍵(通過主鍵來保證源端和目标端表記錄一緻性)。
  • 支援(INSERT/UPDATE/DELETE)語句的資料同步,不支援DDL及其它DML 語句(TRUNCATE等)同步,不支援表結構的遷移,是以需要先手動進行表結構的遷移。
  • 僅支援 RDS PG 9.4.8以上版本作為資料源同步,ECS搭建PG 及 線下PG到 ADB for PG 的資料同步,尚未支援。
  • 不支援BIT、VARBIT、JSON、GEOMETRY、ARRAY、UUID、TSQUERY、TSVECTOR、TXID_SNAPSHOT類型的資料同步,建議 RDS PG 的JSON類型字段可以暫時同步為 ADB for PG 的 VARCHAR類型。
  • 當使用資料傳輸服務進行 RDS PG遷移時,在不同遷移類型情況下,源跟目标資料庫的遷移帳号權限要求如下:
遷移類型 全量遷移 增量資料同步
源RDS PG執行個體 遷移對象的select schema的owner
目标AnalyticDB for PG執行個體

同步步驟

1、由于暫時不支援資料結構的遷移,是以需要先在AnalyticDB for PG中建立對應的database、schema、table結構。

2、建立DTS同步任務

  • 進入DTS産品詳情頁( https://www.aliyun.com/product/dts ),點選“立即購買”
  • 售賣頁上進行各種配置,配置項說明如下表
    使用DTS從RDS PG實時同步資料到AnalyticDB for PostgreSQL
配置項 說明
功能 資料同步
源執行個體 PostgreSQL
源執行個體地域 本例選擇華東1(杭州)
目标執行個體 AnalyticDB for PostgreSQL
目标執行個體地域
同步拓撲 單向同步
網絡類型 專線
同步鍊路規格 本例選擇large
  • 在 确認訂單 頁面,勾選《資料傳輸服務(按量付費)服務協定》,根據提示完成支付流程。

3、 打開RDS PG的邏輯複制功能

由于RDS PG預設是沒有打開邏輯複制功能的,是以需要在管理頁面上打開邏輯複制,如下圖

使用DTS從RDS PG實時同步資料到AnalyticDB for PostgreSQL

在“參數設定”欄中找到wal_level參數,将此參數值改為logical,特别注意,此參數修改需要重新開機執行個體才能生效,是以請評估對業務的影響,在合适的時間進行修改。

4、配置同步鍊路

  1. 登入DTS控制台( https://dts.console.aliyun.com)
  2. 在資料傳輸頁面,單擊左側導航欄中的資料同步
  3. 在同步作業清單中,單擊目标執行個體右側的配置同步鍊路,在選擇同步通道的源及目标執行個體頁面進行參數配置
    使用DTS從RDS PG實時同步資料到AnalyticDB for PostgreSQL
  4. 完成上述配置,單擊授權白名單并進入下一步
  5. 進入選擇同步對象頁面,完成下面步驟配置後
    使用DTS從RDS PG實時同步資料到AnalyticDB for PostgreSQL
  6. 完成上述操作後,單擊預檢查并啟動,彈出預檢查頁面
    1. 如果預檢查顯示失敗,可以根據提示DTS預檢查進行排錯處理。
    2. 預檢查全部成功後,單擊關閉。

傳回DTS控制台,在同步清單中的同步概況中檢視同步延遲和速度

繼續閱讀