天天看點

CloudCanal 落地 DB2 資料遷移同步功能

作者:ClouGence

簡述

Db2 是一款具有悠久曆史的關系型資料庫,由 IBM 公司開發和維護,廣泛應用于金融級業務場景。

CloudCanal 近期提供了 Db2 為源端的資料遷移同步 功能,使用者可以便利地将 Db2 中資料實時同步到其他資料庫,實作資料更廣泛、更實時的應用。

功能介紹​

目标資料庫和能力​

目标端資料源 結構遷移 資料初始化 增量同步 資料校驗 資料訂正
MySQL 支援 支援 支援 支援 支援
TiDB 支援 支援 支援 支援 支援
Kafka - 支援 支援 - -
StarRocks 支援 支援 支援 支援 支援

Db2 源端特色能力​

結構遷移類型自動處理​

不同資料庫對于資料類型支援存在差異,CloudCanal 結構遷移時會進行類型自動轉換。

Db2 為源端的結構遷移也存在類似轉換(5+,并不斷細化),如對端為 MySQL 或 TiDB,CloudCanal 将自動轉換 VARCHAR FOR BIT DATA 為 VARBINARY。

資料初始化支援斷點續傳​

Db2 為源端的資料初始化,支援字元或數字類型主鍵表的斷點續傳功能。

對于億級别資料量的大表,此能力不可或缺,資料初始化斷點續傳功能讓此種暫停盡可能少的影響進度。

資料同步支援斷點續傳​

長周期的資料同步任務,暫停任務調整參數、修複問題資料、優化性能等情況很難避免,斷點續傳讓這些維護操作變成可能。

CloudCanal 定時或定量儲存送出後的位點(LSN,log sequence number),確定增量同步任務重新開機後可繼續,并且不丢失資料。

配套資料校驗與訂正能力​

在資料同步過程中,由于資料的外部關聯性、結構限制差異、資料庫運維操作、軟體bug等情況,兩端資料可能會不一緻,此時資料校驗和訂正功能非常必要。

CloudCanal 為 Db2 為源端的資料同步能力額外提供了資料校驗和資料訂正功能,快速确定不一緻資料範圍,并針對差異資料進行修複。

産品化能力支撐​

可視化建立​

CloudCanal 建立 Db2 資料遷移同步任務是完全可視化的,通過擷取資料庫中繼資料,讓使用者在 web 頁面上決定哪些庫、表、列進行遷移同步,或者設定過濾條件、自定義資料處理邏輯等。

自動化流程​

Db2 資料遷移同步任務建立後,CloudCanal 将自動流轉各個階段的任務,使用者無需幹涉,直達資料實時同步狀态。

監控圖表支撐​

CloudCanal 為 Db2 資料遷移同步任務提供了多個實用監控名額,包括增量緩存RPS、增量緩存延遲(ms)、記憶體隊列資料個數等,當調優任務性能或排查任務異常原因時,監控名額提供了很好的判斷依據。

告警支援​

CloudCanal 為 Db2 資料遷移任務提供了包括釘釘/企業微信/飛書/自定義等 webhook 類型告警,對于企業級客戶,可額外選擇郵件,以及短信告警,實時保障同步任務的高可用。

簡單示例​

本示例以将資料從 Db2 資料庫同步到 MySQL 資料庫為操作案例,以便更好地說明 CloudCanal 在不同資料庫之間進行資料同步的能力。

準備動作​

  • 準備 CloudCanal,安裝詳細請參考:全新安裝
  • 準備好 Db2 資料庫(本例使用 11.5 版本)和 MySQL 資料庫(本例使用 8.0 版本)
  • 登入 CloudCanal 平台 ,添加 Db2 和 MySQL
  • Db2 源端如果需要增量同步需要開啟 CDC,詳細請參考:Db2 源端 CDC 同步準備
CloudCanal 落地 DB2 資料遷移同步功能

任務建立​

  • 任務管理 -> 建立任務
  • 測試連結并選擇 源 和 目标 資料庫
CloudCanal 落地 DB2 資料遷移同步功能
  • 點選下一步
  • 選擇 資料同步,并勾選 全量資料初始化,其他選項預設
CloudCanal 落地 DB2 資料遷移同步功能
  • 選擇需要遷移同步的表和列
CloudCanal 落地 DB2 資料遷移同步功能
  • 确認建立任務
CloudCanal 落地 DB2 資料遷移同步功能
  • 任務自動做結構遷移、全量遷移、增量同步
  • 增量階段進行資料寫入後,進行資料校驗,資料校驗通過
CloudCanal 落地 DB2 資料遷移同步功能

總結​

本文主要介紹了 CloudCanal 支援 Db2 為源端資料遷移同步功能,通過這個能力,使用者可以便利地将 Db2 中資料實時同步到其他資料庫,實作資料更廣泛、更實時的應用。

繼續閱讀