簡述
Db2 是一款具有悠久曆史的關系型資料庫,由 IBM 公司開發和維護,廣泛應用于金融級業務場景。
CloudCanal 近期提供了 Db2 為源端的資料遷移同步 功能,使用者可以便利地将 Db2 中資料實時同步到其他資料庫,實作資料更廣泛、更實時的應用。
功能介紹
目标資料庫和能力
目标端資料源 | 結構遷移 | 資料初始化 | 增量同步 | 資料校驗 | 資料訂正 |
MySQL | 支援 | 支援 | 支援 | 支援 | 支援 |
TiDB | 支援 | 支援 | 支援 | 支援 | 支援 |
Kafka | - | 支援 | 支援 | - | - |
StarRocks | 支援 | 支援 | 支援 | 支援 | 支援 |
Db2 源端特色能力
結構遷移類型自動處理
不同資料庫對于資料類型支援存在差異,CloudCanal 結構遷移時會進行類型自動轉換。
Db2 為源端的結構遷移也存在類似轉換(5+,并不斷細化),如對端為 MySQL 或 TiDB,CloudCanal 将自動轉換 VARCHAR FOR BIT DATA 為 VARBINARY。
資料初始化支援斷點續傳
Db2 為源端的資料初始化,支援字元或數字類型主鍵表的斷點續傳功能。
對于億級别資料量的大表,此能力不可或缺,資料初始化斷點續傳功能讓此種暫停盡可能少的影響進度。
資料同步支援斷點續傳
長周期的資料同步任務,暫停任務調整參數、修複問題資料、優化性能等情況很難避免,斷點續傳讓這些維護操作變成可能。
CloudCanal 定時或定量儲存送出後的位點(LSN,log sequence number),確定增量同步任務重新開機後可繼續,并且不丢失資料。
配套資料校驗與訂正能力
在資料同步過程中,由于資料的外部關聯性、結構限制差異、資料庫運維操作、軟體bug等情況,兩端資料可能會不一緻,此時資料校驗和訂正功能非常必要。
CloudCanal 為 Db2 為源端的資料同步能力額外提供了資料校驗和資料訂正功能,快速确定不一緻資料範圍,并針對差異資料進行修複。
産品化能力支撐
可視化建立
CloudCanal 建立 Db2 資料遷移同步任務是完全可視化的,通過擷取資料庫中繼資料,讓使用者在 web 頁面上決定哪些庫、表、列進行遷移同步,或者設定過濾條件、自定義資料處理邏輯等。
自動化流程
Db2 資料遷移同步任務建立後,CloudCanal 将自動流轉各個階段的任務,使用者無需幹涉,直達資料實時同步狀态。
監控圖表支撐
CloudCanal 為 Db2 資料遷移同步任務提供了多個實用監控名額,包括增量緩存RPS、增量緩存延遲(ms)、記憶體隊列資料個數等,當調優任務性能或排查任務異常原因時,監控名額提供了很好的判斷依據。
告警支援
CloudCanal 為 Db2 資料遷移任務提供了包括釘釘/企業微信/飛書/自定義等 webhook 類型告警,對于企業級客戶,可額外選擇郵件,以及短信告警,實時保障同步任務的高可用。
簡單示例
本示例以将資料從 Db2 資料庫同步到 MySQL 資料庫為操作案例,以便更好地說明 CloudCanal 在不同資料庫之間進行資料同步的能力。
準備動作
- 準備 CloudCanal,安裝詳細請參考:全新安裝
- 準備好 Db2 資料庫(本例使用 11.5 版本)和 MySQL 資料庫(本例使用 8.0 版本)
- 登入 CloudCanal 平台 ,添加 Db2 和 MySQL
- Db2 源端如果需要增量同步需要開啟 CDC,詳細請參考:Db2 源端 CDC 同步準備
任務建立
- 任務管理 -> 建立任務
- 測試連結并選擇 源 和 目标 資料庫
- 點選下一步
- 選擇 資料同步,并勾選 全量資料初始化,其他選項預設
- 選擇需要遷移同步的表和列
- 确認建立任務
- 任務自動做結構遷移、全量遷移、增量同步
- 增量階段進行資料寫入後,進行資料校驗,資料校驗通過
總結
本文主要介紹了 CloudCanal 支援 Db2 為源端資料遷移同步功能,通過這個能力,使用者可以便利地将 Db2 中資料實時同步到其他資料庫,實作資料更廣泛、更實時的應用。