天天看點

通過無代碼CDC工具實作Oracle實時同步到Mysql

作者:RestCloud

Oracle資料實時同步需求

現代企業對于資料實時同步的需求日益迫切,特别是在涉及Oracle資料庫的情況下。實時同步資料對企業來說至關重要,因為它可以確定不同系統之間的資料始終保持一緻性和最新性,提供準确的決策支援和及時的業務反應。

針對企業Oracle資料實時同步的需求一般具有以下特點:

實時性:能夠實作資料的準實時同步,確定資料變動能夠在最短時間内反映到目标系統中,避免資料延遲導緻的資訊滞後。

可靠性:具備強大的容錯和異常處理機制,能夠處理網絡故障、資料沖突等異常情況,并能夠保證資料同步的完整性和一緻性。

靈活性:支援靈活的配置選項,能夠滿足不同企業的需求,例如選擇同步的資料範圍、字段映射和轉換規則等。

高性能:具備高效的資料處理和傳輸能力,能夠應對大規模資料同步的需求,保證資料同步的實時性和效率。

監控和管理:提供全面的監控和管理功能,包括實時監控同步狀态、日志記錄、性能統計等,便于管理者對資料同步進行有效的管理和維護。

選擇一款具備實時性、可靠性、靈活性、高性能、監控管理等關鍵特性的CDC實時資料同步工具,将能夠滿足企業對資料實時同步的需求,提升資料管理的效率和品質,為企業決策和營運提供可靠的資料支援。

使用CDC實作Oracle到MySQL的實時同步

下面介紹如何使用ETLCloud CDC工具實作Oracle的實時日志采到并同步到mysql的操作步驟。

ETLCloud CDC工具可以實作無需代碼隻需簡單配置即可對Oracle的歸檔日志進行監聽并實時同步到其他資料庫中。

CDC同步的前提條件

Oracle需要開啟歸檔日志,Oracle的歸檔日志的開啟可以參考ETLCloud資料內建社群中的文章,也可以讓DBA開啟即可。

使用ETLCloud CDC社群版本的配置操作

以下是使用ETLCloud CDC工具搭建的實時資料同步流程,企業需要實時地對Oracle中的人員資料進行年齡段劃分,添加是否成年的辨別後存儲到Mysql資料庫。

通過無代碼CDC工具實作Oracle實時同步到Mysql

在操作前,我們需要添加資料源,開啟資料庫監聽基本配置,因為我們需要用到兩類資料庫,是以需要添加這兩類資料庫的資料源,具體操作可以見ETL工具官方文檔

通過無代碼CDC工具實作Oracle實時同步到Mysql

(進入CDC實時資料處理子產品)

通過無代碼CDC工具實作Oracle實時同步到Mysql

開啟CDC需要到資料庫先開啟CDC功能,之後在到平台進行配置,詳情可見官方文檔

對CDC進行配置,通過①,我們可以選擇将資料直接內建到其他資料服務, 也可以通過流程進行資料處理後再同步到資料庫中,這裡我們選擇綁定流程,并在②選擇我們建好的流程。注意!流程需要先進行建立

通過無代碼CDC工具實作Oracle實時同步到Mysql
通過無代碼CDC工具實作Oracle實時同步到Mysql

配置完成後,我們需要啟動Oracle線上日志的監聽器服務。

通過無代碼CDC工具實作Oracle實時同步到Mysql

根據我們業務流程的需要,通過搭配元件,配置元件參數,實作資料轉換和同步。

  1. 變量設定

利用變量設定元件,将參數設定成一個變量,確定後續引用不會因為人工失誤導緻資料不一緻。這裡我們這是年齡達到成年的門檻值是18

通過無代碼CDC工具實作Oracle實時同步到Mysql
通過無代碼CDC工具實作Oracle實時同步到Mysql
  1. 添加資料過濾元件,對資料進行分流過濾,得到一個成年遊客的資料流和一個未成年遊客的資料流。
通過無代碼CDC工具實作Oracle實時同步到Mysql
通過無代碼CDC工具實作Oracle實時同步到Mysql
通過無代碼CDC工具實作Oracle實時同步到Mysql
通過無代碼CDC工具實作Oracle實時同步到Mysql
  1. 通過變量設定為資料流添加辨別字段
通過無代碼CDC工具實作Oracle實時同步到Mysql
通過無代碼CDC工具實作Oracle實時同步到Mysql
通過無代碼CDC工具實作Oracle實時同步到Mysql
  1. 通過多流合并和庫表輸出,将處理後的資料進行持久化
通過無代碼CDC工具實作Oracle實時同步到Mysql
通過無代碼CDC工具實作Oracle實時同步到Mysql
通過無代碼CDC工具實作Oracle實時同步到Mysql
  1. 實時同步後Mysql的資料記錄
通過無代碼CDC工具實作Oracle實時同步到Mysql

配置總結

通過ETLCloud CDC功能隻需簡單幾步即可配置出Oracle到MySQL的實時同步場景,上述實時同步資料的過程中我們還對實時資料進行了過濾和加工處理,也都是通過無代碼的方式實作的。

在CDC同步過程中系統會自動處理異常資料,同步不成功的資料會自動記錄到Monogdb中進行統一存儲,友善進行二次處理。

ETLCloud介紹

ETLCloud是一款零代碼ETL工具,可以快速對接上百種資料源和應用系統,無需編碼即可快速完成資料同步和傳輸,企業IT人員隻需簡單幾步即可快速完成各種資料抽取同步并配合BI工具實作資料的統計分析。

通過無代碼CDC工具實作Oracle實時同步到Mysql

(ETLCloud可視化流程同步界面)

ETLCloud社群免費版本下載下傳 ETLCloud 全域資料內建平台