1. CDC實時資料同步的應用場景
CDC實時同步功能是現代資料倉庫技術中常見的一種資料同步技術，能夠實作實時互動、持續同步、高可用性和高性能的資料傳輸。
應用場景：
實時資料備份：将源系統的資料實時備份到目标資料系統中，確定資料的實時性和可靠性。
高效資料同步：保證源系統中資料變化及時地同步到目标資料系統中，減少資料同步延遲和資料丢失。
資料異構轉換：将不同資料系統之間的資料進行異構轉換，實作資料的互通和共享。
資料監管和審計：對資料的改動進行監管和審計，提高資料的安全性和合規性。
ETLCloud CDC 介紹
ETLCloud CDC是一款容安裝易使用的、零代碼的CDC實時資料同步工具，ETLCloud CDC具有以下功能特點：
零代碼：隻需簡單配置，無需任何代碼即可完成CDC的配置和同步。
實時資料同步：将一個或多個源資料系統的資料實時傳輸到目标資料系統。
增量資料同步：高效的資料同步方式，可以隻同步最新的更新内容，避免全部備份和傳輸。
資料源類型：ETLCloud CDC支援多種資料源類型的實時同步主要包含：MySQL、Sql Server、Oracle、PG、MQ等。
實時資料類型轉換：實時将原始資料轉換為目标端可以識别的格式，進而保證資料準确性和有效性。
DDL同步: 當源表的DDL發現變更時自動同步目标表的DDL。
斷點自動恢複：在傳送過程中發生異常時能自動從斷點位置重新傳送實時資料。
CDC+ETL一體化架構: 通過CDC實時資料流與ETL的結合實作對實時複雜資料的處理需求。
此外，ETLCloud CDC 還具備高可用性、靈活配置、資料安全加密、任務監控等功能，可滿足不同場景下企業級應用的要求。
安裝部署
3.1安裝ETLCloud CDC
步驟1：官網下載下傳linux一鍵部署包，把一鍵部署包放到一個目錄下解壓并進入該目錄。
對腳本檔案進行賦權
chmod +x restcloud_install.sh
執行腳本
./restcloud_install.sh
等待tomcat啟動，當出現這個界面，則restcloud證明啟動成功
步驟2：打開浏覽器輸入{host}/restcloud/admin/login
輸入使用者名密碼: admin/pass
步驟3：登入系統後我們去官網申請sn碼
填寫好郵箱和對應的機器号，點選驗證發送驗證郵件然後就會傳回申請的序列号到所填寫的郵箱
将傳回的序列号填好，點選儲存，重新整理頁面進入到首頁
步驟4：填寫好序列号後, 需要執行下版本更新, 在平台首頁選擇平台監控 -> 一鍵備份更新,點選版本更新按鈕，重新開機Tomcat即可。
進入tomcat/bin目錄
cd /usr/tomcat/bin
//啟動tomcat并列印啟動日志
./startup.sh && tail -f ../logs/catalina.out
ETLCloud CDC實時庫表同步
步驟1： 啟用MySQL的CDC功能，需要在MySQL的my.cnf配置檔案中設定相應的參數。
在配置檔案中增加如下配置，開啟Binlog。
server-id = 123
log_bin = mysql-bin
binlog_format = row
binlog_row_image = full
expire_logs_days = 10
gtid_mode = on
enforce_gtid_consistency = on
修改完配置參數後重新開機MySQL服務
步驟2： 建立資料監聽器
步驟3： 配置資料監聽器
在建立資料同步任務後，需要對同步任務進行配置。在這個過程中，您需要指定要同步的表以及資料傳輸模式。
步驟4： 啟動同步任務
完成同步任務的配置後，您需要啟動同步任務以開始實時同步資料。在ETLCloud中，可以通過單擊“啟動”按鈕來啟動同步任務。
步驟5： 監控同步任務
啟動資料同步任務後，可以通過監控面闆統計圖來了解任務的運作狀态、同步量以及異常情況。
使用Navicat檢視源表資料（restcloud.test）
使用Navicat檢視目标表資料（test.test）
執行插入語句
監控面闆統計圖
再次使用Navicat檢視源表資料（restcloud.test）
目标表資料（test.test）
通過對比發現ETLCloud CDC實時同步功能成功使用。
ETLCloud CDC實時同步功能是一種高效、可靠的資料同步方案，它可以用于實作源資料庫和目标資料庫之間的實時同步，進而提高資料內建和應用開發的效率。
ETLCloud CDC社群免費版本下載下傳位址：ETLCloud 全域資料內建平台