目錄
介紹:
一、安裝準備
二、安裝配置
三、驗證安裝
介紹:
Canal 是用 java 開發的基于資料庫增量日志解析,提供增量資料訂閱&消費的中間件。 目前,Canal 主要支援了 MySQL 的 Binlog 解析,解析完成後才利用 Canal Client 來處理 獲得的相關資料。(資料庫同步需要阿裡的 Otter 中間件,基于 Canal)。 常見場景: 常見場景 1 :更新緩存 常見場景 2 :抓取業務資料新增變化表,用于制作拉連結清單。 常見場景3:抓取業務表的新增變化資料,用于制作實時統計
一、安裝準備
1.1下載下傳安裝包
官網位址如下:
Releases · alibaba/canal · GitHub
選擇想要安裝的版本
![](https://img.laitimes.com/img/9ZDMuAjOiMmIsIjOiQnIsIiNx8FesU2cfdGLwczX0xiRGZkRGZ0Xy9GbvNGL4EzXlpXazxiYtRTNi1GN1UUc1UjNxxUNxlGT1EUaMVTQClGVF5UMR9Fd4VGdsATNfd3bkFGazxSUhxGatJGbwhFT1Y0Mk9VZwlHdssmch1mclRXY39CXldWYtlWPzNXZj9mcw1ycz9WL49zZuBnLxEmMkdTOmFTNkBjNyEWYiZjMlRjNmdTZyQWM5IjM4MzLc52YucWbp5GZzNmLn9Gbi1yZtl2Lc9CX6MHc0RHaiojIsJye.png)
二、安裝配置
2.1上傳安裝包
2.2解壓
#canal解壓後是散的,解壓的時候需要将canal指定
mkdir canal
進入安裝包的目錄執行:
#解壓到/training/canal
tar -zvxf canal.deployer-1.1.4.tar.gz -C /training/canal
2.3修改canal.properties
進入canal的conf
vi canal.properties
修改:canal.serverMode和canal.mq.servers
#把這兩個位置修改成以下這樣
canal.serverMode = kafka
canal.mq.servers = hadoop01:9092,hadoop02:9092,hadoop03:9093
2.4修改instance.properties
進入canal/conf/example,
vi instance.properties
修改以下内容:
#配置 MySQL 伺服器位址
canal.instance.master.address=hadoop01:3306
#配置連接配接 MySQL 的使用者名和密碼
canal.instance.dbUsername=gmall
canal.instance.dbPassword=Zj_123456
#修改 Kafka 的主題以及分區數
canal.mq.topic=test_db
#注釋canal.mq.partition=0
#canal.mq.partition=0
#取消注釋canal.mq.partitionsNum=3,且數值位3
canal.mq.partitionsNum=3
注:hadoop01是我的主機名,3306是端口号;
gmall是我MySQL的使用者名,Zj_123456是密碼;
kafka的主題名為test_db;分區參數為1。
設定主題等等操作參考:
kafka的基本操作(指令行操作)_一個人的牛牛的部落格-CSDN部落格_kafka操作
安裝kafka參考:kafka單機和叢集(全分布)的安裝部署過程_一個人的牛牛的部落格-CSDN部落格_kafka部署
三、驗證安裝
3.1啟動
bin/startup.sh
3.2jps檢視程序
看到 CanalLauncher 表示啟動成功,同時會建立 test_db 主題
3.3kafka
檢視目前伺服器中的所有topic(在kafka目錄下)
kafka-topics.sh --zookeeper hadoop01:2181 --list