天天看點

canal單機環境搭建(Linux)介紹:一、安裝準備二、安裝配置三、驗證安裝

目錄

介紹:

一、安裝準備

二、安裝配置

三、驗證安裝

介紹:

Canal 是用 java 開發的基于資料庫增量日志解析,提供增量資料訂閱&消費的中間件。 目前,Canal 主要支援了 MySQL 的 Binlog 解析,解析完成後才利用 Canal Client 來處理 獲得的相關資料。(資料庫同步需要阿裡的 Otter 中間件,基于 Canal)。 常見場景: 常見場景 1 :更新緩存 常見場景 2 :抓取業務資料新增變化表,用于制作拉連結清單。 常見場景3:抓取業務表的新增變化資料,用于制作實時統計

一、安裝準備

1.1下載下傳安裝包

官網位址如下:

Releases · alibaba/canal · GitHub

選擇想要安裝的版本

canal單機環境搭建(Linux)介紹:一、安裝準備二、安裝配置三、驗證安裝

二、安裝配置

2.1上傳安裝包

2.2解壓

#canal解壓後是散的,解壓的時候需要将canal指定
mkdir canal
           

進入安裝包的目錄執行:

#解壓到/training/canal
tar -zvxf canal.deployer-1.1.4.tar.gz -C /training/canal
           

2.3修改canal.properties

進入canal的conf

vi canal.properties

修改:canal.serverMode和canal.mq.servers

#把這兩個位置修改成以下這樣
canal.serverMode = kafka
canal.mq.servers = hadoop01:9092,hadoop02:9092,hadoop03:9093
           

 2.4修改instance.properties

進入canal/conf/example,

vi instance.properties

 修改以下内容:

#配置 MySQL 伺服器位址
canal.instance.master.address=hadoop01:3306

#配置連接配接 MySQL 的使用者名和密碼
canal.instance.dbUsername=gmall
canal.instance.dbPassword=Zj_123456

#修改 Kafka 的主題以及分區數
canal.mq.topic=test_db

#注釋canal.mq.partition=0
#canal.mq.partition=0

#取消注釋canal.mq.partitionsNum=3,且數值位3
canal.mq.partitionsNum=3
           

注:hadoop01是我的主機名,3306是端口号;

gmall是我MySQL的使用者名,Zj_123456是密碼;

kafka的主題名為test_db;分區參數為1。

設定主題等等操作參考:

kafka的基本操作(指令行操作)_一個人的牛牛的部落格-CSDN部落格_kafka操作

安裝kafka參考:kafka單機和叢集(全分布)的安裝部署過程_一個人的牛牛的部落格-CSDN部落格_kafka部署

三、驗證安裝

3.1啟動

 bin/startup.sh

3.2jps檢視程序

canal單機環境搭建(Linux)介紹:一、安裝準備二、安裝配置三、驗證安裝

 看到 CanalLauncher 表示啟動成功,同時會建立 test_db 主題

3.3kafka 

檢視目前伺服器中的所有topic(在kafka目錄下)

kafka-topics.sh --zookeeper hadoop01:2181 --list

canal單機環境搭建(Linux)介紹:一、安裝準備二、安裝配置三、驗證安裝