Canal配置檔案詳解

conf\example\instance.properties

## mysql serverId , v1.0.26+ will autoGen
# canal.instance.mysql.slaveId=0 //每個instance都會僞裝成一個mysql slave , 此id對于canal前端的Mysql執行個體而言，必須是唯一的，但是同一個Canal中相同的instance,此slaveld應該一樣

# enable gtid use true/false
canal.instance.gtidon=false

# position info
canal.instance.master.address=127.0.0.1:3306 //需要連接配接的資料庫位址及端口
canal.instance.master.journal.name= //需要讀取的起始的binlog檔案
canal.instance.master.position= //需要讀取的起始的binlog檔案的偏移量
canal.instance.master.timestamp= //需要讀取的起始的binlog的時間戳
canal.instance.master.gtid=

# rds oss binlog
canal.instance.rds.accesskey=
canal.instance.rds.secretkey=
canal.instance.rds.instanceId=

# table meta tsdb info
canal.instance.tsdb.enable=true //v1.0.25版本新增,是否開啟table meta的時間序列版本記錄功能
#canal.instance.tsdb.url=jdbc:mysql://127.0.0.1:3306/canal_tsdb //v1.0.25版本新增,table meta的時間序列版本的本地存儲路徑，預設為instance目錄
#canal.instance.tsdb.dbUsername=canal
#canal.instance.tsdb.dbPassword=canal

#canal.instance.standby.address =
#canal.instance.standby.journal.name =
#canal.instance.standby.position =
#canal.instance.standby.timestamp =
#canal.instance.standby.gtid=

# username/password
canal.instance.dbUsername=canal //資料庫賬号
canal.instance.dbPassword=canal //資料庫密碼
canal.instance.connectionCharset = UTF-8 //資料庫解析編碼格式
canal.instance.defaultDatabaseName =test //資料庫連接配接時預設schema
# enable druid Decrypt database password
canal.instance.enableDruid=false
#canal.instance.pwdPublicKey=MFwwDQYJKoZIhvcNAQEBBQADSwAwSAJBALK4BUxdDltRRE5/zXpVEVPUgunvscYFtEip3pmLlhrWpacX7y7GCMo2/JM6LeHmiiNdH1FWgGCpUfircSwlWKUCAwEAAQ==

# table regex
canal.instance.filter.regex=.*\\..* //mysql 資料解析關注的表，Perl正規表達式.
# table black regex
canal.instance.filter.black.regex= //canal将會過濾那些不符合要求的table，這些table的資料将不會被解析和傳送
           

conf\canal.properties

#################################################
######### common argument #############
#################################################
canal.id= 1 #每個canal server執行個體的唯一辨別
canal.ip= #canal server綁定的本地IP資訊,如果不配置,預設選擇一個本機IP進行,
canal.port=11111 #canal server提供socket tcp服務的端口
canal.metrics.pull.port=11112
canal.zkServers= #canal server連結zookeeper叢集的連結資訊

# flush data to zk
canal.zookeeper.flush.period = 1000 #canal持久化資料到zookeeper上的更新頻率,機關毫秒
canal.withoutNetty = false

# tcp, kafka, RocketMQ
canal.serverMode = tcp

# flush meta cursor/parse position to file

canal.file.data.dir = ${canal.conf.dir} #canal持久化資料到file上的目錄

canal.file.flush.period = 1000 #canal持久化資料到file上的更新頻率,機關毫秒

## memory store RingBuffer size, should be Math.pow(2,n)

canal.instance.memory.buffer.size = 16384 #canal記憶體store中可緩存buffer記錄數,需要為2的指數
## memory store RingBuffer used memory unit size , default 1kb
canal.instance.memory.buffer.memunit = 1024 # 記憶體記錄的機關大小,預設1KB,和buffer.size組合決定最終的記憶體使用大小
## meory store gets mode used MEMSIZE or ITEMSIZE
canal.instance.memory.batch.mode = MEMSIZE #canal記憶體store中資料緩存模式
1. ITEMSIZE : 根據buffer.size進行限制,隻限制記錄的數量
2. MEMSIZE : 根據buffer.size * buffer.memunit的大小,限制緩存記錄的大小

canal.instance.memory.rawEntry = true

## detecing config
canal.instance.detecting.enable = false #是否開啟心跳檢查

#canal.instance.detecting.sql = insert into retl.xdual values(1,now()) on duplicate key update x=now()
canal.instance.detecting.sql = select 1 #心跳檢查sql
canal.instance.detecting.interval.time = 3 #心跳檢查頻率,機關秒
canal.instance.detecting.retry.threshold = 3 #心跳檢查失敗重試次數
##非常注意：interval.time * retry.threshold值，應該參考既往DBA同學對資料庫的故障恢複時間，
##“太短”會導緻叢集運作态角色“多跳”；“太長”失去了活性檢測的意義，導緻叢集的敏感度降低，Consumer斷路可能性增加。

canal.instance.detecting.heartbeatHaEnable = false #心跳檢查失敗後,是否開啟自動mysql自動切換
#說明:比如心跳檢查失敗超過閥值後,如果該配置為true,canal就會自動鍊到mysql備庫擷取binlog資料 false


# support maximum transaction size, more than the size of the transaction will be cut into multiple transactions delivery
canal.instance.transaction.size = 1024 # 最大事務完整解析的長度支援超過該長度後,一個事務可能會被拆分成多次送出到canal store中,無法保證事務的完整可見性

# mysql fallback connected to new master should fallback times
canal.instance.fallbackIntervalInSeconds = 60 #canal發生mysql切換時,在新的mysql庫上查找 binlog時需要往前查找的時間,機關秒
說明:mysql主備庫可能存在解析延遲或者時鐘不統一,需要回退一段時間,保證資料不丢

# network config
canal.instance.network.receiveBufferSize = 16384 #網絡連結參數,SocketOptions.SO_RCVBUF
canal.instance.network.sendBufferSize = 16384 #網絡連結參數,SocketOptions.SO_SNDBUF
canal.instance.network.soTimeout = 30 #網絡連結參數,SocketOptions.SO_TIMEOUT

# binlog filter config
canal.instance.filter.druid.ddl = true

canal.instance.filter.query.dcl = false #ddl語句是否隔離發送,開啟隔離可保證每次隻傳回發送一條ddl資料,不和其他dml語句混合傳回.(otter ddl同步使用)

canal.instance.filter.query.dml = false #是否忽略DML的query語句,比如insert/update/delete table.(mysql5.6的ROW模式可以包含statement模式的query記錄)

canal.instance.filter.query.ddl = false #是否忽略DDL的query語句,比如create table/alater table/drop table/rename table/create index/drop index. (目前支援的ddl類型主要為table級别的操作,create databases/trigger/procedure暫時劃分為dcl類型)

canal.instance.filter.table.error = false
canal.instance.filter.rows = false
canal.instance.filter.transaction.entry = false

# binlog format/image check
canal.instance.binlog.format = ROW,STATEMENT,MIXED
canal.instance.binlog.image = FULL,MINIMAL,NOBLOB

# binlog ddl isolation
canal.instance.get.ddl.isolation = false

# parallel parser config
canal.instance.parser.parallel = true
## concurrent thread number, default 60% available processors, suggest not to exceed Runtime.getRuntime().availableProcessors()
#canal.instance.parser.parallelThreadSize = 16
## disruptor ringbuffer size, must be power of 2
canal.instance.parser.parallelBufferSize = 256

# table meta tsdb info //關于時間序列版本
canal.instance.tsdb.enable=true
canal.instance.tsdb.dir=${canal.file.data.dir:../conf}/${canal.instance.destination:}
canal.instance.tsdb.url=jdbc:h2:${canal.instance.tsdb.dir}/h2;CACHE_SIZE=1000;MODE=MYSQL;
canal.instance.tsdb.dbUsername=canal
canal.instance.tsdb.dbPassword=canal
# dump snapshot interval, default 24 hour
canal.instance.tsdb.snapshot.interval=24
# purge snapshot expire , default 360 hour(15 days)
canal.instance.tsdb.snapshot.expire=360

# rds oss binlog account
canal.instance.rds.accesskey =
canal.instance.rds.secretkey =

#################################################
######### destinations #############
#################################################
canal.destinations= example
# conf root dir
canal.conf.dir = ../conf
# auto scan instance dir add/remove and start/stop instance
canal.auto.scan = true #開啟instance自動掃描
如果配置為true,canal.conf.dir目錄下的instance配置變化會自動觸發:
a. instance目錄新增: 觸發instance配置載入,lazy為true時則自動啟動
b. instance目錄删除:解除安裝對應instance配置,如已啟動則進行關閉
c. instance.properties檔案變化:reload instance配置,如已啟動自動進行重新開機操作



canal.auto.scan.interval = 5 #instance自動掃描的間隔時間,機關秒

canal.instance.tsdb.spring.xml=classpath:spring/tsdb/h2-tsdb.xml
#canal.instance.tsdb.spring.xml=classpath:spring/tsdb/mysql-tsdb.xml

canal.instance.global.mode = spring #instance管理模式，Production級别我們要求使用spring
canal.instance.global.lazy = false #全局lazy模式
#canal.instance.global.manager.address = 127.0.0.1:1099 #全局的manager配置方式的連結資訊

#canal.instance.global.spring.xml = classpath:spring/memory-instance.xml
canal.instance.global.spring.xml = classpath:spring/file-instance.xml #全局的spring配置方式的元件檔案

#canal.instance.global.spring.xml = classpath:spring/default-instance.xml