摘要
mall項目中的商品搜尋功能，一直都沒有做實時資料同步。最近發現阿裡巴巴開源的canal可以把MySQL中的資料實時同步到Elasticsearch中，能很好地解決資料同步問題。今天我們來講講canal的使用，希望對大家有所幫助！
canal簡介
canal主要用途是對MySQL資料庫增量日志進行解析，提供增量資料的訂閱和消費，簡單說就是可以對MySQL的增量資料進行實時同步，支援同步到MySQL、Elasticsearch、HBase等資料存儲中去。
canal工作原理
canal會模拟MySQL主庫和從庫的互動協定，進而僞裝成MySQL的從庫，然後向MySQL主庫發送dump協定，MySQL主庫收到dump請求會向canal推送binlog，canal通過解析binlog将資料同步到其他存儲中去。
canal使用
接下來我們來學習下canal的使用，以MySQL實時同步資料到Elasticsearch為例。
元件下載下傳
- 首先我們需要下載下傳canal的各個元件canal-server、canal-adapter、canal-admin，下載下傳位址：github.com/alibaba/can…
- canal的各個元件的用途各不相同，下面分别介紹下：
- canal-server（canal-deploy）：可以直接監聽MySQL的binlog，把自己僞裝成MySQL的從庫，隻負責接收資料，并不做處理。
- canal-adapter：相當于canal的用戶端，會從canal-server中擷取資料，然後對資料進行同步，可以同步到MySQL、Elasticsearch和HBase等存儲中去。
- canal-admin：為canal提供整體配置管理、節點運維等面向運維的功能，提供相對友好的WebUI操作界面，友善更多使用者快速和安全的操作。
- 由于不同版本的MySQL、Elasticsearch和canal會有相容性問題，是以我們先對其使用版本做個約定。
| 應用 | 端口 | 版本 |
| MySQL | 3306 | 5.7 |
| Elasticsearch | 9200 | 7.6.2 |
| Kibanba | 5601 | 7.6.2 |
| canal-server | 11111 | 1.1.15 |
| canal-adapter | 8081 | 1.1.15 |
| canal-admin | 8089 | 1.1.15 |
MySQL配置
- 由于canal是通過訂閱MySQL的binlog來實作資料同步的，是以我們需要開啟MySQL的binlog寫入功能，并設定binlog-format為ROW模式，我的配置檔案為/mydata/mysql/conf/my.cnf，改為如下内容即可；
[mysqld]
## 設定server_id，同一區域網路中需要唯一
server_id=101
## 指定不需要同步的資料庫名稱
binlog-ignore-db=mysql
## 開啟二進制日志功能
log-bin=mall-mysql-bin
## 設定二進制日志使用記憶體大小（事務）
binlog_cache_size=1M
## 設定使用的二進制日志格式（mixed,statement,row）
binlog_format=row
## 二進制日志過期清理時間。預設值為0，表示不自動清理。
expire_logs_days=7
## 跳過主從複制中遇到的所有錯誤或指定類型的錯誤，避免slave端複制中斷。
## 如：1062錯誤是指一些主鍵重複，1032錯誤是因為主從資料庫資料不一緻
slave_skip_errors=1062
複制代碼 - 配置完成後需要重新啟動MySQL，重新開機成功後通過如下指令檢視binlog是否啟用；
show variables like '%log_bin%'
複制代碼 +---------------------------------+-------------------------------------+
| Variable_name | Value |
+---------------------------------+-------------------------------------+
| log_bin | ON |
| log_bin_basename | /var/lib/mysql/mall-mysql-bin |
| log_bin_index | /var/lib/mysql/mall-mysql-bin.index |
| log_bin_trust_function_creators | OFF |
| log_bin_use_v1_row_events | OFF |
| sql_log_bin | ON |
+---------------------------------+-------------------------------------+
複制代碼 - 再檢視下MySQL的binlog模式；
show variables like 'binlog_format%';
複制代碼 +---------------+-------+
| Variable_name | Value |
+---------------+-------+
| binlog_format | ROW |
+---------------+-------+
複制代碼 - 接下來需要建立一個擁有從庫權限的賬号，用于訂閱binlog，這裡建立的賬号為canal:canal；
CREATE USER canal IDENTIFIED BY 'canal';
GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'canal'@'%';
FLUSH PRIVILEGES;
複制代碼 - 建立好測試用的資料庫canal-test，之後建立一張商品表product，建表語句如下。
CREATE TABLE `product` (
`id` bigint(20) NOT NULL AUTO_INCREMENT,
`title` varchar(255) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL,
`sub_title` varchar(255) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL,
`price` decimal(10, 2) NULL DEFAULT NULL,
`pic` varchar(255) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL,
PRIMARY KEY (`id`) USING BTREE
) ENGINE = InnoDB AUTO_INCREMENT = 2 CHARACTER SET = utf8 COLLATE = utf8_general_ci ROW_FORMAT = Dynamic;
複制代碼 canal-server使用
- 将我們下載下傳好的壓縮包canal.deployer-1.1.5-SNAPSHOT.tar.gz上傳到Linux伺服器，然後解壓到指定目錄/mydata/canal-server，可使用如下指令解壓；
tar -zxvf canal.deployer-1.1.5-SNAPSHOT.tar.gz
複制代碼 - 解壓完成後目錄結構如下；
├── bin
│ ├── restart.sh
│ ├── startup.bat
│ ├── startup.sh
│ └── stop.sh
├── conf
│ ├── canal_local.properties
│ ├── canal.properties
│ └── example
│ └── instance.properties
├── lib
├── logs
│ ├── canal
│ │ └── canal.log
│ └── example
│ ├── example.log
│ └── example.log
└── plugin
複制代碼 - 修改配置檔案conf/example/instance.properties，按如下配置即可，主要是修改資料庫相關配置；
# 需要同步資料的MySQL位址
canal.instance.master.address=127.0.0.1:3306
canal.instance.master.journal.name=
canal.instance.master.position=
canal.instance.master.timestamp=
canal.instance.master.gtid=
# 用于同步資料的資料庫賬号
canal.instance.dbUsername=canal
# 用于同步資料的資料庫密碼
canal.instance.dbPassword=canal
# 資料庫連接配接編碼
canal.instance.connectionCharset = UTF-8
# 需要訂閱binlog的表過濾正規表達式
canal.instance.filter.regex=.*\\..*
複制代碼 - 使用startup.sh腳本啟動canal-server服務；
sh bin/startup.sh
複制代碼 - 啟動成功後可使用如下指令檢視服務日志資訊；
tail -f logs/canal/canal.log
複制代碼 2020-10-26 16:18:13.354 [main] INFO com.alibaba.otter.canal.deployer.CanalController - ## start the canal server[172.17.0.1(172.17.0.1):11111]
2020-10-26 16:18:19.978 [main] INFO com.alibaba.otter.canal.deployer.CanalStarter - ## the canal server is running now ......
複制代碼 - 啟動成功後可使用如下指令檢視instance日志資訊；
tail -f logs/example/example.log
複制代碼 2020-10-26 16:18:16.056 [main] INFO c.a.o.c.i.spring.support.PropertyPlaceholderConfigurer - Loading properties file from class path resource [canal.properties]
2020-10-26 16:18:16.061 [main] INFO c.a.o.c.i.spring.support.PropertyPlaceholderConfigurer - Loading properties file from class path resource [example/instance.properties]
2020-10-26 16:18:18.259 [main] INFO c.a.otter.canal.instance.spring.CanalInstanceWithSpring - start CannalInstance for 1-example
2020-10-26 16:18:18.282 [main] WARN c.a.o.canal.parse.inbound.mysql.dbsync.LogEventConvert - --> init table filter : ^.*\..*$
2020-10-26 16:18:18.282 [main] WARN c.a.o.canal.parse.inbound.mysql.dbsync.LogEventConvert - --> init table black filter : ^mysql\.slave_.*$
2020-10-26 16:18:19.543 [destination = example , address = /127.0.0.1:3306 , EventParser] WARN c.a.o.c.p.inbound.mysql.rds.RdsBinlogEventParserProxy - ---> begin to find start position, it will be long time for reset or first position
2020-10-26 16:18:19.578 [main] INFO c.a.otter.canal.instance.core.AbstractCanalInstance - start successful....
2020-10-26 16:18:19.912 [destination = example , address = /127.0.0.1:3306 , EventParser] WARN c.a.o.c.p.inbound.mysql.rds.RdsBinlogEventParserProxy - prepare to find start position just last position
{"identity":{"slaveId":-1,"sourceAddress":{"address":"localhost","port":3306}},"postion":{"gtid":"","included":false,"journalName":"mall-mysql-bin.000006","position":2271,"serverId":101,"timestamp":1603682664000}}
2020-10-26 16:18:22.435 [destination = example , address = /127.0.0.1:3306 , EventParser] WARN c.a.o.c.p.inbound.mysql.rds.RdsBinlogEventParserProxy - ---> find start position successfully, EntryPosition[included=false,journalName=mall-mysql-bin.000006,position=2271,serverId=101,gtid=,timestamp=1603682664000] cost : 2768ms , the next step is binlog dump
複制代碼 - 如果想要停止canal-server服務可以使用如下指令。
sh bin/stop.sh
複制代碼 canal-adapter使用
- 将我們下載下傳好的壓縮包canal.adapter-1.1.5-SNAPSHOT.tar.gz上傳到Linux伺服器，然後解壓到指定目錄/mydata/canal-adpter，解壓完成後目錄結構如下；
├── bin
│ ├── adapter.pid
│ ├── restart.sh
│ ├── startup.bat
│ ├── startup.sh
│ └── stop.sh
├── conf
│ ├── application.yml
│ ├── es6
│ ├── es7
│ │ ├── biz_order.yml
│ │ ├── customer.yml
│ │ └── product.yml
│ ├── hbase
│ ├── kudu
│ ├── logback.xml
│ ├── META-INF
│ │ └── spring.factories
│ └── rdb
├── lib
├── logs
│ └── adapter
│ └── adapter.log
└── plugin
複制代碼 - 修改配置檔案conf/application.yml，按如下配置即可，主要是修改canal-server配置、資料源配置和用戶端擴充卡配置；
canal.conf:
mode: tcp # 用戶端的模式，可選tcp kafka rocketMQ
flatMessage: true # 扁平message開關, 是否以json字元串形式投遞資料, 僅在kafka/rocketMQ模式下有效
zookeeperHosts: # 對應叢集模式下的zk位址
syncBatchSize: 1000 # 每次同步的批數量
retries: 0 # 重試次數, -1為無限重試
timeout: # 同步逾時時間, 機關毫秒
accessKey:
secretKey:
consumerProperties:
# canal tcp consumer
canal.tcp.server.host: 127.0.0.1:11111 #設定canal-server的位址
canal.tcp.zookeeper.hosts:
canal.tcp.batch.size: 500
canal.tcp.username:
canal.tcp.password:
srcDataSources: # 源資料庫配置
defaultDS:
url: jdbc:mysql://127.0.0.1:3306/canal_test?useUnicode=true
username: canal
password: canal
canalAdapters: # 擴充卡清單
- instance: example # canal執行個體名或者MQ topic名
groups: # 分組清單
- groupId: g1 # 分組id, 如果是MQ模式将用到該值
outerAdapters:
- name: logger # 日志列印擴充卡
- name: es7 # ES同步擴充卡
hosts: 127.0.0.1:9200 # ES連接配接位址
properties:
mode: rest # 模式可選transport(9300) 或者 rest(9200)
# security.auth: test:123456 # only used for rest mode
cluster.name: elasticsearch # ES叢集名稱
複制代碼 - 添加配置檔案canal-adapter/conf/es7/product.yml，用于配置MySQL中的表與Elasticsearch中索引的映射關系；
dataSourceKey: defaultDS # 源資料源的key, 對應上面配置的srcDataSources中的值
destination: example # canal的instance或者MQ的topic
groupId: g1 # 對應MQ模式下的groupId, 隻會同步對應groupId的資料
esMapping:
_index: canal_product # es 的索引名稱
_id: _id # es 的_id, 如果不配置該項必須配置下面的pk項_id則會由es自動配置設定
sql: "SELECT
p.id AS _id,
p.title,
p.sub_title,
p.price,
p.pic
FROM
product p" # sql映射
etlCondition: "where a.c_time>={}" #etl的條件參數
commitBatch: 3000 # 送出批大小
複制代碼 - 使用startup.sh腳本啟動canal-adapter服務；
sh bin/startup.sh
複制代碼 - 啟動成功後可使用如下指令檢視服務日志資訊；
tail -f logs/adapter/adapter.log
複制代碼 20-10-26 16:52:55.148 [main] INFO c.a.o.canal.adapter.launcher.loader.CanalAdapterLoader - Load canal adapter: logger succeed
2020-10-26 16:52:57.005 [main] INFO c.a.o.c.client.adapter.es.core.config.ESSyncConfigLoader - ## Start loading es mapping config ...
2020-10-26 16:52:57.376 [main] INFO c.a.o.c.client.adapter.es.core.config.ESSyncConfigLoader - ## ES mapping config loaded
2020-10-26 16:52:58.615 [main] INFO c.a.o.canal.adapter.launcher.loader.CanalAdapterLoader - Load canal adapter: es7 succeed
2020-10-26 16:52:58.651 [main] INFO c.alibaba.otter.canal.connector.core.spi.ExtensionLoader - extension classpath dir: /mydata/canal-adapter/plugin
2020-10-26 16:52:59.043 [main] INFO c.a.o.canal.adapter.launcher.loader.CanalAdapterLoader - Start adapter for canal-client mq topic: example-g1 succeed
2020-10-26 16:52:59.044 [main] INFO c.a.o.canal.adapter.launcher.loader.CanalAdapterService - ## the canal client adapters are running now ......
2020-10-26 16:52:59.057 [Thread-4] INFO c.a.otter.canal.adapter.launcher.loader.AdapterProcessor - =============> Start to connect destination: example <=============
2020-10-26 16:52:59.100 [main] INFO org.apache.coyote.http11.Http11NioProtocol - Starting ProtocolHandler ["http-nio-8081"]
2020-10-26 16:52:59.153 [main] INFO org.apache.tomcat.util.net.NioSelectorPool - Using a shared selector for servlet write/read
2020-10-26 16:52:59.590 [main] INFO o.s.boot.web.embedded.tomcat.TomcatWebServer - Tomcat started on port(s): 8081 (http) with context path ''
2020-10-26 16:52:59.626 [main] INFO c.a.otter.canal.adapter.launcher.CanalAdapterApplication - Started CanalAdapterApplication in 31.278 seconds (JVM running for 33.99)
2020-10-26 16:52:59.930 [Thread-4] INFO c.a.otter.canal.adapter.launcher.loader.AdapterProcessor - =============> Subscribe destination: example succeed <=============
複制代碼 - 如果需要停止canal-adapter服務可以使用如下指令。
sh bin/stop.sh
複制代碼 資料同步示範
經過上面的一系列步驟，canal的資料同步功能已經基本可以使用了，下面我們來示範下資料同步功能。
- 首先我們需要在Elasticsearch中建立索引，和MySQL中的product表相對應，直接在Kibana的Dev Tools中使用如下指令建立即可；
PUT canal_product
{
"mappings": {
"properties": {
"title": {
"type": "text"
},
"sub_title": {
"type": "text"
},
"pic": {
"type": "text"
},
"price": {
"type": "double"
}
}
}
}
複制代碼 - 建立完成後可以檢視下索引的結構；
GET canal_product/_mapping
複制代碼 - 之後使用如下SQL語句在資料庫中建立一條記錄；
INSERT INTO product ( id, title, sub_title, price, pic ) VALUES ( 5, '小米8', ' 全面屏遊戲智能手機 6GB+64GB', 1999.00, NULL );
複制代碼 - 建立成功後，在Elasticsearch中搜尋下，發現資料已經同步了；
GET canal_product/_search
複制代碼 - 再使用如下SQL對資料進行修改；
UPDATE product SET title='小米10' WHERE id=5
複制代碼 - 修改成功後，在Elasticsearch中搜尋下，發現資料已經修改了；
- 再使用如下SQL對資料進行删除操作；
DELETE FROM product WHERE id=5
複制代碼 - 删除成功後，在Elasticsearch中搜尋下，發現資料已經删除了，至此MySQL同步到Elasticsearch的功能完成了！
canal-admin使用
- 将我們下載下傳好的壓縮包canal.admin-1.1.5-SNAPSHOT.tar.gz上傳到Linux伺服器，然後解壓到指定目錄/mydata/canal-admin，解壓完成後目錄結構如下；
├── bin
│ ├── restart.sh
│ ├── startup.bat
│ ├── startup.sh
│ └── stop.sh
├── conf
│ ├── application.yml
│ ├── canal_manager.sql
│ ├── canal-template.properties
│ ├── instance-template.properties
│ ├── logback.xml
│ └── public
│ ├── avatar.gif
│ ├── index.html
│ ├── logo.png
│ └── static
├── lib
└── logs
複制代碼 - 建立canal-admin需要使用的資料庫canal_manager，建立SQL腳本為/mydata/canal-admin/conf/canal_manager.sql，會建立如下表；
- 修改配置檔案conf/application.yml，按如下配置即可，主要是修改資料源配置和canal-admin的管理賬号配置，注意需要用一個有讀寫權限的資料庫賬号，比如管理賬号root:root；
server:
port: 8089
spring:
jackson:
date-format: yyyy-MM-dd HH:mm:ss
time-zone: GMT+8
spring.datasource:
address: 127.0.0.1:3306
database: canal_manager
username: root
password: root
driver-class-name: com.mysql.jdbc.Driver
url: jdbc:mysql://${spring.datasource.address}/${spring.datasource.database}?useUnicode=true&characterEncoding=UTF-8&useSSL=false
hikari:
maximum-pool-size: 30
minimum-idle: 1
canal:
adminUser: admin
adminPasswd: admin
複制代碼 - 接下來對之前搭建的canal-server的conf/canal_local.properties檔案進行配置，主要是修改canal-admin的配置，修改完成後使用sh bin/startup.sh local重新開機canal-server：
# register ip
canal.register.ip =
# canal admin config
canal.admin.manager = 127.0.0.1:8089
canal.admin.port = 11110
canal.admin.user = admin
canal.admin.passwd = 4ACFE3202A5FF5CF467898FC58AAB1D615029441
# admin auto register
canal.admin.register.auto = true
canal.admin.register.cluster =
複制代碼 - 使用startup.sh腳本啟動canal-admin服務；
sh bin/startup.sh
複制代碼 - 啟動成功後可使用如下指令檢視服務日志資訊；
tail -f logs/admin.log
複制代碼 020-10-27 10:15:04.210 [main] INFO org.apache.coyote.http11.Http11NioProtocol - Starting ProtocolHandler ["http-nio-8089"]
2020-10-27 10:15:04.308 [main] INFO org.apache.tomcat.util.net.NioSelectorPool - Using a shared selector for servlet write/read
2020-10-27 10:15:04.534 [main] INFO o.s.boot.web.embedded.tomcat.TomcatWebServer - Tomcat started on port(s): 8089 (http) with context path ''
2020-10-27 10:15:04.573 [main] INFO com.alibaba.otter.canal.admin.CanalAdminApplication - Started CanalAdminApplication in 31.203 seconds (JVM running for 34.865)
複制代碼 - 通路canal-admin的Web界面，輸入賬号密碼admin:123456即可登入，通路位址：http://192.168.3.101:8089
- 登入成功後即可使用Web界面操作canal-server。