文章目录
- 前言
- 一、认识Canal
- 二、安装配置Canal
- 2.1、Docker快速安装MySQL 5.7.56
- 2.2、Docker快速安装Canal 1.1.5
前言
所有博客文件目录索引：博客目录索引(持续更新)
一、认识Canal
canal-github仓库
Canal介绍：Canal 是用 Java 开发的基于数据库增量日志解析，提供增量数据订阅&消费的中间件（数据库同步需要阿里的 Otter 中间件，基于 Canal）。
Canal背景：阿里巴巴 B2B 公司，因为业务的特性，卖家主要集中在国内，买家主要集中在国外，所以衍生出了同步杭州和美国异地机房的需求，从 2010 年开始，阿里系公司开始逐步的尝试基于数据库的日志解析，获取增量变更进行同步，由此衍生出了增量订阅&消费的业务。
Canal原理：自己伪装成 Slave，假装从 Master 复制数据，实际上就是主从复制的一个流程（通过增量复制来不断的进行订阅消费数据）
- 主从复制原理：
1）Master 主库将改变记录，写到二进制日志(Binary Log)中；
2）Slave 从库向 MySQL Master 发送 dump 协议，将 Master 主库的 binary log events 拷贝到它的中继日志(relay log)；
3）Slave 从库读取并重做中继日志中的事件，将改变的数据同步到自己的数据库。 binlog的分类：statement、row、mixed。在canal配合mysql时，mysql需要配置binlog模式为row(推荐)。
- statement：记录每一次执行写操作的sql语句，但是可能会产生数据不一致，例如sql语句
update tt set create_date=now()
- row：记录每次操作后每行记录的变化，直接记录的是数据，能够保持数据的一致性，缺点就是比较占空间。
- mixed：statement 的升级版，默认实质还是statement，对于uuid()、auto_increment会使用row模式处理，还算是比较智能，但是极个别情况还是会造成数据不一致，并且由于默认依旧是statement，实际上就是sql+数据形式。
常用场景：
1、异地数据库的同步。
2、更新缓存。（例如以往的对应某些数据库表字段会设置缓存，处理更新数据库时的字段对缓存进行更新，在高并发的情况下会造成数据一致性问题，此时可以使用canal）
3、抓取数据更新，来进行实时数据分析。
二、安装配置Canal
当前安装的MySQL版本：5.7.36，Canal版本是1.1.5。
Docker的安装可见：快速使用Docker部署MySQL、Redis、Nginx
2.1、Docker快速安装MySQL 5.7.56
canal对于mysql的提前配置文档：canal-quickstart
下载mysql：
docker 启动mysql服务：
# 首先运行这个容器（目的是拷贝其中的配置文件）
docker run --name mysql5736 \
-p 3306:3306 \
-e MYSQL_ROOT_PASSWORD=root \
-d mysql:5.7.36
# 复制mysql5.7.36的配置文件（注意：若是你使用不同版本的对应位置要进行修改）
docker cp 复制的配置文件如下：
# 配置文件中添加如下内容，注意是在在[mysqld]目录中
log-bin=mysql-bin # 开启 binlog
binlog-format=ROW # 选择 ROW 模式
server-id=1 # 配置 MySQL replaction 需要定义，不要和 canal 的 slaveId 重复 接着我们进行下面真正启动容器命令：
# 删除之前启动的docker容器（我们需要添加一些新的启动项参数）
docker rm -f mysql5736
# 运行docker容器命令
# --name mysql5736：容器名为mysql5736
# /etc/localtime：时间同步
# /mydata/mysql/conf：同步配置文件（这个是关键，上面配置的内容就会覆盖容器中的配置文件）
# /mydata/mysql/log：同步日志目录
# /mydata/mysql/data：同步mysql的一些文件内容（对数据进行备份）
# MYSQL_ROOT_PASSWORD=root：默认root的密码是root
docker run --name mysql5736 \
-p 3306:3306 \
-v /etc/localtime:/etc/localtime \
-v /mydata/mysql/conf:/etc/mysql/mysql.conf.d \
-v /mydata/mysql/log:/var/log/mysql \
-v /mydata/mysql/data:/var/lib/mysql \
-e MYSQL_ROOT_PASSWORD=root \ 接下来我们进入到mysql的命令行模式来给root账号授权所有ip能够访问，授权好之后我们可以用navicat来进行连接：
# 使用mysql容器中的命令行
docker exec -it mysql5736 /bin/bash
# 使用MySQL命令打开客户端：
mysql -uroot -proot --default-character-set=utf8
# 接着创建一个账户，该账号所有ip都能够访问
grant all privileges on *.* to 'root' @'%' identified by 'root';
# 刷新生效
FLUSH PRIVILEGES; 创建canal账号并去授权 canal ，为了之后canal进行连接mysql的账户：
-- 创建用户名密码都是canal的账号
CREATE USER canal IDENTIFIED BY 'canal';
-- 为canal进行授权读取、client从、客户端权限
grant SELECT, REPLICATION SLAVE, REPLICATION CLIENT on *.* to 'canal'@'%';
-- 刷新生效
FLUSH PRIVILEGES; 注意：一定要查看bin-log是否已经开启，下面的命令我们可以去进行一个查看当前mysql的信息：
# 查看binlog日志是否开启
show variables like 'log_%';
# 查看主结点当前状态 
此时我们也可以在对应的/mydata/mysql/data中查看到bin-log日志情况：
2.2、Docker快速安装Canal 1.1.5
Canal下载地址
tar压缩包安装：官方文档
Docker安装的官方文档：Canal Docker QuickStart
拉取Canal的镜像文件：
docker 首次启动容器，并拷贝配置文件：
# 启动容器（目的是拷贝配置文件）
docker run --name canal115 \
-p 11111:11111 \
-id canal/canal-server:v1.1.5
# 提前创建 /mydata/canal/conf目录，接着来执行拷贝配置文件命令
docker cp 复制好配置文件之后，我们来对这个properties进行修改，下面的内容在配置文件中若是注释状态就打开并修改：
# 从机id（与之前mysql配置的id不同）
canal.instance.mysql.slaveId=2
# 指定ip地址也是可以的，查看方式docker inspect --format '{{ .NetworkSettings.IPAddress }}' mysql
# 容器进行了--link，这里mysql5736就是对应的服务地址
canal.instance.master.address=mysql5736:3306
# 用户名与密码
canal.instance.dbUsername=canal
canal.instance.dbPassword=canal
# 匹配全部数据库
canal.instance.filter.regex = .\*\\\\..\*
canal.mq.topic=example # 目的地队列 执行命令启动canal容器：
# 删除原先的canal服务
docker rm -f canal115
# 启动canal服务
# -i：让容器的标准输入保持打开（特别特别重要，注意不要是-d，一定要加上i）
docker run --name canal115 \
-p 11111:11111 \
-v /mydata/canal/conf/instance.properties:/home/admin/canal-server/conf/example/instance.properties \
--link mysql5736:mysql5736 \ 启动完canal之后，去查看canal实例的日志内容，判断是否已经成功连接到mysql：
# 进入到docker容器
docker exec -it canal115 /bin/bash
# 打开日志文件
cd canal-server/logs/example/
# 查看日志文件的最后100行内容
tail 下面是连接成功的情况：
另外贴出连接失败情况（折腾了一天了快，最后终于解决）：
BioSocketChannelPool默认超时时间不够，导致连接出错 、Docker整合canal 踩坑实录
docker安装并使用阿里巴巴Canal(含安装MySQL、开启binlog、Java代码、填坑经验)
解决方案：
- 这个解决方案并不是搜索博客解决的，而是看一个实战项目教程，我通过看别人实际能够连接的案例执行命令，找到了这个问题，一定要注意细节！！！