天天看点

canal单机环境搭建(Linux)介绍:一、安装准备二、安装配置三、验证安装

目录

介绍:

一、安装准备

二、安装配置

三、验证安装

介绍:

Canal 是用 java 开发的基于数据库增量日志解析,提供增量数据订阅&消费的中间件。 目前,Canal 主要支持了 MySQL 的 Binlog 解析,解析完成后才利用 Canal Client 来处理 获得的相关数据。(数据库同步需要阿里的 Otter 中间件,基于 Canal)。 常见场景: 常见场景 1 :更新缓存 常见场景 2 :抓取业务数据新增变化表,用于制作拉链表。 常见场景3:抓取业务表的新增变化数据,用于制作实时统计

一、安装准备

1.1下载安装包

官网地址如下:

Releases · alibaba/canal · GitHub

选择想要安装的版本

canal单机环境搭建(Linux)介绍:一、安装准备二、安装配置三、验证安装

二、安装配置

2.1上传安装包

2.2解压

#canal解压后是散的,解压的时候需要将canal指定
mkdir canal
           

进入安装包的目录执行:

#解压到/training/canal
tar -zvxf canal.deployer-1.1.4.tar.gz -C /training/canal
           

2.3修改canal.properties

进入canal的conf

vi canal.properties

修改:canal.serverMode和canal.mq.servers

#把这两个位置修改成以下这样
canal.serverMode = kafka
canal.mq.servers = hadoop01:9092,hadoop02:9092,hadoop03:9093
           

 2.4修改instance.properties

进入canal/conf/example,

vi instance.properties

 修改以下内容:

#配置 MySQL 服务器地址
canal.instance.master.address=hadoop01:3306

#配置连接 MySQL 的用户名和密码
canal.instance.dbUsername=gmall
canal.instance.dbPassword=Zj_123456

#修改 Kafka 的主题以及分区数
canal.mq.topic=test_db

#注释canal.mq.partition=0
#canal.mq.partition=0

#取消注释canal.mq.partitionsNum=3,且数值位3
canal.mq.partitionsNum=3
           

注:hadoop01是我的主机名,3306是端口号;

gmall是我MySQL的用户名,Zj_123456是密码;

kafka的主题名为test_db;分区参数为1。

设置主题等等操作参考:

kafka的基本操作(命令行操作)_一个人的牛牛的博客-CSDN博客_kafka操作

安装kafka参考:kafka单机和集群(全分布)的安装部署过程_一个人的牛牛的博客-CSDN博客_kafka部署

三、验证安装

3.1启动

 bin/startup.sh

3.2jps查看进程

canal单机环境搭建(Linux)介绍:一、安装准备二、安装配置三、验证安装

 看到 CanalLauncher 表示启动成功,同时会创建 test_db 主题

3.3kafka 

查看当前服务器中的所有topic(在kafka目录下)

kafka-topics.sh --zookeeper hadoop01:2181 --list

canal单机环境搭建(Linux)介绍:一、安装准备二、安装配置三、验证安装