maxwell:实时变化数据 mysql->kafka

maxwell 实时获取mysql变化数据

1. mysql 开启bin-log

• vim /etc/my.conf

  在[mysqld]节点下添加

  [mysqld]
  server-id=1
  log-bin=mysql-bin
  binlog_format=row
  binlog-do-db=adcpwb      

• 重启mysql服务

  service mysqld restart      

2. 开启权限

• 在数据库中建立一个maxwell库用于存储Maxwell的元数据。

CREATE DATABASE maxwell ;      

• 并且分配一个账号可以操作该数据库

GRANT ALL ON maxwell.* TO 'maxwell'@'%' IDENTIFIED  BY '123456';      

• 分配这个账号可以监控其他数据库的权限

GRANT SELECT,REPLICATION SLAVE,REPLICATION CLIENT ON *.* TO maxwell@'%'      

3. 安装maxwell

• # 配置消息写入的kafka地址和topic
  producer=kafka
  kafka.bootstrap.servers=192.168.11.35:9092
  kafka_topic=pre-vehicle
  
  # mysql主机地址和密码，以及监听的数据表
  host=192.168.11.28
  user=maxwell
  password=123456
  client_id=122
  include_tables=tt_vehicles      

• nohup bin/maxwell --config ./maxwell.properties  >/dev/null 2>&1 &