maxwell:實時變化資料 mysql->kafka

maxwell 實時擷取mysql變化資料

1. mysql 開啟bin-log

• vim /etc/my.conf

  在[mysqld]節點下添加

  [mysqld]
  server-id=1
  log-bin=mysql-bin
  binlog_format=row
  binlog-do-db=adcpwb      

• 重新開機mysql服務

  service mysqld restart      

2. 開啟權限

• 在資料庫中建立一個maxwell庫用于存儲Maxwell的中繼資料。

CREATE DATABASE maxwell ;      

• 并且配置設定一個賬号可以操作該資料庫

GRANT ALL ON maxwell.* TO 'maxwell'@'%' IDENTIFIED  BY '123456';      

• 配置設定這個賬号可以監控其他資料庫的權限

GRANT SELECT,REPLICATION SLAVE,REPLICATION CLIENT ON *.* TO maxwell@'%'      

3. 安裝maxwell

• # 配置消息寫入的kafka位址和topic
  producer=kafka
  kafka.bootstrap.servers=192.168.11.35:9092
  kafka_topic=pre-vehicle
  
  # mysql主機位址和密碼，以及監聽的資料表
  host=192.168.11.28
  user=maxwell
  password=123456
  client_id=122
  include_tables=tt_vehicles      

• nohup bin/maxwell --config ./maxwell.properties  >/dev/null 2>&1 &