debezium搭建

目录

• docker单节点版本
• • 创建
  • • zookeeper
    • kafka
    • postgresql
    • connector
    • 综合
  • connect
  • 监听消息
  • • 查看topic
    • 监听消息

docker单节点版本

创建

zookeeper

docker run -d --name zookeeper -p 2181:2181 -p 2888:2888 -p 3888:3888 debezium/zookeeper:0.10 
           

kafka

docker run -d --name kafka -p 9092:9092 --link zookeeper:zookeeper debezium/kafka:0.10 
           

postgresql

docker run --name database -p 5432:5432 -e POSTGRES_PASSWORD=mima --restart=always -d debezium/postgres:11 
           

connector

docker run -d --name connect -p 8083:8083 -e GROUP_ID=1 -e CONFIG_STORAGE_TOPIC=my-connect-configs -e OFFSET_STORAGE_TOPIC=my-connect-offsets --link zookeeper:zookeeper --link kafka:kafka --link database:database debezium/connect:0.10 
           

具体参数说明参见官网

其中database与上面postgresql的名字一致

综合

上面的命令可以合并成下面

docker stop connect kafka zookeeper database &&\
docker rm connect kafka zookeeper database &&\
docker run -d --name zookeeper -p 2181:2181 -p 2888:2888 -p 3888:3888 debezium/zookeeper &&\
docker run -d --name kafka -p 9092:9092 -e ADVERTISED_HOST_NAME=$(ip a|grep 192.168|awk '{print $2}'|awk -F / '{print $1}') --link zookeeper:zookeeper debezium/kafka  &&\
docker run --name database -p 5432:5432 -e POSTGRES_PASSWORD=mima --restart=always -d debezium/postgres:11 &&\
docker run -d --name connect -p 8083:8083 -e GROUP_ID=1 -e CONFIG_STORAGE_TOPIC=my-connect-configs -e OFFSET_STORAGE_TOPIC=my-connect-offsets --link zookeeper:zookeeper --link kafka:kafka --link database:database debezium/connect
           

connect

curl -i -X POST -H "Accept:application/json" -H "Content-Type:application/json" localhost:8083/connectors/ -d '{ "name": "connector", "config": { "connector.class": "io.debezium.connector.postgresql.PostgresConnector", "tasks.max": "1", "database.hostname": "database", "database.port": "5432", "database.user": "postgres", "database.password": "mima","database.dbname":"postgres", "database.server.name": "postgres"} }'  
           

这里面各个参数的具体含义可以参考官网

监听消息

当数据库里数据有变动时，kafka就会有消息

查看topic

docker run -it --rm --link zookeeper:zookeeper debezium/kafka:0.10 list-topics 
           

仅仅创建表并不会创建topic，需要有数据。

监听消息

docker run -it --rm --link zookeeper:zookeeper --link kafka:kafka debezium/kafka:0.10 watch-topic -a -k -m minBytes postgres.public.table_name 
           

最后面postgres.public.table_name是kafka的topic名字，其规律是dbname.schema.table_name

收到的消息是多个json一起，可以使用** } { **来隔开。真正有用的地方是payload下after里的数据，但并不是所有格式的字段都能正常处理。具体可参见include.unknown.datatypes

##参考资料

kafka docker