kafka最常用指令清單

1、啟動confluent：

./schema-registry-start  -daemon ./etc/schema-registry/schema-registry.properties

1

-daemon的目的是為了背景運作，且能保證日志輸出。

輸出日志的路徑為confluent的logs路徑。

2、生産者——生成AVRO格式資料

./bin/kafka-avro-console-producer --broker-list 192.168.1.11:9092 --topic mytopic --property

value.schema='{"type":"record","name":"myrecord","fields":[{"name":"f1","type":"string"}]}'

2

3、消費者——AVRO格式資料消費

./kafka-avro-console-consumer --topic mytopic  --bootstrap-server  192.168.1.11:9092

./kafka-avro-console-consumer --new-consume  --topic mytopic   --bootstrap-server  192.168.1.11:9092

4、啟動scheme，監聽8081端口

./schema-registry-start  -daemon ./etc/schema-registry/schema-registry.properties

5、啟動connector連接配接，監聽8083端口

./bin/connect-distributed  -daemon ./etc/schema-registry/connect-avro-distributed.properties

6、利用restful API 接口建立connector

可借助postman工具。

curl -XGET 192.168.1.11:8083/connectors

curl -XDELETE 192.168.1.11:8083/connectors/某條連接配接

二、zookeeper相關

1、啟動zookeeper

./zkServer.sh start

啟動後，監聽端口：2181

2、停止zookeeper

./zkServer.sh stop

三、kafka相關

1、啟動kafka：

./kafka-server-start.sh -daemon ../config/server.properties

啟動後，預設監聽端口 9092

2、建立專題topic

在kafka的路徑下，

./kafka-topics.sh --create --zookeeper 192.168.1.11:2181 --replication-factor 1 --partitions 5--topic mytopic

3、檢視專題topic

./kafka-topics.sh --describe --zookeeper 192.168.1.11:2181 --topic mytopic

4、修改partition

./kafka-topics.sh --zookeeper  192.168.1.11:2181 --alter --topicmytopic  --partition 10

修改分片大小為10

5、啟動生産者——生産資料(發送）

kafka的路徑下，

bin/kafka-console-producer.sh --broker-list 192.168.1.11:9092 --topic  mytopi

This is a message

This is another message

3

6、啟動消費者

./kafka-console-consumer.sh --bootstrap-server 192.168.1.11:9092 --topic mytopic --from-beginning

–from-beginning：從頭開始讀；

去掉–from-beginning：從最新處開始讀。

7、删除topic

步驟1：删除topic

./kafka-topics.sh –zookeeper 192.168.1.11:2181 –delete –topic mytopic

步驟2：client删除操作

   1）打開zookeeper client

    執行：./bin/zkCli.sh  -server 192.168.1.11:2181

   2）在Zookeeper用戶端下執行指令

       ls /brokers/topics

   3)在Zookeeper用戶端下執行指令

       rmr /brokers/topics/mytopic

       其中，mytopic為要删除的topic。

   4)驗證是否删除：

       ls /config/topics

       ls /brokers/topics      

       ls /admin/delete_topics

     Admin/delete_topic/下為待删除topic，

     如果在kafka中topic被删除，會有删除被标記，就是标記在這裡。

  5）檢視topic還在不在

 ./kafka-topics.sh --list --zookeeper  192.168.1.11:2181  | grep mytopic

4

5

6

7

8

9

10

11

12

13

14

15

16

17

以上，僅作為備忘。