kafka最常用指令清單

kafka版本：V0.2.10.1

zookeeper版本：V3.4.11

confluent版本：V3.3.0

一、confluent相關啟動

1、啟動confluent：

./schema-registry-start  -daemon ./etc/schema-registry/schema-registry.properties           

-daemon的目的是為了背景運作，且能保證日志輸出。

輸出日志的路徑為confluent的logs路徑。

2、生産者——生成AVRO格式資料

./bin/kafka-avro-console-producer --broker-list 192.168.1.11:9092 --topic mytopic --property 
value.schema='{"type":"record","name":"myrecord","fields":[{"name":"f1","type":"string"}]}'           

3、消費者——AVRO格式資料消費

./kafka-avro-console-consumer --topic mytopic  --bootstrap-server  192.168.1.11:9092
./kafka-avro-console-consumer --new-consume  --topic mytopic   --bootstrap-server  192.168.1.11:9092           

4、啟動scheme，監聽8081端口

./schema-registry-start  -daemon ./etc/schema-registry/schema-registry.properties            

5、啟動connector連接配接，監聽8083端口

./bin/connect-distributed  -daemon ./etc/schema-registry/connect-avro-distributed.properties           

6、利用restful API 接口建立connector

可借助postman工具。

curl -XGET 192.168.1.11:8083/connectors
curl -XDELETE 192.168.1.11:8083/connectors/某條連接配接           

二、zookeeper相關

1、啟動zookeeper

./zkServer.sh start           

啟動後，監聽端口：2181

2、停止zookeeper

./zkServer.sh stop           

三、kafka相關

1、啟動kafka：

./kafka-server-start.sh -daemon ../config/server.properties            

啟動後，預設監聽端口 9092

2、建立專題topic

在kafka的路徑下，

./kafka-topics.sh --create --zookeeper 192.168.1.11:2181 --replication-factor 1 --partitions 5--topic mytopic           

3、檢視專題topic

./kafka-topics.sh --describe --zookeeper 192.168.1.11:2181 --topic mytopic           

4、修改partition

./kafka-topics.sh --zookeeper  192.168.1.11:2181 --alter --topicmytopic  --partition 10           

修改分片大小為10

5、啟動生産者——生産資料(發送）

kafka的路徑下，

bin/kafka-console-producer.sh --broker-list 192.168.1.11:9092 --topic  mytopi
This is a message
This is another message           

6、啟動消費者

./kafka-console-consumer.sh --bootstrap-server 192.168.1.11:9092 --topic mytopic --from-beginning           

–from-beginning：從頭開始讀；

去掉–from-beginning：從最新處開始讀。

7、删除topic

步驟1：删除topic

./kafka-topics.sh –zookeeper 192.168.1.11:2181 –delete –topic mytopic           

步驟2：client删除操作

1）打開zookeeper client 
     執行：./bin/zkCli.sh  -server 192.168.1.11:2181
    2）在Zookeeper用戶端下執行指令
        ls /brokers/topics
    3)在Zookeeper用戶端下執行指令
        rmr /brokers/topics/mytopic
        其中，mytopic為要删除的topic。
    4)驗證是否删除：
        ls /config/topics 
        ls /brokers/topics      
        ls /admin/delete_topics 

      Admin/delete_topic/下為待删除topic，
      如果在kafka中topic被删除，會有删除被标記，就是标記在這裡。

   5）檢視topic還在不在
  ./kafka-topics.sh --list --zookeeper  192.168.1.11:2181  | grep mytopic           

以上，僅作為備忘。

作者：銘毅天下

轉載請标明出處，原文位址：

http://blog.csdn.net/laoyang360/article/details/79028851

如果感覺本文對您有幫助，請點選‘頂’支援一下，您的支援是我堅持寫作最大的動力，謝謝！