kafka生産者與消費者案例

文章目錄

• ​​1、建立主題​​
• ​​2、建立生産者​​
• ​​3、建立消費者​​
• ​​4、資料的生産與消費​​

所有節點啟動kafka

1、建立主題

建立一個名為itcasttopic的主題

bug1：

出現此錯誤的原因是定義的副本數，也就是replication-factor要小于你的伺服器的數量，若你隻有一台服務kafka，那麼這裡的2就超出了範圍。

Error while executing topic command : Replication factor: 2 larger than available brokers: 1.

kafka-topics.sh --create \
--topic itcasttopic \
--partitions 3 \
--replication-factor 2 \
--zookeeper hadoop01:2181,hadoop02:2181,hadoop03:2181      

正常情況下結果

若要删除改create為delete

kafka-topics.sh --delete \
--topic itcasttopic \
--zookeeper hadoop01:2181,hadoop02:2181,hadoop03:2181      

2、建立生産者

kafka-console-producer.sh \
--broker-list hadoop01:9092,hadoop02:9092,hadoop03:9092 \
--topic itcasttopic      

3、建立消費者

kafka-console-consumer.sh \
--from-beginning --topic itcasttopic \
--bootstrap-server hadoop01:9092,hadoop02:9092,hadoop03:9092      

bug2：

WARN [Producer clientId=console-producer] Connection to node -3 could not be established. Broker may not be available. (org.apache.kafka.clients.NetworkClient)

此bug出現的原因是配置檔案對應的主機沒有更改對應上ip。

4、資料的生産與消費

檢視所有主題