kafka生産操作

kafka操作文檔

1.為什麼要寫這篇操作文檔？

2.這邊文章解決什麼問題？

需求文檔會提供：kafka目錄、topic、kafak位址

下面是我的測試

kafka位址【伺服器位址，後面預設在該目錄下執行kafka指令】：/opt/app/kafka topic ：test1 kafka位址 【我配置了hosts，沒配置就輸入IP】：node01:2181,node02:2181,node03:2181

一般在伺服器中，這三類就能滿足基本的使用​<code>​kafka版本、資訊都是上遊提供的，不歸我們負責​</code>​

1.【消費一條樣例資料】最常使用

例：消費kafka的一條資料【一般用來取一條樣例資料，擷取kafka資料的格式】，便于後續開發

2.【消費存入文檔】從頭消費kafka資料，寫入檔案wsy.log中,[ '&gt;wsy.log' 覆寫寫入 ，'&gt;&gt;wsy.log' 追加寫入]

3.【過濾消費】消費kafka,根據指定字段一行一行過濾[過濾20210817天，9點的資料時間的資料，SEND_DATE，SEND_TIME是kafka的字段]【我也用IP舉個例子】

1.【程式需要重新消費，補數使用】我們程式在運作過程中，因為程式需求添加或更改，需要重新消費kafka資料。

​

一般自己做測試使用,改一下topic 和kafka位址就好

1、啟動kafka【前提需要啟動zookeeper】

2、建立topic

3、列舉所有topic

4、檢視topic【可以檢視一些分區資訊】

5、删除topic

6、生産者

7、消費者

​<code>​需要先配置叢集間免密登陸​</code>​

zkstart.sh

​<code>​執行過程​</code>​

自己在使用的時候改一下 kafka 的部署目錄和ip

kafka-start.sh