前言
首先說一下kafka是什麼,Kafka是一種高吞吐量的分布式釋出訂閱消息系統,它可以處理消費者規模的網站中的所有動作流資料。 這種動作(網頁浏覽,搜尋和其他使用者的行動)是在現代網絡上的許多社會功能的一個關鍵因素。 這些資料通常是由于吞吐量的要求而通過處理日志和日志聚合來解決。 對于像Hadoop的一樣的日志資料和離線分析系統,但又要求實時處理的限制,這是一個可行的解決方案。Kafka的目的是通過Hadoop的并行加載機制來統一線上和離線的消息處理,也是為了通過叢集來提供實時的消費。
它具有以下名詞:
Broker
Kafka叢集包含一個或多個伺服器,這種伺服器被稱為broker
Topic
每條釋出到Kafka叢集的消息都有一個類别,這個類别被稱為Topic。(實體上不同Topic的消息分開存儲,邏輯上一個Topic的消息雖然儲存于一個或多個broker上但使用者隻需指定消息的Topic即可生産或消費資料而不必關心資料存于何處)
Partition
Partition是實體上的概念,每個Topic包含一個或多個Partition.
Producer
負責釋出消息到Kafka broker
Consumer
消息消費者,向Kafka broker讀取消息的用戶端。
Consumer Group
每個Consumer屬于一個特定的Consumer Group(可為每個Consumer指定group name,若不指定group name則屬于預設的group)。
——摘自百度百科
1.安裝jdk
Kafka是運作在JVM中的,是以需要有Java環境,安裝過程略。
2.安裝zookeeper
Kafka存儲元資訊、進行叢集資訊交換,節點的注冊、發現,生産者和消費者的協同等都需要依賴zookeeper來實作。Zookeeper的安裝過程略,下載下傳完成後,需要将“conf/zoo_sample.cfg”重命名為“zoo.cfg”,也可以打開這個檔案,修改其中的資料路徑dataDir,端口号使用預設端口2181即可。
3.安裝kafka
①下載下傳位址:http://kafka.apache.org/downloads.html
②配置
![](https://img.laitimes.com/img/__Qf2AjLwojIjJCLyojI0JCLiIXZ05WZD9CX5RXa2Fmcn9CXwczLcVmds92czlGZvwVP9EUTDZ0aRJkSwk0LcxGbpZ2LcBDM08CXlpXazRnbvZ2LcRlMMVDT2EWNvwFdu9mZvwVPBR1T4lkaNJTS610MVRVT6JlMjZXUYpVd1kmYr50MZV3YyI2cKJDT29GRjBjUIF2LcRHelR3LcJzLctmch1mclRXY39DO2kTN0IDM5EzNwkDM3EDMy8CX0Vmbu4GZzNmLn9Gbi1yZtl2Lc9CX6MHc0RHaiojIsJye.jpg)
zookeeper位址:
Kafka會預設在9092端口上運作,并連接配接zookeeper的預設端口:2181
③運作
1)啟動zookeeper
2)定位到kafka根目錄(或在該目錄下shift+右鍵,在此處打開指令視窗)啟動kafka服務
.\bin\windows\kafka-server-start.bat .\config\server.properties
3)保持kafka和zookeeper開啟,打開新的小窗,建立topic
.\bin\windows\kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
4)開啟新小窗,建立生産者
.\bin\windows\kafka-console-producer.bat --broker-list localhost:9092 --topic test
5)開啟新小窗,建立消費者
.\bin\windows\kafka-console-producer.bat --broker-list localhost:9092 --topic test
6)生産者推送消息
總結
基本上,kafka的基本入門安裝就完成了。至于更深層次的組id,訂閱消息,kafka叢集等,之後的部落格再做介紹。