zookeeper和kafka叢集安裝

1. 下載下傳zookeeper

   官網位址：https://zookeeper.apache.org/

2. 下載下傳kafka

   官網位址：http://kafka.apache.org/

3. 将下載下傳好後的檔案上傳到伺服器上，我這開了三台虛拟機，将檔案上傳到3台虛拟機上
4. 解壓zookeeper

   # -C 後面對應自己的安裝目錄，可以自定
   tar -zxvf zookeeper-3.4.14.tar.gz -C /home/mw/
              

5. 修改zookeeper的配置檔案

   # 進入 zookeeper的配置目錄下
   cd /home/mw/zookeeper-3.4.14/conf
   # 将原有的配置檔案複制一份
   cp zoo_sample.cfg zoo.cfg
   # 修改配置檔案
   vim zoo.cfg
              

   zoo.cfg的配置檔案

   tickTime=2000
   initLimit=10
   syncLimit=5
   # 需要修改為自己的配置位址，以後生成的zookeeper的資料檔案就在這個目錄下
   dataDir=/home/mw/data/zookeeper
   clientPort=2181
   
   # 我配置的是三台叢集，server後面的數字(myid)不可以重複，并且ip和myid必須一對一，相比對
   server.1=192.168.231.130:2888:3888
   server.2=192.168.231.131:2888:3888
   server.3=192.168.231.132:2888:3888
              

6. 建立資料目錄，并且在資料目錄下建立對應的miyd

   # 建立目錄檔案
   mkdir -p /home/mw/data/zookeeper
   
   # 建立myid，并将對應數字寫入(另外兩台伺服器對應的就是2和3)
   echo 1 > /home/mw/data/zookeeper/myid
              

7. 啟動zookeeper

   # 進入zookeeper的bin目錄下,啟動zookeeper
   ./zkServer.sh start
   
   # 将三台伺服器的zookeeper都啟動之後，觀察對應的zookeeper屬性
   ./zkServer.sh status
              

8. 解壓kafka，和解壓zookeeper一樣
9. 修改kafka的配置檔案

   # 進入kafka的配置檔案目錄下
   cd /home/mw/kafka_2.12-2.3.0/config
   
   # 修改配置檔案
   vim server.properties
              

   server.properties需要修改的地方

   # 叢集部署，需要配置唯一一個broker.id，第一台為0，後面的依次加1
   broker.id=0
   
   # 内網監聽的位址
   listeners=PLAINTEXT://192.168.231.130:9092
   
   # 外網監聽的位址，可以不配置，會預設使用内網的位址
   advertised.listeners=PLAINTEXT://192.168.231.130:9092
   
   # kafka的日志檔案，也需要自己建立對應的目錄
   log.dirs=/home/mw/data/kafka/kafka-logs
   
   # 需連接配接的zookeeper的位址，我這zookeeper是叢集部署，中間使用,分隔
   zookeeper.connect=192.168.231.130:2181,192.168.231.131:2181,192.168.231.132:9092
              

10. 啟動kafka

    # 進入到kafka目錄
    cd /home/mw/kafka_2.12-2.3.0
    
    # 前台啟動kafka
    bin/kafka-server-start.sh config/server.properties
    
    # 背景啟動kafka
    bin/kafka-server-start.sh -daemon config/server.properties
               

11. 檢視每台伺服器上的程序

    ps -ef | grep zookeeper
    
    ps -ef  | grep kafka
               

    如果都有對應的程序，則zookeeper和kafka的叢集安裝完成。