本系列文章主要闡述大資料計算平台相關架構的搭建，包括如下内容：
基礎環境安裝
zookeeper叢集的搭建
kafka叢集的搭建
hadoop/hbase叢集的搭建
spark叢集的搭建
flink叢集的搭建
elasticsearch叢集的搭建
alluxio叢集的搭建
1.kafak簡介
Kafka是一個分布式、分區的、多副本的、多訂閱者的消息隊列,以高吞吐量著稱，主要用于實時資料的傳輸和處理，總體架構如下
2.kafka安裝
下載下傳
位址：http://kafka.apache.org/downloads，選擇kafka_2.11-0.10.2.1.tgz版本
解壓安裝
本文環境清單
直接在伺服器10.20.112.59上解壓
1
2
3
<code>cd ~</code>
<code>tar -zxvf kafka_2.11-0.10.2.1.tgz.gz</code>
<code>mv kafka_2.11-0.10.2.1 kafka</code>
配置更改
編輯kafka server配置檔案
vi /wls/oracle/kafka/config/server.properties
主要是如下幾項：
kafka叢集
修改server.properties
不同叢集broker.id 和host.name 不一樣，根據實際情況配置。
修改預設配置檔案中的
broker.id(每台伺服器均不同)
port(如果是僞叢集，則端口号需要改變)
host.name
advertised.host.name
zookeeper.connect(所有叢集的ip均需要說明)
log.dirs
以伺服器SZB-L0045546，則其server.properties需更改的配置如下：
而叢集另外4台伺服器中的broker.id、host.name,advertised.host.name和SZB-L0045546的保持不同即可。同時叢集中的伺服器需要為kafka日志建立相關目錄
啟動和驗證
依次啟動叢集中的kafka，執行腳本如下：
建立topic
顯示建立的topic
向TEST中寫入消息
從topic TEST中消費資料