ELK 日志收集與分析平台的搭建與優化

話不多說，先上圖！

最近因為公司需要，與部門的小夥伴着手建構 ELK 日志收集分析平台，期間學到了很多東西，準備等完成項目差不多了跟大家分享一下心得，先立個flag！

一、ELK整體架構

整個架構分為filebeat輕量級日志采集（生産者） > kafka+zookeeper（叢集）消息隊列 > logstash資料傳輸過濾（消費者）> Elasticsearch（叢集）搜集分析存儲資料 > kibana 可視化Web 界面。

二、各部配置設定置檔案分析

1.filebeat

2.kafka+zookeeper（叢集）

3. logstash

4. es（叢集）

5. kibana 可視化Web 界面

三、結合業務需求進行優化

四、碰到的問題

五、總結

破解x-pack