天天看點

Centos7部署ELK+filebeat日志收集系統

elk是elasticsearch、logstash、kibana三款開源軟體的簡稱,對外可以作為日志管理系統,它可以收集任何來源的日志,并且對日志進行分析與可視化展示

elasticsearch是一款開源分布式搜尋引擎,它的主要功能為提供收集、分析、存儲資料

logstash是一款服務端的資料傳輸軟體,它的主要功能日志的收集、分析、過濾工具,它可以從不同的來源中提取資料,轉換并存儲到elasticsearch中供後續處理

kibana是一款基于web的圖形界面,它的主要功能是搜尋、分析和可視化存儲在elasticsearch中的日志資料

filebeat:是一款輕量級的開源日志檔案資料搜集器,通常在需要采集資料的用戶端安裝filebeat,并指定目錄與日志格式,filebeat就能快速收集資料後發送給logstash進行解析,或發送給elasticsearch存儲

準備三台centos7虛拟機,配置ip位址和hostname,關閉防火牆和selinux,同步系統時間,配置ip位址和hostname映射

hostname

ip

192.168.29.143

node1

192.168.29.142

node2

192.168.29.144

node3

三台機器的部署架構為

結點

部署架構

elasticsearch+logstash+kibana

elasticsearch

redis+nginx+httpd+filebeat

從官網下載下傳elasticsearch、logstash、kibana、filebeat的壓縮包

安裝java環境

從官網下載下傳jdk壓縮包并解壓

三個結點均要安裝java環境

node3安裝配置redis

node3安裝配置nginx

從nginx官網下載下傳yum源配置檔案

node3安裝配置httpd

系統設定

建立使用者

node3安裝配置filebeat

測試驗證

node1和node2部署elasticsearch叢集

上傳壓縮包并解壓

啟動服務

檢視elasticsearch運作情況

通路http://node1:9200

Centos7部署ELK+filebeat日志收集系統

通路http://node2:9200

Centos7部署ELK+filebeat日志收集系統

node1部署elasticsearch-head-master插件

檢視head-master插件運作情況

通路http://node1:9100

Centos7部署ELK+filebeat日志收集系統

node1結點部署logstash

node1添加日志收集檔案,從node3的redis資料庫讀取資料,存儲到elasticsearch中

檢視logstash運作情況

node1結點部署 kibana

檢視kibana運作情況

Centos7部署ELK+filebeat日志收集系統

elk日志收集系統部件部署完成

生成日志

通過浏覽器通路node3的nginx伺服器和apache伺服器産生日志

Centos7部署ELK+filebeat日志收集系統
Centos7部署ELK+filebeat日志收集系統

配置kibana的模闆

Centos7部署ELK+filebeat日志收集系統
Centos7部署ELK+filebeat日志收集系統

根據node1中logstash日志收集檔案中定義的output标簽中的index屬性格式進行填寫查找模闆

Centos7部署ELK+filebeat日志收集系統
Centos7部署ELK+filebeat日志收集系統
Centos7部署ELK+filebeat日志收集系統

檢視日志收集情況

Centos7部署ELK+filebeat日志收集系統
Centos7部署ELK+filebeat日志收集系統

自此elk+filebeat日志收集系統部署完成并成功運轉

繼續閱讀