elk是elasticsearch、logstash、kibana三款開源軟體的簡稱,對外可以作為日志管理系統,它可以收集任何來源的日志,并且對日志進行分析與可視化展示
elasticsearch是一款開源分布式搜尋引擎,它的主要功能為提供收集、分析、存儲資料
logstash是一款服務端的資料傳輸軟體,它的主要功能日志的收集、分析、過濾工具,它可以從不同的來源中提取資料,轉換并存儲到elasticsearch中供後續處理
kibana是一款基于web的圖形界面,它的主要功能是搜尋、分析和可視化存儲在elasticsearch中的日志資料
filebeat:是一款輕量級的開源日志檔案資料搜集器,通常在需要采集資料的用戶端安裝filebeat,并指定目錄與日志格式,filebeat就能快速收集資料後發送給logstash進行解析,或發送給elasticsearch存儲
準備三台centos7虛拟機,配置ip位址和hostname,關閉防火牆和selinux,同步系統時間,配置ip位址和hostname映射
hostname
ip
192.168.29.143
node1
192.168.29.142
node2
192.168.29.144
node3
三台機器的部署架構為
結點
部署架構
elasticsearch+logstash+kibana
elasticsearch
redis+nginx+httpd+filebeat
從官網下載下傳elasticsearch、logstash、kibana、filebeat的壓縮包
安裝java環境
從官網下載下傳jdk壓縮包并解壓
三個結點均要安裝java環境
node3安裝配置redis
node3安裝配置nginx
從nginx官網下載下傳yum源配置檔案
node3安裝配置httpd
系統設定
建立使用者
node3安裝配置filebeat
測試驗證
node1和node2部署elasticsearch叢集
上傳壓縮包并解壓
啟動服務
檢視elasticsearch運作情況
通路http://node1:9200
通路http://node2:9200
node1部署elasticsearch-head-master插件
檢視head-master插件運作情況
通路http://node1:9100
node1結點部署logstash
node1添加日志收集檔案,從node3的redis資料庫讀取資料,存儲到elasticsearch中
檢視logstash運作情況
node1結點部署 kibana
檢視kibana運作情況
elk日志收集系統部件部署完成
生成日志
通過浏覽器通路node3的nginx伺服器和apache伺服器産生日志
配置kibana的模闆
根據node1中logstash日志收集檔案中定義的output标簽中的index屬性格式進行填寫查找模闆
檢視日志收集情況
自此elk+filebeat日志收集系統部署完成并成功運轉