Linux ELK初體驗
ELK實際上是三個工具,Elastricsearch + LogStash + Kibana,通過ELK,用來收集日志還有進行日志分析,最後通過可視化UI進行展示。一開始業務量比較小的時候,通過簡單的SLF4J+Logger在伺服器列印日志,通過grep進行簡單查詢,但是随着業務量增加,資料量也會不斷增加,是以使用ELK可以進行大數量的日志收集和分析。
搭建架構
安裝步驟
JDK
在環境配置中,主要介紹Mac和linux配置,windows系統大緻相同,當然,前提是大家都安裝了JDK1.8及以上版本~
[[email protected]_234_23_centos ~]# java -version
java version "1.8.0_161"
Java(TM) SE Runtime Environment (build 1.8.0_161-b12)
Java HotSpot(TM) 64-Bit Server VM (build 25.161-b12, mixed mode)
注意: 配置JDK /etc/profile配置檔案中 key=val 等号前後不能有空格,還要注意直接從windows notepad複制過來的配置項會有隐藏字元導緻配置失敗
export JAVA_HOME=/usr/lib/jvm/java-1.8.0.292.b10-1.e17_9.x86_64/jre
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/rt.jar:$JAVA_HOME/lib
ElasticSearch安裝
“
Elasticsearch 是一個分布式的 RESTful 風格的搜尋和資料分析引擎,能夠解決不斷湧現出的各種用例。作為 Elastic Stack 的核心,它集中存儲您的資料,幫助您發現意料之中以及意料之外的情況。
”
1.Mac安裝和運作
安裝:brew install elasticsearch
運作:elasticsearch
linux安裝和運作
從Elasticsearch官方位址下載下傳(也可以下載下傳完,通過ftp之類的工具傳上去),gz檔案的話通過tar進行解壓縮,然後進入bin目錄下運作軟體
[[email protected]_234_23_centos app]# curl -L -O https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.2.4.tar.gz
[[email protected]_234_23_centos app]# tar -zxvf elasticsearch-6.2.4.tar.gz
[[email protected]_234_23_centos app]# cd elasticsearch-6.2.4
[[email protected]_234_23_centos elasticsearch-6.2.4]# ./bin/elasticsearch
2.建立非Root使用者
ES不能使用Root權限登入
[[email protected]_234_23_centos ~]# groupadd es
[[email protected]_234_23_centos ~]# useradd es -g es -p es
[[email protected]_234_23_centos ~]# chown es:es /home/app/elasticsearch/
# 切換使用者,記得su - ,這樣才能獲得環境變量
[[email protected]_234_23_centos ~]# sudo su - es
3.給安裝有ES的檔案夾賦予權限
chown -R 使用者名:使用者名 檔案(目錄)名
例如:chown -R abc:abc searchengine 再啟動ES就正常了
注意:執行chown指令需要在root使用者下
注意
本機外可以通過IP通路ES端口,修改elasticsearch.yml中如下配置
network.host: 0.0.0.0
FileBeat
(1)下載下傳安裝
windows直接下載下傳解壓,修改 filebeat.yml:
- 指定監控的日志檔案目錄,如果有新增内容,會實時上傳到指定軟體。
- 指定輸出位址。logstash需要指定監控beat的5044端口
- type: log
# Change to true to enable this input configuration.
enabled: true
# Paths that should be crawled and fetched. Glob based paths.
paths:
- D:\idea-projects\forestdemo\catalina.home_IS_UNDEFINED\base\app\*.log
output.logstash:
# The Logstash hosts
hosts: ["192.168.41.114:5044"]
(2)啟動filebeat.
管理者模式啟動指令行,進入filebeat安裝目錄,然後啟動
.\filebeat -e -c filebeat.yml
Logstash
“
Logstash 是開源的伺服器端資料處理管道,能夠同時從多個來源采集資料,轉換資料,然後将資料發送到您最喜歡的 “存儲庫” 中。(我們的存儲庫當然是 Elasticsearch。)-官方賣萌
”
1.軟體安裝
Mac安裝:
brew install logstash
linux安裝:
[[email protected]_234_23_centos app]# curl -L -O https://artifacts.elastic.co/downloads/logstash/logstash-6.3.2.tar.gz
% Total % Received % Xferd Average Speed Time Time Time Current
Dload Upload Total Spent Left Speed
100 137M 100 137M 0 0 5849k 0 0:00:24 0:00:24 --:--:-- 6597k
[[email protected]_234_23_centos app]# tar -zxvf logstash-6.3.2.tar.gz
2.修改配置檔案
vim /etc/logstash.conf
conf檔案,指定要使用的插件,和配置對應的elasticsearch的hosts
input { stdin { } }
output {
elasticsearch { hosts => ["localhost:9200"] }
stdout { codec => rubydebug }
}
3.運作
bin/logstash -f logstash.conf
4.通路http://localhost:9600/
{
"host": "=-=",
"version": "6.2.4",
"http_address": "127.0.0.1:9600",
"id": "5b47e81f-bdf8-48fc-9537-400107a13bd2",
"name": "=-=",
"build_date": "2018-04-12T22:29:17Z",
"build_sha": "a425a422e03087ac34ad6949f7c95ec6d27faf14",
"build_snapshot": false
}
在elasticsearch日志中,也能看到logstash正常加入的日志
[2018-08-16T14:08:36,436][INFO ][o.e.c.m.MetaDataIndexTemplateService] [f2s1SD8] adding template [logstash] for index patterns [logstash-*]
看到這種傳回值,表示已經成功安裝和啟動
“
踩坑
在運作的那一步,有可能遇到記憶體配置設定錯誤
Java HotSpot(TM) 64-Bit Server VM warning: INFO: os::commit_memory(0x00000000c5330000, 986513408, 0) failed; error=’Cannot allocate memory’ (errno=12)
這個錯誤很明顯就是記憶體不足,由于個人購買的是騰訊雲1G記憶體的伺服器(如果是壕,請随意購買更高的配置=-=),已經運作了elasticsearch,導緻logstash配置設定不到足夠的記憶體,是以最後要修改一下jvm配置。
”
[[email protected]_234_23_centos logstash-6.3.2]# cd config/
[[email protected]_234_23_centos config]# ll
total 28
-rw-r--r-- 1 root root 1846 Jul 20 14:19 jvm.options
-rw-r--r-- 1 root root 4466 Jul 20 14:19 log4j2.properties
-rw-r--r-- 1 root root 8097 Jul 20 14:19 logstash.yml
-rw-r--r-- 1 root root 3244 Jul 20 14:19 pipelines.yml
-rw-r--r-- 1 root root 1696 Jul 20 14:19 startup.options
[[email protected]_234_23_centos config]# vim jvm.options
将-Xms1g -Xmx1g修改為
-Xms256m
-Xmx256m
然後就能正常啟動了~~
5.由于spring boot 和 logstash不在一個作業系統上,必須設定logstash配置檔案host為0.0.0.0
input {
# stdin { }
tcp {
# host:port就是上面appender中的 destination,
# 這裡其實把logstash作為服務,開啟9250端口接收logback發出的消息
host => "0.0.0.0" port => 9250 mode => "server" tags => ["tags"] codec => json_lines
}
beats {
port => 5044
}
}
output {
elasticsearch { hosts => ["localhost:9200"] }
stdout { codec => rubydebug }
}
注解:在伺服器中,0.0.0.0指的是本機上的所有IPV4位址,如果一個主機有兩個IP位址,192.168.1.1 和 10.1.2.1,并且該主機上的一個服務監聽的位址是0.0.0.0,那麼通過兩個ip位址都能夠通路該服務。
Kibana
1. 軟體安裝
“
Kibana 讓您能夠可視化 Elasticsearch 中的資料并操作 Elastic Stack,是以您可以在這裡解開任何疑問:例如,為何會在淩晨 2:00 被傳呼,雨水會對季度資料造成怎樣的影響。(而且展示的圖示十分酷炫)
”
ES和Kibana版本必須一緻 否則Kibana無法通路ES。
Mac安裝
brew install kibana
linux安裝,官方下載下傳位址
[[email protected]_234_23_centos app]#curl -L -O https://artifacts.elastic.co/downloads/kibana/kibana-6.2.4-linux-x86_64.tar.gz
% Total % Received % Xferd Average Speed Time Time Time Current
Dload Upload Total Spent Left Speed
0 195M 0 271k 0 0 19235 0 2:57:54 0:00:14 2:57:40 26393
在這一步,有可能下載下傳速度奇慢,是以我本地下載下傳好之後,通過rz指令傳輸到伺服器
[[email protected]_234_23_centos app]# rz
rz waiting to receive.
Starting zmodem transfer. Press Ctrl+C to cancel.
Transferring kibana-6.3.2-linux-x86_64.tar.gz...
100% 200519 KB 751 KB/sec 00:04:27 0 Errors
[[email protected]_234_23_centos app]# tar -zxvf kibana-6.3.2-linux-x86_64.tar.gz
2. 修改配置
“
修改 config/kibana.yml 配置檔案,設定 elasticsearch.url 指向 Elasticsearch 執行個體。
如果跟我一樣使用預設的配置,可以不需要修改該檔案
”
3. 啟動
[[email protected]_234_23_centos kibana]# ./bin/kibana
4. 通路 http://localhost:5601/app/kibana#/home?_g=()
界面顯示了這麼多功能,下面通過整合SLF4J+LogBack
其他主機無法通過IP通路Kibana
1.防火牆的問題。firewall-cmd --list-ports檢視目前的放行的端口,使用firewall-cmd --add-port=5601 來放行5601端口,確定5601端口不會被攔截。
2.kibana的配置問題。修改kibana的config目錄下的kibana.yml配置檔案,将server.host修改為0.0.0.0.
Spring Boot加入Logstash
1. 修改logstash.conf後,重新啟動logstash
input {
# stdin { }
tcp {
# host:port就是上面appender中的 destination,
# 這裡其實把logstash作為服務,開啟9250端口接收logback發出的消息
host => "0.0.0.0" port => 9250 mode => "server" tags => ["tags"] codec => json_lines
}
}
output {
elasticsearch { hosts => ["localhost:9200"] }
stdout { codec => rubydebug }
}
2. 在Java應用中引用依賴
<dependency>
<groupId>net.logstash.logback</groupId>
<artifactId>logstash-logback-encoder</artifactId>
<version>6.6</version>
</dependency>
3. 在Logback.xml中配置日志輸出
<!--日志導出的到 Logstash-->
<appender name="stash"
class="net.logstash.logback.appender.LogstashTcpSocketAppender">
<destination>localhost:9250</destination>
<!-- encoder必須配置,有多種可選 -->
<encoder charset="UTF-8"
class="net.logstash.logback.encoder.LogstashEncoder" >
<!-- "appname":"ye_test" 的作用是指定建立索引的名字時用,并且在生成的文檔中會多了這個字段 -->
<customFields>{"appname":"ye_test"}</customFields>
</encoder>
</appender>
<root level="INFO">
<appender-ref ref="stash"/>
</root>
由于我在第一步驟中,沒有指定對應的index,是以在服務啟動的時候,日志采集器Logstash幫我自動建立了logstash-timestamp的index。
4. 在kibana中添加index索引
5. 在左邊discover中檢視索引資訊
6. 添加可視化圖表Visualize
ELK是什麼
我先來闡述一下日志在網際網路應用中的重要性。在網際網路行業裡日志資料非常重要,形式也多種多樣。通過日志我們可以計算請求量、流量來源分析、了解使用者行為、鑒别作弊使用者(如:是否是機器人)等等。
在計算PV、UV的場景下,根據業務需求我們通常以離線方式(MR / HIVE)隔天進行報表相關資料生産。但是對于故障排查肯定是希望能夠快速的進行日志查詢、定位、解決問題,對于實時性要求非常高。
舉個例子,對于一個大流量的Web應用通常以Stateless方式設計,這樣可以更友善的進行水準擴容。但是随着應用執行個體數量越來越多,我們查詢日志就越來越困難。在沒有日志系統的情況下,首先我們需要定位到請求的伺服器位址,如果每台伺服器都部署了多個應用執行個體,我們則需要去每個應用執行個體的日志目錄下去找日志檔案。每個服務可能還會設定日志滾動政策(如:每200M一個檔案),還有日志壓縮歸檔政策。
我們查詢一條出錯資訊就要在茫茫多的日志檔案裡去找到它,于是使出我們的十八般武藝head less tail grep wc awk count cut,但是如果需要統計最近3天的某個接口的異常次數。。。。
除了上面出現的狀況我們還需要考慮:日志量太大如何歸檔、文本搜尋太慢怎麼辦、如何多元度查詢,ELK就是幫我們來解決這些問題的。
1. ELK是什麼,為什麼要使用ELK
ELK 是elastic公司提供的一套完整的日志收集、展示解決方案,是三個産品的首字母縮寫,分别是ElasticSearch、Logstash 和 Kibana。
ElasticSearch簡稱ES,它是一個實時的分布式搜尋和分析引擎,它可以用于全文搜尋,結構化搜尋以及分析。它是一個建立在全文搜尋引擎 Apache Lucene 基礎上的搜尋引擎,使用 Java 語言編寫。
Logstash是一個具有實時傳輸能力的資料收集引擎,用來進行資料收集(如:讀取文本檔案)、解析,并将資料發送給ES。
Kibana為 Elasticsearch 提供了分析和可視化的 Web 平台。它可以在 Elasticsearch 的索引中查找,互動資料,并生成各種次元表格、圖形。
在ELK中beats是用于資料采集的工具,相較于logstash,beats是更輕量級的工具。Beats 平台集合了多種單一用途資料采集器。這些采集器安裝後可用作輕量型代理,從成百上千或成千上萬台機器向 Logstash 或 Elasticsearch 發送資料。
Beats平台提供了如下的幾種具體收集日志的工具
工具名稱 | 對應解釋 |
---|---|
Filebeat | 日志檔案 |
Metricbeat | 名額 |
Packetbeat | 網絡資料 |
Winlogbeat | windows事件日志 |
Auditbeat | 審計資料 |
Heartbeat | 運作心跳監控 |
FileBeat簡介
-
概述
Filebeat是一個日志檔案托運工具,在你的伺服器上安裝用戶端後,filebeat會監控日志目錄或者指定的日志檔案,追蹤讀取這些檔案(追蹤檔案的變化,不停的讀),并且轉發這些資訊到elasticsearch或者logstarsh中存放。
-
工作流程
當你開啟filebeat程式的時候,它會啟動一個或多個探測器(prospectors)去檢測你指定的日志目錄或檔案,對于探測器找出的每一個日志檔案,filebeat啟動收割程序(harvester),每一個收割程序讀取一個日志檔案的新内容,并發送這些新的日志資料到處理程式(spooler),處理程式會集合這些事件,最後filebeat會發送集合的資料到你指定的地點。
參考資料
Spring Boot 搭建 ELK,這才是正确看日志的方式!
elasticsearch啟動常見錯誤
Spring Boot 搭建 ELK,這才是正确看日志的方式!公衆号看到的文章,以防公衆号文章消失,故安裝過程完全仿照本文。
filebeat部署
window下部署beat
elk部署
鬥魚基于ELK的億級實時日志分析平台實踐
logstash-logback-encoder
Elastic官網
ELK Stack權威指南