開源實時日志分析ELK平台部署
歡迎使用微信關注“雲運維聯盟”公衆号，第一時間了解本部落格動态！
日志主要包括系統日志、應用程式日志和安全日志。系統運維和開發人員可以通過日志了解伺服器軟硬體資訊、檢查配置過程中的錯誤及錯誤發生的原因。經常分析日志可以了解伺服器的負荷，性能安全性，進而及時采取措施糾正錯誤。
通常，日志被分散的儲存不同的裝置上。如果你管理數十上百台伺服器，你還在使用依次登入每台機器的傳統方法查閱日志。這樣是不是感覺很繁瑣和效率低下。當務之急我們使用集中化的日志管理，例如：開源的syslog，将所有伺服器上的日志收集彙總。
集中化管理日志後，日志的統計和檢索又成為一件比較麻煩的事情，一般我們使用grep、awk和wc等Linux指令能實作檢索和統計，但是對于要求更高的查詢、排序和統計等要求和龐大的機器數量依然使用這樣的方法難免有點力不從心。
開源實時日志分析ELK平台能夠完美的解決我們上述的問題，ELK由ElasticSearch、Logstash和Kiabana三個開源工具組成。官方網站：https://www.elastic.co/products
l Elasticsearch是個開源分布式搜尋引擎，它的特點有：分布式，零配置，自動發現，索引自動分片，索引副本機制，restful風格接口，多資料源，自動搜尋負載等。
l Logstash是一個完全開源的工具，他可以對你的日志進行收集、分析，并将其存儲供以後使用（如，搜尋）。
l kibana 也是一個開源和免費的工具，他Kibana可以為 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面，可以幫助您彙總、分析和搜尋重要資料日志。
工作原理如下如所示：
在需要收集日志的所有服務上部署logstash，作為logstash agent（logstash shipper）用于監控并過濾收集日志，将過濾後的内容發送到logstash indexer，logstash indexer将日志收集在一起交給全文搜尋服務ElasticSearch，可以用ElasticSearch進行自定義搜尋通過Kibana 來結合自定義搜尋進行頁面展示。
開源實時日志分析ELK平台部署流程：
（1）安裝Logstash依賴包JDK
Logstash的運作依賴于Java運作環境， Logstash 1.5以上版本不低于java 7推薦使用最新版本的Java。由于我們隻是運作Java程式，而不是開發，下載下傳JRE即可。首先，在Oracle官方下載下傳新版jre，下載下傳位址：http://www.oracle.com/technetwork/java/javase/downloads/jre8-downloads-2133155.html
#wget http://download.oracle.com/otn-pub/java/jdk/8u45-b14/jdk-8u45-linux-x64.tar.gz JDK的安裝方式比較簡單，隻需将下載下傳回來的程式包解壓到相應的目錄即可。
# mkdir /usr/local/java
# tar -zxf jdk-8u45-linux-x64.tar.gz -C /usr/local/java/ 設定JDK的環境變量，如下：
# tail -3 ~/.bash_profile
export JAVA_HOME=/usr/local/java/jdk1.8.0_45
export PATH=$PATH:$JAVA_HOME/bin
exportCLASSPATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar:$CLASSPATH 在Shell提示符中執行java –version指令，顯示如下結果，說明安裝成功：
# java -version
java version "1.8.0_45"
Java(TM) SE Runtime Environment (build 1.8.0_45-b14)
Java HotSpot(TM) 64-Bit Server VM (build 25.45-b02,mixed mode) （2）安裝Logstash
下載下傳并安裝Logstash，安裝logstash隻需将它解壓的對應目錄即可，例如：/usr/local下：
# https://download.elastic.co/logstash/logstash/logstash-1.5.2.tar.gz
# tar –zxf logstash-1.5.2.tar.gz -C /usr/local/ 安裝完成後運作如下指令：
# /usr/local/logstash-1.5.2/bin/logstash -e 'input { stdin { } } output { stdout {} }'
Logstash startup completed
Hello World!
2015-07-15T03:28:56.938Z noc.vfast.com Hello World! 我們可以看到，我們輸入什麼内容logstash按照某種格式輸出，其中-e參數參數允許Logstash直接通過指令行接受設定。這點尤其快速的幫助我們反複的測試配置是否正确而不用寫配置檔案。使用CTRL-C指令可以退出之前運作的Logstash。
使用-e參數在指令行中指定配置是很常用的方式，不過如果需要配置更多設定則需要很長的内容。這種情況，我們首先建立一個簡單的配置檔案，并且指定logstash使用這個配置檔案。例如：在logstash安裝目錄下建立一個“基本配置”測試檔案logstash-test.conf，檔案内容如下：
# cat logstash-simple.conf
input { stdin { } }
output {
stdout { codec=> rubydebug }
} Logstash使用input和output定義收集日志時的輸入和輸出的相關配置，本例中input定義了一個叫"stdin"的input，output定義一個叫"stdout"的output。無論我們輸入什麼字元，Logstash都會按照某種格式來傳回我們輸入的字元，其中output被定義為"stdout"并使用了codec參數來指定logstash輸出格式。
使用logstash的-f參數來讀取配置檔案，執行如下開始進行測試：
# echo "`date` hello World"
Thu Jul 16 04:06:48 CST 2015 hello World
# /usr/local/logstash-1.5.2/bin/logstash agent -f logstash-simple.conf
Logstash startup completed
Tue Jul 14 18:07:07 EDT 2015 hello World #該行是執行echo “`date`hello World” 後輸出的結果，直接粘貼到該位置
{
"message" => "Tue Jul 14 18:07:07 EDT 2015 helloWorld",
"@version" => "1",
"@timestamp" => "2015-07-14T22:07:28.284Z",
"host" => "noc.vfast.com"
} （3）安裝Elasticsearch
下載下傳Elasticsearch後，解壓到對應的目錄就完成Elasticsearch的安裝。
# tar -zxf elasticsearch-1.6.0.tar.gz -C /usr/local/ 啟動Elasticsearch
# /usr/local/elasticsearch-1.6.0/bin/elasticsearch 如果使用遠端連接配接的Linux的方式并想背景運作elasticsearch執行如下指令：
# nohup /usr/local/elasticsearch-1.6.0/bin/elasticsearch >nohup & 确認elasticsearch的9200端口已監聽，說明elasticsearch已成功運作
# netstat -anp |grep :9200
tcp 0 0 :::9200 :::* LISTEN 3362/java 接下來我們在logstash安裝目錄下建立一個用于測試logstash使用elasticsearch作為logstash的後端的測試檔案logstash-es-simple.conf，該檔案中定義了stdout和elasticsearch作為output，這樣的“多重輸出”即保證輸出結果顯示到螢幕上，同時也輸出到elastisearch中。
# cat logstash-es-simple.conf
input { stdin { } }
output {
elasticsearch {host => "localhost" }
stdout { codec=> rubydebug }
} 執行如下指令
# /usr/local/logstash-1.5.2/bin/logstash agent -f logstash-es-simple.conf
… …
Logstash startup completed
hello logstash
{
"message" => "hello logstash",
"@version" => "1",
"@timestamp" => "2015-07-15T18:12:00.450Z",
"host" => "noc.vfast.com"
} 我們可以使用curl指令發送請求來檢視ES是否接收到了資料：
# curl 'http://localhost:9200/_search?pretty'
傳回結果
{
"took": 58,
"timed_out" : false,
"_shards" : {
"total" : 5,
"successful" : 5,
"failed" : 0
},
"hits": {
"total" : 1,
"max_score" : 1.0,
"hits" : [ {
"_index" : "logstash-2015.07.15",
"_type" : "logs",
"_id" : "AU6TWiixxDXYhySMyTkP",
"_score" : 1.0,
"_source":{"message":"hellologstash","@version":"1","@timestamp":"2015-07-15T20:13:55.199Z","host":"noc.vfast.com"}
} ]
}
} 至此，你已經成功利用Elasticsearch和Logstash來收集日志資料了。
（4）安裝elasticsearch插件
Elasticsearch-kopf插件可以查詢Elasticsearch中的資料，安裝elasticsearch-kopf，隻要在你安裝Elasticsearch的目錄中執行以下指令即可：
# cd /usr/local/elasticsearch-1.6.0/
# ./plugin -install lmenezes/elasticsearch-kopf 安裝完成後在plugins目錄下可以看到kopf
# ls plugins/
kopf 在浏覽器通路http://10.1.1.188:9200/_plugin/kopf浏覽儲存在Elasticsearch中的資料，如下所示：
（5）安裝Kibana
下載下傳kibana後，解壓到對應的目錄就完成kibana的安裝
# tar -zxf kibana-4.1.1-linux-x64.tar.gz -C /usr/local/ 啟動kibana
# /usr/local/kibana-4.1.1-linux-x64/bin/kibana 使用http://kibanaServerIP：5601通路Kibana，登入後，首先，配置一個索引，預設，Kibana的資料被指向Elasticsearch，使用預設的logstash-*的索引名稱，并且是基于時間的，點選“Create”即可。
看到如下界面說明索引建立完成。
點選“Discover”，可以搜尋和浏覽Elasticsearch中的資料，預設搜尋的是最近15分鐘的資料。可以自定義選擇時間。
到此，說明你的ELK平台安裝部署完成。
（6）配置logstash作為Indexer
将logstash配置為索引器，并将logstash的日志資料存儲到Elasticsearch，本範例主要是索引本地系統日志。
# cat /usr/local/logstash-1.5.2/logstash-indexer.conf
input {
file {
type =>"syslog"
path => ["/var/log/messages", "/var/log/syslog" ]
}
syslog {
type =>"syslog"
port =>"5544"
}
}
output {
stdout { codec=> rubydebug }
elasticsearch {host => "localhost" }
}
# /usr/local/logstash-1.5.2/bin/logstash -flogstash-indexer.conf 使用echo指令模拟寫入日志，指令執行後看到如下圖的資訊
# echo "`date` 優衣庫視訊" >>/var/log/messages 重新整理kibana，發現最新的測試資料顯示到浏覽器中，如下圖所示：
到此，ELK平台部署和基本的測試已完成。
歡迎使用微信關注“雲運維聯盟”公衆号，第一時間了解本部落格動态！