開源實時日志分析ELK平台部署

日志主要包括系統日志、應用程式日志和安全日志。系統運維和開發人員可以通過日志了解伺服器軟硬體資訊、檢查配置過程中的錯誤及錯誤發生的原因。經常分析日志可以了解伺服器的負荷，性能安全性，進而及時采取措施糾正錯誤。

通常，日志被分散的儲存不同的裝置上。如果你管理數十上百台伺服器，你還在使用依次登入每台機器的傳統方法查閱日志。這樣是不是感覺很繁瑣和效率低下。當務之急我們使用集中化的日志管理，例如：開源的syslog，将所有伺服器上的日志收集彙總。

集中化管理日志後，日志的統計和檢索又成為一件比較麻煩的事情，一般我們使用grep、awk和wc等Linux指令能實作檢索和統計，但是對于要求更高的查詢、排序和統計等要求和龐大的機器數量依然使用這樣的方法難免有點力不從心。

l Elasticsearch是個開源分布式搜尋引擎，它的特點有：分布式，零配置，自動發現，索引自動分片，索引副本機制，restful風格接口，多資料源，自動搜尋負載等。

l Logstash是一個完全開源的工具，他可以對你的日志進行收集、分析，并将其存儲供以後使用（如，搜尋）。

l kibana 也是一個開源和免費的工具，他Kibana可以為 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面，可以幫助您彙總、分析和搜尋重要資料日志。

工作原理如下如所示：

在需要收集日志的所有服務上部署logstash，作為logstash agent（logstash shipper）用于監控并過濾收集日志，将過濾後的内容發送到logstash indexer，logstash indexer将日志收集在一起交給全文搜尋服務ElasticSearch，可以用ElasticSearch進行自定義搜尋通過Kibana 來結合自定義搜尋進行頁面展示。

開源實時日志分析ELK平台部署流程：

（1）安裝Logstash依賴包JDK

可以看到提供了多種版本，下載下傳時，選擇适合自己機器運作環境的版本，我使用的是RHEL6.5 x86_64的作業系統，是以，下載下傳linux-64的版本。如果使用Linux下載下傳執行如下指令下載下傳即可。

<code>#wget http://download.oracle.com/otn-pub/java/jdk/8u45-b14/jdk-8u45-linux-x64.tar.gz</code>

JDK的安裝方式比較簡單，隻需将下載下傳回來的程式包解壓到相應的目錄即可。

<code># mkdir /usr/local/java</code>

<code># tar -zxf jdk-8u45-linux-x64.tar.gz -C /usr/local/java/</code>

設定JDK的環境變量，如下：

<code># tail -3 ~/.bash_profile</code>

<code>export JAVA_HOME=/usr/local/java/jdk1.8.0_45</code>

<code>export PATH=$PATH:$JAVA_HOME/bin</code>

<code>exportCLASSPATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar:$CLASSPATH</code>

在Shell提示符中執行java –version指令，顯示如下結果，說明安裝成功：

<code># java -version</code>

<code>java version "1.8.0_45"</code>

<code>Java(TM) SE Runtime Environment (build 1.8.0_45-b14)</code>

<code>Java HotSpot(TM) 64-Bit Server VM (build 25.45-b02,mixed mode)</code>

（2）安裝Logstash

下載下傳并安裝Logstash，安裝logstash隻需将它解壓的對應目錄即可，例如：/usr/local下：

<code># https://download.elastic.co/logstash/logstash/logstash-1.5.2.tar.gz</code>

<code># tar –zxf logstash-1.5.2.tar.gz -C /usr/local/</code>

安裝完成後運作如下指令：

<code># /usr/local/logstash-1.5.2/bin/logstash -e 'input { stdin { } } output { stdout {} }'</code>

<code>Logstash startup completed</code>

<code>Hello World!</code>

<code>2015-07-15T03:28:56.938Z noc.vfast.com Hello World!</code>

我們可以看到，我們輸入什麼内容logstash按照某種格式輸出，其中-e參數參數允許Logstash直接通過指令行接受設定。這點尤其快速的幫助我們反複的測試配置是否正确而不用寫配置檔案。使用CTRL-C指令可以退出之前運作的Logstash。

使用-e參數在指令行中指定配置是很常用的方式，不過如果需要配置更多設定則需要很長的内容。這種情況，我們首先建立一個簡單的配置檔案，并且指定logstash使用這個配置檔案。例如：在logstash安裝目錄下建立一個“基本配置”測試檔案logstash-test.conf，檔案内容如下：

<code># cat logstash-simple.conf</code>

<code>input { stdin { } }</code>

<code>output {</code>

<code> </code><code>stdout { codec=> rubydebug }</code>

Logstash使用input和output定義收集日志時的輸入和輸出的相關配置，本例中input定義了一個叫"stdin"的input，output定義一個叫"stdout"的output。無論我們輸入什麼字元，Logstash都會按照某種格式來傳回我們輸入的字元，其中output被定義為"stdout"并使用了codec參數來指定logstash輸出格式。

使用logstash的-f參數來讀取配置檔案，執行如下開始進行測試：

<code># echo "`date` hello World"</code>

<code>Thu Jul 16 04:06:48 CST 2015 hello World</code>

<code># /usr/local/logstash-1.5.2/bin/logstash agent -f logstash-simple.conf</code>

<code>Tue Jul 14 18:07:07 EDT 2015 hello World #該行是執行echo “`date`hello World” 後輸出的結果，直接粘貼到該位置</code>

<code> </code><code>"message" => "Tue Jul 14 18:07:07 EDT 2015 helloWorld",</code>

<code> </code><code>"@version" => "1",</code>

<code> </code><code>"@timestamp" => "2015-07-14T22:07:28.284Z",</code>

<code> </code><code>"host" => "noc.vfast.com"</code>

（3）安裝Elasticsearch

下載下傳Elasticsearch後，解壓到對應的目錄就完成Elasticsearch的安裝。

<code># tar -zxf elasticsearch-1.6.0.tar.gz -C /usr/local/</code>

啟動Elasticsearch

<code># /usr/local/elasticsearch-1.6.0/bin/elasticsearch</code>

如果使用遠端連接配接的Linux的方式并想背景運作elasticsearch執行如下指令：

<code># nohup /usr/local/elasticsearch-1.6.0/bin/elasticsearch >nohup &</code>

确認elasticsearch的9200端口已監聽，說明elasticsearch已成功運作

<code># netstat -anp |grep :9200</code>

<code>tcp 0 0 :::9200 :::* LISTEN 3362/java</code>

接下來我們在logstash安裝目錄下建立一個用于測試logstash使用elasticsearch作為logstash的後端的測試檔案logstash-es-simple.conf，該檔案中定義了stdout和elasticsearch作為output，這樣的“多重輸出”即保證輸出結果顯示到螢幕上，同時也輸出到elastisearch中。

<code># cat logstash-es-simple.conf</code>

<code> </code><code>elasticsearch {host => "localhost" }</code>

執行如下指令

<code># /usr/local/logstash-1.5.2/bin/logstash agent -f logstash-es-simple.conf</code>

<code>hello logstash</code>

<code> </code><code>"message" => "hello logstash",</code>

<code> </code><code>"@timestamp" => "2015-07-15T18:12:00.450Z",</code>

我們可以使用curl指令發送請求來檢視ES是否接收到了資料：

<code># curl 'http://localhost:9200/_search?pretty'</code>

<code> </code><code>"timed_out" : false,</code>

<code> </code><code>"_shards" : {</code>

<code> </code><code>"total" : 5,</code>

<code> </code><code>"successful" : 5,</code>

<code> </code><code>"failed" : 0</code>

<code> </code><code>"total" : 1,</code>

<code> </code><code>"max_score" : 1.0,</code>

<code> </code><code>"_index" : "logstash-2015.07.15",</code>

<code> </code><code>"_id" : "AU6TWiixxDXYhySMyTkP",</code>

<code> </code><code>"_score" : 1.0,</code>

<code> </code><code>"_source":{"message":"hellologstash","@version":"1","@timestamp":"2015-07-15T20:13:55.199Z","host":"noc.vfast.com"}</code>

至此，你已經成功利用Elasticsearch和Logstash來收集日志資料了。

（4）安裝elasticsearch插件

Elasticsearch-kopf插件可以查詢Elasticsearch中的資料，安裝elasticsearch-kopf，隻要在你安裝Elasticsearch的目錄中執行以下指令即可：

<code># cd /usr/local/elasticsearch-1.6.0/</code>

<code># ./plugin -install lmenezes/elasticsearch-kopf</code>

安裝完成後在plugins目錄下可以看到kopf

<code># ls plugins/</code>

（5）安裝Kibana

下載下傳kibana後，解壓到對應的目錄就完成kibana的安裝

<code># tar -zxf kibana-4.1.1-linux-x64.tar.gz -C /usr/local/</code>

啟動kibana

<code># /usr/local/kibana-4.1.1-linux-x64/bin/kibana</code>

看到如下界面說明索引建立完成。

點選“Discover”，可以搜尋和浏覽Elasticsearch中的資料，預設搜尋的是最近15分鐘的資料。可以自定義選擇時間。

（6）配置logstash作為Indexer

将logstash配置為索引器，并将logstash的日志資料存儲到Elasticsearch，本範例主要是索引本地系統日志。

<code># cat /usr/local/logstash-1.5.2/logstash-indexer.conf</code>

<code>input {</code>

<code> </code><code>type =>"syslog"</code>

<code> </code><code>path => ["/var/log/messages", "/var/log/syslog" ]</code>

<code> </code><code>syslog {</code>

<code> </code><code>stdout { codec=> rubydebug }</code>

<code> </code><code>elasticsearch {host => "localhost" }</code>

<code># /usr/local/logstash-1.5.2/bin/logstash -flogstash-indexer.conf</code>

使用echo指令模拟寫入日志，指令執行後看到如下圖的資訊

<code># echo "`date` 優衣庫視訊" >>/var/log/messages</code>

本文轉自yjlsy 51CTO部落格，原文連結：http://blog.51cto.com/baidu/1676798，如需轉載請自行聯系原作者

開源實時日志分析ELK平台部署

繼續閱讀

關于Gradle配置的小結

Java小案例——随機數猜測随機數猜測

nginx location中斜線的位置的重要性

27 Best Free Eclipse Plug-ins for Java Developer to be ProductiveCode Quality PluginsText Editor PluginsDependency ManagementVersion Control Integration PluginsFramework Development Continuous Integration Related PluginsOther Utility Plugins

Java String.format方法的簡單使用

neo4j之cypher使用文檔

GitHub連夜封殺！這份阿裡 10W 字内部 Java 字面試手冊到底有多強？

spark/scala關于【資源檔案】加載方法概述外部檔案加載方案測試資源檔案打包入jar包中小結

mybatis_入門程式Mybatis入門

AOP程式設計_Android優雅權限架構(1)概念基礎，2021金三銀四前言正文大綱正文

Effective Java 8:通用程式設計

OOM三種類型

工廠模式-三種類型

【遞歸】高效率求2的n次幂

win10本地scala和spark安裝安裝scala安裝spark

scala (3) Function 和 Method