开源实时日志分析ELK平台部署

日志主要包括系统日志、应用程序日志和安全日志。系统运维和开发人员可以通过日志了解服务器软硬件信息、检查配置过程中的错误及错误发生的原因。经常分析日志可以了解服务器的负荷，性能安全性，从而及时采取措施纠正错误。

通常，日志被分散的储存不同的设备上。如果你管理数十上百台服务器，你还在使用依次登录每台机器的传统方法查阅日志。这样是不是感觉很繁琐和效率低下。当务之急我们使用集中化的日志管理，例如：开源的syslog，将所有服务器上的日志收集汇总。

集中化管理日志后，日志的统计和检索又成为一件比较麻烦的事情，一般我们使用grep、awk和wc等Linux命令能实现检索和统计，但是对于要求更高的查询、排序和统计等要求和庞大的机器数量依然使用这样的方法难免有点力不从心。

l Elasticsearch是个开源分布式搜索引擎，它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。

l Logstash是一个完全开源的工具，他可以对你的日志进行收集、分析，并将其存储供以后使用（如，搜索）。

l kibana 也是一个开源和免费的工具，他Kibana可以为 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面，可以帮助您汇总、分析和搜索重要数据日志。

工作原理如下如所示：

在需要收集日志的所有服务上部署logstash，作为logstash agent（logstash shipper）用于监控并过滤收集日志，将过滤后的内容发送到logstash indexer，logstash indexer将日志收集在一起交给全文搜索服务ElasticSearch，可以用ElasticSearch进行自定义搜索通过Kibana 来结合自定义搜索进行页面展示。

开源实时日志分析ELK平台部署流程：

（1）安装Logstash依赖包JDK

可以看到提供了多种版本，下载时，选择适合自己机器运行环境的版本，我使用的是RHEL6.5 x86_64的操作系统，所以，下载linux-64的版本。如果使用Linux下载执行如下命令下载即可。

<code>#wget http://download.oracle.com/otn-pub/java/jdk/8u45-b14/jdk-8u45-linux-x64.tar.gz</code>

JDK的安装方式比较简单，只需将下载回来的程序包解压到相应的目录即可。

<code># mkdir /usr/local/java</code>

<code># tar -zxf jdk-8u45-linux-x64.tar.gz -C /usr/local/java/</code>

设置JDK的环境变量，如下：

<code># tail -3 ~/.bash_profile</code>

<code>export JAVA_HOME=/usr/local/java/jdk1.8.0_45</code>

<code>export PATH=$PATH:$JAVA_HOME/bin</code>

<code>exportCLASSPATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar:$CLASSPATH</code>

在Shell提示符中执行java –version命令，显示如下结果，说明安装成功：

<code># java -version</code>

<code>java version "1.8.0_45"</code>

<code>Java(TM) SE Runtime Environment (build 1.8.0_45-b14)</code>

<code>Java HotSpot(TM) 64-Bit Server VM (build 25.45-b02,mixed mode)</code>

（2）安装Logstash

下载并安装Logstash，安装logstash只需将它解压的对应目录即可，例如：/usr/local下：

<code># https://download.elastic.co/logstash/logstash/logstash-1.5.2.tar.gz</code>

<code># tar –zxf logstash-1.5.2.tar.gz -C /usr/local/</code>

安装完成后运行如下命令：

<code># /usr/local/logstash-1.5.2/bin/logstash -e 'input { stdin { } } output { stdout {} }'</code>

<code>Logstash startup completed</code>

<code>Hello World!</code>

<code>2015-07-15T03:28:56.938Z noc.vfast.com Hello World!</code>

我们可以看到，我们输入什么内容logstash按照某种格式输出，其中-e参数参数允许Logstash直接通过命令行接受设置。这点尤其快速的帮助我们反复的测试配置是否正确而不用写配置文件。使用CTRL-C命令可以退出之前运行的Logstash。

使用-e参数在命令行中指定配置是很常用的方式，不过如果需要配置更多设置则需要很长的内容。这种情况，我们首先创建一个简单的配置文件，并且指定logstash使用这个配置文件。例如：在logstash安装目录下创建一个“基本配置”测试文件logstash-test.conf，文件内容如下：

<code># cat logstash-simple.conf</code>

<code>input { stdin { } }</code>

<code>output {</code>

<code> </code><code>stdout { codec=> rubydebug }</code>

Logstash使用input和output定义收集日志时的输入和输出的相关配置，本例中input定义了一个叫"stdin"的input，output定义一个叫"stdout"的output。无论我们输入什么字符，Logstash都会按照某种格式来返回我们输入的字符，其中output被定义为"stdout"并使用了codec参数来指定logstash输出格式。

使用logstash的-f参数来读取配置文件，执行如下开始进行测试：

<code># echo "`date` hello World"</code>

<code>Thu Jul 16 04:06:48 CST 2015 hello World</code>

<code># /usr/local/logstash-1.5.2/bin/logstash agent -f logstash-simple.conf</code>

<code>Tue Jul 14 18:07:07 EDT 2015 hello World #该行是执行echo “`date`hello World” 后输出的结果，直接粘贴到该位置</code>

<code> </code><code>"message" => "Tue Jul 14 18:07:07 EDT 2015 helloWorld",</code>

<code> </code><code>"@version" => "1",</code>

<code> </code><code>"@timestamp" => "2015-07-14T22:07:28.284Z",</code>

<code> </code><code>"host" => "noc.vfast.com"</code>

（3）安装Elasticsearch

下载Elasticsearch后，解压到对应的目录就完成Elasticsearch的安装。

<code># tar -zxf elasticsearch-1.6.0.tar.gz -C /usr/local/</code>

启动Elasticsearch

<code># /usr/local/elasticsearch-1.6.0/bin/elasticsearch</code>

如果使用远程连接的Linux的方式并想后台运行elasticsearch执行如下命令：

<code># nohup /usr/local/elasticsearch-1.6.0/bin/elasticsearch >nohup &</code>

确认elasticsearch的9200端口已监听，说明elasticsearch已成功运行

<code># netstat -anp |grep :9200</code>

<code>tcp 0 0 :::9200 :::* LISTEN 3362/java</code>

接下来我们在logstash安装目录下创建一个用于测试logstash使用elasticsearch作为logstash的后端的测试文件logstash-es-simple.conf，该文件中定义了stdout和elasticsearch作为output，这样的“多重输出”即保证输出结果显示到屏幕上，同时也输出到elastisearch中。

<code># cat logstash-es-simple.conf</code>

<code> </code><code>elasticsearch {host => "localhost" }</code>

执行如下命令

<code># /usr/local/logstash-1.5.2/bin/logstash agent -f logstash-es-simple.conf</code>

<code>hello logstash</code>

<code> </code><code>"message" => "hello logstash",</code>

<code> </code><code>"@timestamp" => "2015-07-15T18:12:00.450Z",</code>

我们可以使用curl命令发送请求来查看ES是否接收到了数据：

<code># curl 'http://localhost:9200/_search?pretty'</code>

<code> </code><code>"timed_out" : false,</code>

<code> </code><code>"_shards" : {</code>

<code> </code><code>"total" : 5,</code>

<code> </code><code>"successful" : 5,</code>

<code> </code><code>"failed" : 0</code>

<code> </code><code>"total" : 1,</code>

<code> </code><code>"max_score" : 1.0,</code>

<code> </code><code>"_index" : "logstash-2015.07.15",</code>

<code> </code><code>"_id" : "AU6TWiixxDXYhySMyTkP",</code>

<code> </code><code>"_score" : 1.0,</code>

<code> </code><code>"_source":{"message":"hellologstash","@version":"1","@timestamp":"2015-07-15T20:13:55.199Z","host":"noc.vfast.com"}</code>

至此，你已经成功利用Elasticsearch和Logstash来收集日志数据了。

（4）安装elasticsearch插件

Elasticsearch-kopf插件可以查询Elasticsearch中的数据，安装elasticsearch-kopf，只要在你安装Elasticsearch的目录中执行以下命令即可：

<code># cd /usr/local/elasticsearch-1.6.0/</code>

<code># ./plugin -install lmenezes/elasticsearch-kopf</code>

安装完成后在plugins目录下可以看到kopf

<code># ls plugins/</code>

（5）安装Kibana

下载kibana后，解压到对应的目录就完成kibana的安装

<code># tar -zxf kibana-4.1.1-linux-x64.tar.gz -C /usr/local/</code>

启动kibana

<code># /usr/local/kibana-4.1.1-linux-x64/bin/kibana</code>

看到如下界面说明索引创建完成。

点击“Discover”，可以搜索和浏览Elasticsearch中的数据，默认搜索的是最近15分钟的数据。可以自定义选择时间。

（6）配置logstash作为Indexer

将logstash配置为索引器，并将logstash的日志数据存储到Elasticsearch，本范例主要是索引本地系统日志。

<code># cat /usr/local/logstash-1.5.2/logstash-indexer.conf</code>

<code>input {</code>

<code> </code><code>type =>"syslog"</code>

<code> </code><code>path => ["/var/log/messages", "/var/log/syslog" ]</code>

<code> </code><code>syslog {</code>

<code> </code><code>stdout { codec=> rubydebug }</code>

<code> </code><code>elasticsearch {host => "localhost" }</code>

<code># /usr/local/logstash-1.5.2/bin/logstash -flogstash-indexer.conf</code>

使用echo命令模拟写入日志，命令执行后看到如下图的信息

<code># echo "`date` 优衣库视频" >>/var/log/messages</code>

本文转自yjlsy 51CTO博客，原文链接：http://blog.51cto.com/baidu/1676798，如需转载请自行联系原作者

开源实时日志分析ELK平台部署

继续阅读

关于Gradle配置的小结

Java小案例——随机数猜测随机数猜测

nginx location中斜线的位置的重要性

27 Best Free Eclipse Plug-ins for Java Developer to be ProductiveCode Quality PluginsText Editor PluginsDependency ManagementVersion Control Integration PluginsFramework Development Continuous Integration Related PluginsOther Utility Plugins

Java String.format方法的简单使用

neo4j之cypher使用文档

GitHub连夜封杀！这份阿里 10W 字内部 Java 字面试手册到底有多强？

spark/scala关于【资源文件】加载方法概述外部文件加载方案测试资源文件打包入jar包中小结

mybatis_入门程序Mybatis入门

AOP编程_Android优雅权限框架(1)概念基础，2021金三银四前言正文大纲正文

Effective Java 8:通用程序设计

OOM三种类型

工厂模式-三种类型

【递归】高效率求2的n次幂

win10本地scala和spark安装安装scala安装spark

scala (3) Function 和 Method