好久沒有更新部落格文章了，今天給大家帶來的是logback+ELK+SpringMVC 日志收集伺服器搭建。接下來我會介紹ELK是什麼？logback是什麼？以及搭建的流程。

1.ELK是什麼？

ELK是由Elasticsearch、Logstash、Kibana這3個軟體的縮寫。

Elasticsearch是一個分布式搜尋分析引擎，穩定、可水準擴充、易于管理是它的主要設計初衷
Logstash是一個靈活的資料收集、加工和傳輸的管道軟體
Kibana是一個資料可視化平台，可以通過将資料轉化為酷炫而強大的圖像而實作與資料的互動将三者的收集加工，存儲分析和可視轉化整合在一起就形成了 ELK 。

2.ELK流程

ELK的流程應該是這樣的:Logback->Logstash->（Elasticsearch<->Kibana）

應用程式産生出日志，由logback日志架構進行處理。
将日志資料輸出到Logstash中
Logstash再将資料輸出到Elasticsearch中
Elasticsearch再與Kibana相結合展示給使用者

3.ELK官網

https://www.elastic.co/guide/index.html

4. 環境配置

4.1 基礎環境

jdk 1.8
Centos 7.0 X86-64

注意：ELK服務不能在root使用者開啟。需要重新建立使用者。

下載下傳ELK相關服務壓縮包

建立ELK使用者和目錄并賦予權限,友善統一管理。

[root@localhost /]# mkdir elsearch
[root@localhost /]# groupadd  elsearch
[root@localhost /]# useradd -g elsearch elsearch
[root@localhost /]# chown -R elsearch:elsearch /elsearch
[root@localhost /]# su elsearch
[elk@localhost /]$ cd elsearch

4.2 下載下傳,然你也可以去官網找最新版的

wget

https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-5.2.2.tar.gz https://artifacts.elastic.co/downloads/logstash/logstash-5.2.2.tar.gz https://artifacts.elastic.co/downloads/kibana/kibana-5.2.2-linux-x86_64.tar.gz

我這裡是以5.2.2為例來實作。

4.3 配置Elasticsearch

Elasticsearch是可以搭建叢集,我這邊隻是解壓後直接修改配置檔案

elasticsearch.yml

cluster.name: es_cluster_1
node.name: node-1
path.data: /usr/local/services/elasticsearch-5.2.2/data              
path.logs:/usr/local/services/elasticsearch-5.2.2/logs
network.host: 192.168.10.200 
http.port: 9200

啟動ElasticSearch,通路

http://192.168.10.200:9200/

看到如上的界面就代表啟動成功。

注意：安裝過程中出現一些問題。在這篇文章中已經都給我們解決了。

http://www.cnblogs.com/sloveling/p/elasticsearch.html

4.4 配置logstash

解壓

tar -zxvf /usr/local/services/logstash-5.2.2.tar.gz

測試配置,隻是測試服務是否啟動。還有這個檔案是沒有的,啟動時加上這個路徑就是以這個配置啟動

vi /usr/local/services/logstash-5.2.2/config/logstash.conf

input {
 stdin { }
}
output {
 stdout {
 codec => rubydebug {}
 }
}

logstash以配置檔案方式啟動有兩種：

清單内容 logstash -f logstash-test.conf //普通方式啟動
logstash agent -f logstash-test.conf –debug//開啟debug模式

./bin/logstash -f config/logstash.conf --debug

啟動成功會看到如下的結果：

這是時候，我們在控制台随便輸入都可以被收集

n"=>"1", "host"=>"localhost", "message"=>"我們都是好好"}}
{
    "@timestamp" => 2017-08-18T05:45:25.340Z,
      "@version" => "1",
          "host" => "localhost",
       "message" => "我們都是好好"
}
[2017-08-18T13:45:26,933][DEBUG][logstash.pipeline        ] Pushing flush onto pipeline
[2017-08-18T13:45:31,934][DEBUG][logstash.pipeline        ] Pushing flush onto pipeline

4.5 配置logstash

配置kibana

+ 解壓

[elsearch@localhost root]$ tar -zxvf /usr/local/services/kibana-5.2.2-linux-x86_64.tar.gz

打開配置

[elsearch@localhost root]$ vim /usr/local/services/kibana-5.2.2-linux-x86_64/config/kibana.yml

修改配置,最後最加

server.port: 8888
server.host: "192.168.10.200"
elasticsearch.url: "http://192.168.10.200:9200"

啟動

[elsearch@localhost root]$ /usr/local/services/kibana-5.2.2-linux-x86_64/bin/kibana &

通路位址

http://192.168.10.200:8888

基本ELK的環境的搭建就ok了,我們接下來學習logback-ELK整合來收集JavaEE中的日志。

4.6 logback-ELK整合

4.6.1 本案列采用maven管理

pom.xml

<dependency>
    <groupId>net.logstash.logback</groupId>
    <artifactId>logstash-logback-encoder</artifactId>
    <version>4.11</version>
</dependency>
        <!--實作slf4j接口并整合-->
    <dependency>
      <groupId>ch.qos.logback</groupId>
      <artifactId>logback-classic</artifactId>
      <version>1.2.3</version>
    </dependency>
    <dependency>
<groupId>net.logstash.log4j</groupId>
<artifactId>jsonevent-layout</artifactId>
<version>1.7</version>
</dependency>

4.6.2配置logaback的配置檔案

<?xml version="1.0" encoding="UTF-8"?>
<configuration debug="false">
<!--定義日志檔案的存儲位址 勿在 LogBack 的配置中使用相對路徑-->
    <property name="LOG_HOME" value="E:/logs" />
    <!-- 控制台輸出 -->
    <appender name="STDOUT" class="ch.qos.logback.core.ConsoleAppender">
        <encoder class="ch.qos.logback.classic.encoder.PatternLayoutEncoder">
            <!--格式化輸出：%d表示日期，%thread表示線程名，%-5level：級别從左顯示5個字元寬度%msg：日志消息，%n是換行符-->
            <pattern>%d{yyyy-MM-dd HH:mm:ss.SSS} [%thread] %-5level %logger{50} - %msg%n</pattern>
        </encoder>
    </appender>
    <!-- 按照每天生成日志檔案 -->
    <appender name="FILE"  class="ch.qos.logback.core.rolling.RollingFileAppender">
        <rollingPolicy class="ch.qos.logback.core.rolling.TimeBasedRollingPolicy">
            <!--日志檔案輸出的檔案名-->
            <FileNamePattern>${LOG_HOME}/TestWeb.log_%d{yyyy-MM-dd}.log</FileNamePattern>
            <!--日志檔案保留天數-->
            <MaxHistory>30</MaxHistory>
        </rollingPolicy>
        <encoder class="ch.qos.logback.classic.encoder.PatternLayoutEncoder">
            <!--格式化輸出：%d表示日期，%thread表示線程名，%-5level：級别從左顯示5個字元寬度%msg：日志消息，%n是換行符-->
            <pattern>%d{yyyy-MM-dd HH:mm:ss.SSS} [%thread] %-5level %logger{50} - %msg%n</pattern>
        </encoder>
        <!--日志檔案最大的大小-->
        <triggeringPolicy class="ch.qos.logback.core.rolling.SizeBasedTriggeringPolicy">
            <MaxFileSize>10MB</MaxFileSize>
        </triggeringPolicy>
    </appender>
    <!-- show parameters for hibernate sql 專為 Hibernate 定制 -->
    <logger name="org.hibernate.type.descriptor.sql.BasicBinder"  level="TRACE" />
    <logger name="org.hibernate.type.descriptor.sql.BasicExtractor"  level="DEBUG" />
    <logger name="org.hibernate.SQL" level="DEBUG" />
    <logger name="org.hibernate.engine.QueryParameters" level="DEBUG" />
    <logger name="org.hibernate.engine.query.HQLQueryPlan" level="DEBUG" />

    <!--myibatis log configure-->
    <logger name="com.apache.ibatis" level="TRACE"/>
    <logger name="java.sql.Connection" level="DEBUG"/>
    <logger name="java.sql.Statement" level="DEBUG"/>
    <logger name="java.sql.PreparedStatement" level="DEBUG"/>
    <appender name="stash" class="net.logstash.logback.appender.LogstashTcpSocketAppender">
        <destination>192.168.10.200:8082</destination>
        <!-- encoder is required -->
        <encoder charset="UTF-8" class="net.logstash.logback.encoder.LogstashEncoder" />
    </appender>
    <!-- 日志輸出級别 -->
    <root level="INFO">
         <!-- 隻有添加stash關聯才會被收集-->
        <appender-ref ref="stash" />
        <appender-ref ref="STDOUT" />
        <appender-ref ref="FILE" />
    </root>
</configuration>

注意：logstash接收日志的位址 192.168.10.200:8082

4.6.3配置logstash-test.conf

vi logstash-test.conf

input {
 tcp {
        host => "192.168.10.200"
        port => 8082
        mode => "server"
        ssl_enable => false
        codec => json {
            charset => "UTF-8"
        }
    }
}
output {
    elasticsearch {
    hosts => "192.168.10.200:9200"
    index => "logstash-test"
    }
  stdout { codec => rubydebug {} }
}

啟動收集

./bin/logstash -f config/logstash-test.conf –debug

4.6.4配置Controller添加日志輸出

package com.example.demo;

import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
import org.springframework.web.bind.annotation.GetMapping;
import org.springframework.web.bind.annotation.PathVariable;
import org.springframework.web.bind.annotation.RestController;

@RestController
public class TestEndpoints {
    private final static Logger logger = LoggerFactory.getLogger(TestEndpoints.class);

    @GetMapping("/product/{id}")
    public String getProduct(@PathVariable String id) {
        String data = "{\"name\":\"李東\"}";
        logger.info(data);
        return "product id : " + id;
    }

    @GetMapping("/order/{id}")
    public String getOrder(@PathVariable String id) {

        return "order id : " + id;

    }
}

請求調用之後控制台的log

之後Kibana中就可以收集到log

{
  "_index": "logstash-test",
  "_type": "logs",
  "_id": "AV3zu4jiJKLF9tWSjmZj",
  "_score": null,
  "_source": {
    "@timestamp": "2017-08-18T05:04:51.698Z",
    "level": "INFO",
    "port": 56525,
    "thread_name": "http-nio-8081-exec-10",
    "level_value": 20000,
    "@version": 1,
    "host": "192.168.10.165",
    "logger_name": "com.example.demo.TestEndpoints",
    "message": "{\"name\":\"李東\"}"
  },
  "fields": {
    "@timestamp": [
      1503032691698
    ]
  },
  "sort": [
    1503032691698
  ]
}

基本上就這些步驟，希望看完之後，動手實踐一下，謝謝閱讀。

dubbo2.5-spring4-mybastis3.2-springmvc4-logback-ELK整合（十三） logback+ELK日志收集伺服器搭建4.6 logback-ELK整合

1.ELK是什麼？

2.ELK流程

3.ELK官網

4. 環境配置

4.1 基礎環境

4.2 下載下傳,然你也可以去官網找最新版的

4.3 配置Elasticsearch

4.4 配置logstash

4.5 配置logstash

4.6 logback-ELK整合

4.6.1 本案列采用maven管理

4.6.2配置logaback的配置檔案

4.6.3配置logstash-test.conf

4.6.4配置Controller添加日志輸出

繼續閱讀

27 Best Free Eclipse Plug-ins for Java Developer to be ProductiveCode Quality PluginsText Editor PluginsDependency ManagementVersion Control Integration PluginsFramework Development Continuous Integration Related PluginsOther Utility Plugins

Java String.format方法的簡單使用

neo4j之cypher使用文檔

GitHub連夜封殺！這份阿裡 10W 字内部 Java 字面試手冊到底有多強？

spark/scala關于【資源檔案】加載方法概述外部檔案加載方案測試資源檔案打包入jar包中小結

mybatis_入門程式Mybatis入門

maven No compiler is provided in this environment. Perhaps you are running on a JRE rather than a J

AOP程式設計_Android優雅權限架構(1)概念基礎，2021金三銀四前言正文大綱正文

sqlServer根據經緯查距離

Effective Java 8:通用程式設計

OOM三種類型

工廠模式-三種類型

【遞歸】高效率求2的n次幂

win10本地scala和spark安裝安裝scala安裝spark

scala (3) Function 和 Method

Opendaylight課堂之深度剖析toaster（一）