SpringCloud微服务总结2 ELK日志监控搭建

程序运行避免不了出错，测试环境时我们可以通过打断点定位问题。但是上线之后的项目出bug，进行定位时就需要查看日志。spring cloud进行分布式部署后会有多个微服务，每个微服务都会产生日志，怎么进行日志分类，按条件索引想要看到的报错内容呢？现在流行的日志监控系统ELK完美解决这个问题。本文整理了ELK单机版在Linux系统进行搭建，以及springboot将日志关联到ELK系统。

ELK是由三个工具整合的日志系统（elasticsearch、logstash、kibana）。

Elasticsearch：起到的作用是日志索引，快速根据不同条件找到我们想看到的日志。

Logstash：起到的作用是日志收集，各个微服务将日志关联到logstash。

kibana：起到的作用是可视化UI界面。查看日志总归是有个图形化界面比较好看实用。

一 、安装Elasticsearch

1. 下载，我用的6.4.1版本，新版本没用过，也没了解有啥变化，还是稳重求胜比较好。下载地址：https://www.elastic.co/cn/downloads/past-releases/elasticsearch-6-4-1
2. 解压缩：

        tar -zxvf elasticsearch-6.4.1.tar.gz -C /usr/local

            这时，/usr/local目录下就有elasticsearch-6.4.1目录了

       cd /usr/local/ elasticsearch-6.4.1

     3. 编辑配置文件并启动

         vi /config/elasticsearch.yml 修改基本配置(注意的点，：后面跟一个空格。它是yml格式的文件)

         network.host: 192.168.0.85                  单机配置成本机地址即可

         http.port: 9200                                             端口默认9200

         这时就配置完成，但是它不允许root运行，所以我们新建个帐号来运行它

         useradd elk

         passwd elk

        输入俩次密码 回到上级目录并更改elasticsearch的拥有者：

        chown -R elk elasticsearch-6.4.1

        这时切换到elk用户，执行

        su elk

       命令完成切换

       cd elasticsearch-6.4.1

       后台运行它，并将启动日志输入

       nohup ./bin/elasticsearch &

       查看elasticsearch运行日志命令

       vi nohup.out   查看截至到当前日志

       tailf nohup.out    实时查看运行日志

二 、安装Logstash

1. 下载，我用的6.4.1版本，新版本没用过，也没了解有啥变化，还是稳重求胜比较好。下载地址：https://www.elastic.co/cn/downloads/past-releases/logstash-6-4-1
2. 解压缩：

         tar -zxvf logstash-6.4.1.tar.gz -C /usr/local

         cd /usr/local/logstash-6.4.1/

     3. 编辑配置文件并启动

          创建一个配置文件

          vi config/logstash.conf    (logstash.conf 名字可自定义)

          以下为logstash中基本配置：

input {

    tcp {

        port => "5044"

        codec => "json"

    }

}

output {

    elasticsearch {

        action => "index"

        hosts => ["192.168.195.201:9200"]

        index => "%{[appname]}"

    }

}

         启动logstash

         nohup ./bin/logstash -f ./config/logstash.conf &

         查看logstash运行日志命令

         vi nohup.out   查看截至到当前日志

         tailf nohup.out    实时查看运行日志

三 、安装Kibana

1. 下载，我用的6.4.1版本，新版本没用过，也没了解有啥变化，还是稳重求胜比较好。下载地址：https://www.elastic.co/cn/downloads/past-releases/kibana-6-4-1
2. 解压缩：

         tar -zxvf kibana-6.4.1-linux-x86_64.tar.gz -C /usr/local/

     3. 编辑配置文件并启动

         cd /usr/local/kibna-6.4.10linux-x86_64

         vi config/kibana.yml

              下边为kinaka中需要配置的

         server.host: "0.0.0.0"

         elasticsearch.url: "http://192.168.0.85:9200"

         elasticsearch.username: "elastic"

         elasticsearch.password: "changeme"

              启动kibana

              nohup ./bin/kibana &

              查看kibana运行日志命令

              vi nohup.out   查看截至到当前日志

              tailf nohup.out    实时查看运行日志

四、springboot中关联Logstash日志

           logback.xml文件如下：

<?xml version="1.0" encoding="UTF-8"?>

<configuration debug="false" scan="true"

    scanPeriod="1 seconds">

    <include

        resource="org/springframework/boot/logging/logback/base.xml" />

    <!-- <jmxConfigurator/> -->

    <contextName>logback</contextName>

    <property name="log.path" value="/home/xxx.log" /> <!--存储日志到服务器路径配置 -->

    <property name="log.pattern"

        value="%d{yyyy-MM-dd HH:mm:ss.SSS} -%5p ${PID} --- [%15.15t] %-40.40logger{39} : %m%n" />

    <!--输出到控制台 -->

    <appender name="CONSOLE"

        class="ch.qos.logback.core.ConsoleAppender">

        <!--此日志appender是为开发使用，只配置最底级别，控制台输出的日志级别是大于或等于此级别的日志信息 -->

        <filter class="ch.qos.logback.classic.filter.ThresholdFilter">

            <level>info</level>

        </filter>

        <encoder>

            <Pattern>${CONSOLE_LOG_PATTERN}</Pattern>

            <!-- 设置字符集 -->

            <charset>UTF-8</charset>

        </encoder>

    </appender>

    <appender name="file"

        class="ch.qos.logback.core.rolling.RollingFileAppender">

        <file>${log.path}</file>

        <filter class="ch.qos.logback.classic.filter.LevelFilter">

            <level>info</level>

            <onMatch>ACCEPT</onMatch>

            <onMismatch>DENY</onMismatch>

        </filter>

        <encoder>

            <pattern>${log.pattern}</pattern>

        </encoder>

        <rollingPolicy

            class="ch.qos.logback.core.rolling.TimeBasedRollingPolicy">

            <fileNamePattern>info-%d{yyyy-MM-dd}-%i.log

            </fileNamePattern>

            <timeBasedFileNamingAndTriggeringPolicy

                class="ch.qos.logback.core.rolling.SizeAndTimeBasedFNATP">

                <maxFileSize>10MB</maxFileSize>

            </timeBasedFileNamingAndTriggeringPolicy>

            <maxHistory>10</maxHistory>

        </rollingPolicy>

    </appender>

 <!--下边socket关联logstash -->  

 <appender name="socket"

        class="net.logstash.logback.appender.LogstashSocketAppender">

        <filter class="ch.qos.logback.classic.filter.ThresholdFilter">

            <level>INFO</level>

        </filter>

        <host>192.168.0.85</host>

        <port>5044</port>

        <customFields>{"appname":"appname"}</customFields>

    </appender>

    <appender name="LOGSTASH"

        class="net.logstash.logback.appender.LogstashTcpSocketAppender">

        <destination>192.168.0.85:5044</destination>

        <!-- encoder必须配置,有多种可选 -->

        <encoder charset="UTF-8"

            class="net.logstash.logback.encoder.LogstashEncoder">

            <customFields>{"appname":"appname"}</customFields>

        </encoder>

        <connectionStrategy>

            <roundRobin>

                <connectionTTL>5 minutes</connectionTTL>

            </roundRobin>

        </connectionStrategy>

    </appender>

    <root level="info">

        <!-- <appender-ref ref="file" /> -->

        <appender-ref ref="socket" />

         <appender-ref ref="LOGSTASH" />

    </root>

</configuration>

注：此文章仅供参考！！！如有不足之处或合理化建议还请提出，谢谢！