天天看點

Logback配置檔案這麼寫,TPS提高10倍

之前的日志配置方式是基于同步的,每次日志輸出到檔案都會進行一次磁盤IO。采用異步寫日志的方式而不讓此次寫日志發生磁盤IO,阻塞線程進而造成不必要的性能損耗。異步輸出日志的方式很簡單,添加一個基于異步寫日志的appender,并指向原先配置的appender即可

通過閱讀本篇文章将了解到

  • 1.日志輸出到檔案并根據

    LEVEL

    級别将日志分類儲存到不同檔案
  • 2.通過異步輸出日志減少磁盤

    IO

    提高性能
  • 3.異步輸出日志的原理

配置檔案logback-spring.xml

SpringBoot

工程自帶

logback

slf4j

的依賴,是以重點放在編寫配置檔案上,需要引入什麼依賴,日志依賴沖突統統都不需要我們管了。

logback

架構會預設加載

classpath

下命名為

logback-spring

logback

的配置檔案。将所有日志都存儲在一個檔案中檔案大小也随着應用的運作越來越大并且不好排查問題,正确的做法應該是将

error

日志和其他日志分開,并且不同級别的日志根據時間段進行記錄存儲。

<?xml version="1.0" encoding="utf-8"?>
<configuration>
    <property resource="logback.properties"/>
    <appender name="CONSOLE-LOG" class="ch.qos.logback.core.ConsoleAppender">
        <layout class="ch.qos.logback.classic.PatternLayout">
            <pattern>[%d{yyyy-MM-dd' 'HH:mm:ss.sss}] [%C] [%t] [%L] [%-5p] %m%n</pattern>
        </layout>
    </appender>
    <!--擷取比info級别高(包括info級别)但除error級别的日志-->
    <appender name="INFO-LOG" class="ch.qos.logback.core.rolling.RollingFileAppender">
        <filter class="ch.qos.logback.classic.filter.LevelFilter">
            <level>ERROR</level>
            <onMatch>DENY</onMatch>
            <onMismatch>ACCEPT</onMismatch>
        </filter>
        <encoder>
            <pattern>[%d{yyyy-MM-dd' 'HH:mm:ss.sss}] [%C] [%t] [%L] [%-5p] %m%n</pattern>
        </encoder>

        <!--滾動政策-->
        <rollingPolicy class="ch.qos.logback.core.rolling.TimeBasedRollingPolicy">
            <!--路徑-->
            <fileNamePattern>${LOG_INFO_HOME}//%d.log</fileNamePattern>
            <maxHistory>30</maxHistory>
        </rollingPolicy>
    </appender>
    <appender name="ERROR-LOG" class="ch.qos.logback.core.rolling.RollingFileAppender">
        <filter class="ch.qos.logback.classic.filter.ThresholdFilter">
            <level>ERROR</level>
        </filter>
        <encoder>
            <pattern>[%d{yyyy-MM-dd' 'HH:mm:ss.sss}] [%C] [%t] [%L] [%-5p] %m%n</pattern>
        </encoder>
        <!--滾動政策-->
        <rollingPolicy class="ch.qos.logback.core.rolling.TimeBasedRollingPolicy">
            <!--路徑-->
            <fileNamePattern>${LOG_ERROR_HOME}//%d.log</fileNamePattern>
            <maxHistory>30</maxHistory>
        </rollingPolicy>
    </appender>

    <root level="info">
        <appender-ref ref="CONSOLE-LOG" />
        <appender-ref ref="INFO-LOG" />
        <appender-ref ref="ERROR-LOG" />
    </root>
</configuration>
           

部分标簽說明

  • <root>
               
    标簽,必填标簽,用來指定最基礎的日志輸出級别
    • <appender-ref>

      标簽,添加

      append

  • <append>
               
    标簽,通過使用該标簽指定日志的收集政策
    • name

      屬性指定

      appender

      命名
    • class

      屬性指定輸出政策,通常有兩種,控制台輸出和檔案輸出,檔案輸出就是将日志進行一個持久化。

      ConsoleAppender

      将日志輸出到控制台
  • <filter>
               
    标簽,通過使用該标簽指定過濾政策
    • <level>

      标簽指定過濾的類型
  • <encoder>

    标簽,使用該标簽下的

    <pattern>

    标簽指定日志輸出格式
  • <rollingPolicy>
               
    标簽指定收集政策,比如基于時間進行收集
    • <fileNamePattern>

      标簽指定生成日志儲存位址 通過這樣配置已經實作了分類分天手機日志的目标了
Logback配置檔案這麼寫,TPS提高10倍

logback 進階特性異步輸出日志

之前的日志配置方式是基于同步的,每次日志輸出到檔案都會進行一次磁盤IO。采用異步寫日志的方式而不讓此次寫日志發生磁盤IO,阻塞線程進而造成不必要的性能損耗。異步輸出日志的方式很簡單,添加一個基于異步寫日志的

appender

,并指向原先配置的

appender

即可

<!-- 異步輸出 -->
    <appender name="ASYNC-INFO" class="ch.qos.logback.classic.AsyncAppender">
        <!-- 不丢失日志.預設的,如果隊列的80%已滿,則會丢棄TRACT、DEBUG、INFO級别的日志 -->
        <discardingThreshold>0</discardingThreshold>
        <!-- 更改預設的隊列的深度,該值會影響性能.預設值為256 -->
        <queueSize>256</queueSize>
        <!-- 添加附加的appender,最多隻能添加一個 -->
        <appender-ref ref="INFO-LOG"/>
    </appender>

    <appender name="ASYNC-ERROR" class="ch.qos.logback.classic.AsyncAppender">
        <!-- 不丢失日志.預設的,如果隊列的80%已滿,則會丢棄TRACT、DEBUG、INFO級别的日志 -->
        <discardingThreshold>0</discardingThreshold>
        <!-- 更改預設的隊列的深度,該值會影響性能.預設值為256 -->
        <queueSize>256</queueSize>
        <!-- 添加附加的appender,最多隻能添加一個 -->
        <appender-ref ref="ERROR-LOG"/>
    </appender>
           

異步輸出日志性能測試

既然能提高性能的話,必須進行一次測試比對,同步和異步輸出日志性能到底能提升多少倍?

伺服器硬體

  • CPU

    六核
  • 記憶體 8G

測試工具

Apache Jmeter
           

同步輸出日志

  • 線程數:100
  • Ramp-Up Loop

    (可以了解為啟動線程所用時間) :0 可以了解為100個線程同時啟用
  • 測試結果
    Logback配置檔案這麼寫,TPS提高10倍
    重點關注名額
    Throughput【TPS】
               
    吞吐量:系統在機關時間内處理請求的數量,在同步輸出日志中
    TPS
               

    44.2/sec

異步輸出日志

  • 線程數 100
  • Ramp-Up Loop

    :0
  • Logback配置檔案這麼寫,TPS提高10倍
    TPS
               

    497.5/sec

    性能提升了10多倍!!!

異步日志輸出原理

logback

架構下的

Logger.info

方法開始追蹤。一路的方法調用路徑如下圖所示:

Logback配置檔案這麼寫,TPS提高10倍

異步輸出日志中最關鍵的就是配置檔案中

ch.qos.logback.classic``AsyncAppenderBase``append

protected void append(E eventObject) {
        if(!this.isQueueBelowDiscardingThreshold() || !this.isDiscardable(eventObject)) {
            this.preprocess(eventObject);
            this.put(eventObject);
        }
    }
           

通過隊列情況判斷是否需要丢棄日志,不丢棄的話将它放到阻塞隊列中,通過檢視代碼,這個阻塞隊列為

ArrayBlockingQueueu

,預設大小為256,可以通過配置檔案進行修改。

Logger.info(...)

append(...)

就結束了,隻做了将日志塞入到阻塞隊列的事,然後繼續執行

Logger.info(...)

下面的語句了。 在

AsyncAppenderBase

類中定義了一個

Worker

線程,

run

方法中的關鍵部分代碼如下:

E e = parent.blockingQueue.take();
aai.appendLoopOnAppenders(e);
           

從阻塞隊列中取出一個日志,并調用

AppenderAttachableImpl

類中的

appendLoopOnAppenders

方法維護一個

Append

清單。

Worker

線程中調用方法過程主要如下圖:

Logback配置檔案這麼寫,TPS提高10倍

最主要的兩個方法就是

encode``write``encode

作者:何甜甜在嗎連結:https://juejin.im/post/5d4d61326fb9a06aff5e5ff5

最後附:項目完整代碼

<?xml version="1.0" encoding="utf-8"?>
<configuration>
    <property resource="logback.properties"/>
    <appender name="CONSOLE-LOG" class="ch.qos.logback.core.ConsoleAppender">
        <layout class="ch.qos.logback.classic.PatternLayout">
            <pattern>[%d{yyyy-MM-dd' 'HH:mm:ss.sss}] [%C] [%t] [%L] [%-5p] %m%n</pattern>
        </layout>
    </appender>
    <!--擷取比info級别高(包括info級别)但除error級别的日志-->
    <appender name="INFO-LOG" class="ch.qos.logback.core.rolling.RollingFileAppender">
        <filter class="ch.qos.logback.classic.filter.LevelFilter">
            <level>ERROR</level>
            <onMatch>DENY</onMatch>
            <onMismatch>ACCEPT</onMismatch>
        </filter>
        <encoder>
            <pattern>[%d{yyyy-MM-dd' 'HH:mm:ss.sss}] [%C] [%t] [%L] [%-5p] %m%n</pattern>
        </encoder>

        <!--滾動政策-->
        <rollingPolicy class="ch.qos.logback.core.rolling.TimeBasedRollingPolicy">
            <!--路徑-->
            <fileNamePattern>${LOG_INFO_HOME}//%d.log</fileNamePattern>
            <maxHistory>30</maxHistory>
        </rollingPolicy>
    </appender>
    <appender name="ERROR-LOG" class="ch.qos.logback.core.rolling.RollingFileAppender">
        <filter class="ch.qos.logback.classic.filter.ThresholdFilter">
            <level>ERROR</level>
        </filter>
        <encoder>
            <pattern>[%d{yyyy-MM-dd' 'HH:mm:ss.sss}] [%C] [%t] [%L] [%-5p] %m%n</pattern>
        </encoder>
        <!--滾動政策-->
        <rollingPolicy class="ch.qos.logback.core.rolling.TimeBasedRollingPolicy">
            <!--路徑-->
            <fileNamePattern>${LOG_ERROR_HOME}//%d.log</fileNamePattern>
            <maxHistory>30</maxHistory>
        </rollingPolicy>
    </appender>
    <!-- 異步輸出 -->
    <appender name="ASYNC-INFO" class="ch.qos.logback.classic.AsyncAppender">
        <!-- 不丢失日志.預設的,如果隊列的80%已滿,則會丢棄TRACT、DEBUG、INFO級别的日志 -->
        <discardingThreshold>0</discardingThreshold>
        <!-- 更改預設的隊列的深度,該值會影響性能.預設值為256 -->
        <queueSize>256</queueSize>
        <!-- 添加附加的appender,最多隻能添加一個 -->
        <appender-ref ref="INFO-LOG"/>
    </appender>

    <appender name="ASYNC-ERROR" class="ch.qos.logback.classic.AsyncAppender">
        <!-- 不丢失日志.預設的,如果隊列的80%已滿,則會丢棄TRACT、DEBUG、INFO級别的日志 -->
        <discardingThreshold>0</discardingThreshold>
        <!-- 更改預設的隊列的深度,該值會影響性能.預設值為256 -->
        <queueSize>256</queueSize>
        <!-- 添加附加的appender,最多隻能添加一個 -->
        <appender-ref ref="ERROR-LOG"/>
    </appender>

    <root level="info">
        <appender-ref ref="CONSOLE-LOG" />
        <appender-ref ref="INFO-LOG" />
        <appender-ref ref="ERROR-LOG" />
    </root>
</configuration>
           
LOG_ERROR_HOME=C://Users//hetiantian//Desktop//log//error
LOG_INFO_HOME=C://Users//hetiantian//Desktop//log//info
           
上一篇: python運算符
下一篇: Python 運算符