基于 log4j2 插件實作統一日志脫敏，性能遠超正則替換

前言

金融使用者敏感資料如何優雅地實作脫敏？

日志脫敏之後，無法根據資訊快速定位怎麼辦？

經過了這兩篇文章之後，我們對日志脫敏應該有了一定的了解。

但是實際項目中，我們遇到的情況往往更加複雜：

1）項目的 java bean 定義不規範，大量接口使用 map。

2）曆史項目衆多，改造成本巨大。

種種原因，導緻使用注解的方式耗費大量的時間。但是一般給我們改造的時間是有限的。

那麼，有沒有一種方法可以統一對敏感資訊進行脫敏處理呢？

答案是有的，我們可以基于 log4j2 實作自己的脫敏政策，統一實作日志的脫敏。

log4j2 Rewrite

我們可以基于 log4j2 RewritePolicy 統一使用脫敏政策。

本項目自 V1.2.0 添加對應支援，後續将提升對應的可拓展性。

說明：如果使用 slf4j 接口，實作為 log4j2 時也是支援的。

使用入門

maven 引入

引入核心脫敏包。

<dependency>
    <groupId>com.github.houbb</groupId>
    <artifactId>sensitive-log4j2</artifactId>
    <version>1.2.1</version>
</dependency>           

其他的一般項目中也有，如 log4j2 包：

<dependency>
    <groupId>org.apache.logging.log4j</groupId>
    <artifactId>log4j-api</artifactId>
    <version>${log4j2.version}</version>
</dependency>
<dependency>
    <groupId>org.apache.logging.log4j</groupId>
    <artifactId>log4j-core</artifactId>
    <version>${log4j2.version}</version>
</dependency>           

log4j2.xml 配置

例子如下:

<?xml version="1.0" encoding="UTF-8"?>
<Configuration status="WARN" packages = "com.github.houbb.sensitive.log4j2.rewrite">
    <Appenders>
        <Console name="Console" target="SYSTEM_OUT">
        </Console>
        <Rewrite name="rewrite">
            <AppenderRef ref="Console"/>
            <SensitiveRewritePolicy/>
        </Rewrite>
    </Appenders>
    <Loggers>
        <Root level="DEBUG">
            <AppenderRef ref="rewrite" />
        </Root>
    </Loggers>
</Configuration>           

幾個步驟：

1.

指定 package 為 packages = "com.github.houbb.sensitive.log4j2.rewrite"

2.

按照 log4j2 Rewrite 規範，指定重寫政策為 SensitiveRewritePolicy

3.

輸出時，直接指定為對應的重寫之後的結果 <AppenderRef ref="rewrite" />

測試

正常的日志列印：

private static final String TEST_LOG = "mobile:[phone]; bankCard:6217004470007335024, email:[email protected], amount:123.00, " +
        "IdNo:340110199801016666, name1:李明, name2:李曉明, name3:李澤明天, name4:山東小栗旬" +
        ", birthday:20220517, GPS:120.882222, IPV4:127.0.0.1, address:中國上海市徐彙區888号;";


logger.info(TEST_LOG);           

自動脫敏效果如下：

mobile:130****7777|9FC4D36D63D2B6DC5AE1297544FBC5A2; bankCard:6217***********5024|444F49289B30944AB8C6C856AEA21180, email:mahu*****@qq.com|897915594C94D981BA86C9E83ADD449C, amount:123.00, IdNo:3****************6|F9F05E4ABB3591FC8EA481E8DE1FA4D6, name1:李*|15095D14367F7F02655030D498A4BA03, name2:李**|035E3C0D1A0410367FE6EB8335B2BFDE, name3:李澤**|B87138E5E80AEC87D2581A25CAA3809D, name4:山東***|6F2178D34BC7DD0A07936B5AFF39A16F, birthday:********|1F88D983FAFC50022651122B42F084A0, GPS:**********|E281A9A52DE915154285148D68872CA2, IPV4:127******|F528764D624DB129B32C21FBCA0CB8D6, address:中國上海市徐******|821A601949B1BD18DCBAAE27F2E27147;           

ps: 這裡是為了示範各種效果，實際預設對應為 1,2,3,4 這幾種政策。

log4j2 配置定制化

為了滿足各種使用者的場景，在 V1.2.1 引入了 SensitiveRewritePolicy 政策的可配置化。

預設配置

log4j2 配置中，SensitiveRewritePolicy 配置預設等價于

<SensitiveRewritePolicy
        prefix=":='""
        scanList = "1,2,3,4"
        replaceList = "1,2,3,4"
        defaultReplace = "12"
        replaceHash = "md5"
/>           

屬性說明

SensitiveRewritePolicy 政策的屬性說明。

屬性	說明	預設值	備注
prefix	需要脫敏資訊的比對字首	:='"	降低誤判率
replaceHash	哈希政策模式	md5	支援 md5/none 兩種模式
scanList	敏感掃描政策清單	1,2,3,4	1~10 内置的10種敏感資訊掃描政策，多個用逗号隔開
replaceList	敏感替換政策清單	1,2,3,4	1~10 内置的10種敏感資訊替換政策，多個用逗号隔開
defaultReplace	敏感替換預設政策	12	1~13 内置的13種敏感資訊替換政策，指定一個。當清單沒有比對時，預設使用這個

其中 1-13 的内置政策說明如下：

政策辨別	說明
1	手機号
2	身份證
3	銀行卡
4	郵箱
5	中國人名
6	出生日期
7	GPS
8	IPV4
9	位址
10	護照
11	比對任意不掩蓋
12	比對任意半掩蓋
13	比對任意全掩蓋

不足之處

這裡的政策自定義和 log4j2 的插件化比起來，确實算不上強大，但是可以滿足 99% 的脫敏場景。

後續有時間考慮類似 log4j2 的 plugins 思想，實作更加靈活的自定義政策。

性能

正則的替換可能會導緻 cpu 飙升等問題，替換的政策也有限制。

實作的底層不是基于正則的，性能要遠高于正則，大概是 2 倍左右，符合企業級應用性能。

後續将添加對應的 benchmark。

小結

實際項目中，建議二者結合使用。

基于 log4j2 的方式統一處理非常友善，但是是性能和準确性要有一定的折中。

如果是新項目，建議使用注解的方式，通過日志标準規範開發，後續拓展性也更加靈活。