一文玩轉 Java 日志資料脫敏

點選上方“Java基基”，選擇“設為星标”

做積極的人，而不是積極廢人！

每天 14:00 更新文章，每天掉億點點頭發...

源碼精品專欄

原創 | Java 2021 超神之路，很肝~
中文詳細注釋的開源項目
RPC 架構 Dubbo 源碼解析
網絡應用架構 Netty 源碼解析
消息中間件 RocketMQ 源碼解析
資料庫中間件 Sharding-JDBC 和 MyCAT 源碼解析
作業排程中間件 Elastic-Job 源碼解析
分布式事務中間件 TCC-Transaction 源碼解析
Eureka 和 Hystrix 源碼解析
Java 并發源碼

來源：blog.csdn.net/blue_driver/

article/details/122025368

自定義Layout
編寫log4j配置
正則比對說明
注意事項
脫敏測試

許多系統為了安全需要對敏感資訊（如手機号、郵箱、姓名、身份證号、密碼、卡号、住址等）的日志列印要求脫敏後才能輸出，本文将結合個人經曆及總結分享一種log4j日志脫敏方式。

自定義Layout

import org.apache.logging.log4j.core.Layout;
import org.apache.logging.log4j.core.LogEvent;
import org.apache.logging.log4j.core.config.Node;
import org.apache.logging.log4j.core.config.plugins.Plugin;
import org.apache.logging.log4j.core.config.plugins.PluginAttribute;
import org.apache.logging.log4j.core.config.plugins.PluginElement;
import org.apache.logging.log4j.core.config.plugins.PluginFactory;
import org.apache.logging.log4j.core.layout.AbstractStringLayout;
import org.apache.logging.log4j.core.layout.PatternLayout;
import org.apache.logging.log4j.core.pattern.RegexReplacement;

import java.nio.charset.Charset;

@Plugin(name = "MyPatternLayout", category = Node.CATEGORY, elementType = Layout.ELEMENT_TYPE, printObject = true)
public class MyPatternLayout extends AbstractStringLayout {
    private PatternLayout patternLayout;
    private Boolean sensitive;
    private RegexReplacement[] replaces;

    protected MyPatternLayout(Charset charset, String pattern, Boolean sensitive, RegexReplacement[] replaces) {
        super(charset);
        patternLayout = PatternLayout.newBuilder().withPattern(pattern).build();
        this.sensitive = sensitive;
        this.replaces = replaces;
    }

    /**
     * 插件構造工廠方法
     *
     * @param pattern   輸出pattern
     * @param charset   字元集
     * @param sensitive 是否開啟脫敏
     * @param replaces  脫敏規則
     * @return Layout<String>
     */
    @PluginFactory
    public static Layout<String> createLayout(@PluginAttribute(value = "pattern") final String pattern,
                                              @PluginAttribute(value = "charset", defaultString = "UTF-8") final Charset charset,
                                              @PluginAttribute(value = "sensitive") final Boolean sensitive,
                                              @PluginElement("replace") final RegexReplacement[] replaces) {
        return new MyPatternLayout(charset, pattern, sensitive, replaces);
    }

 
    @Override
    public String toSerializable(LogEvent event) {
        // 原日志資訊
        String msg = this.patternLayout.toSerializable(event);

        if (Boolean.FALSE.equals(this.sensitive)) {
            // 不脫敏，直接傳回
            return msg;
        }

        if (this.replaces == null || this.replaces.length == 0) {
            throw new RuntimeException("未配置脫敏規則，請檢查配置重試");
        }

        for (RegexReplacement replace : this.replaces) {
            // 周遊脫敏正則 & 替換敏感資料
            msg = replace.format(msg);
        }

        // 脫敏後的日志
        return msg;
    }
}

基于 Spring Boot + MyBatis Plus + Vue & Element 實作的背景管理系統 + 使用者小程式，支援 RBAC 動态權限、多租戶、資料權限、工作流、三方登入、支付、短信、商城等功能。

項目位址：https://github.com/YunaiV/ruoyi-vue-pro

編寫log4j配置

以下預設了8中常見規則，請自行根據實際情況修改

<?xml version="1.0" encoding="utf-8"?>
<configuration>
    <properties>
        <!-- 檔案輸出格式 -->
        <property name="PATTERN">%d{yyyy-MM-dd HH:mm:ss.SSS} %5level --- [%t] %c : %msg%n</property>
    </properties>

    <appenders>
        <!-- 日志列印到控制台Appender -->
        <Console name="CONSOLE" target="system_out">
            <MyPatternLayout pattern="${PATTERN}" sensitive="true">
                <replace>
                    <!-- 11位的手機号：保留前3後4 -->
                    <regex>
                        <![CDATA[
    (mobile|手機号)(=|=\[|\":\"|:|：|=')(1)([3-9]{2})(\d{4})(\d{4})(\]|\"|'|)
       ]]>
                    </regex>
                    <replacement>$1$2$3$4****$6$7</replacement>
                </replace>
                <replace>
                    <!-- 固定電話：XXXX-XXXXXXXX或XXX-XXXXXXXX，保留區号+前2後2 -->
                    <regex>
                        <![CDATA[
    (tel|座機)(=|=\[|\":\"|:|：|=')([\d]{3,4}-)(\d{2})(\d{4})(\d{2})(\]|\"|'|)
       ]]>
                    </regex>
                    <replacement>$1$2$3$4****$6$7</replacement>
                </replace>

                <replace>
                    <!-- 位址：漢字+字母+數字+下劃線+中劃線，留前3個漢字 -->
                    <regex>
                        <![CDATA[
    (位址|住址|address)(=|=\[|\":\"|:|：|=')([\u4e00-\u9fa5]{3})(\w|[\u4e00-\u9fa5]|-)*(\]|\"|'|)
       ]]>
                    </regex>
                    <replacement>$1$2$3****$5</replacement>
                </replace>


                <replace>
                    <!-- 19位的卡号，保留後4 -->
                    <regex>
                        <![CDATA[
    (cardNo|卡号)(=|=\[|\":\"|:|：|=')(\d{15})(\d{4})(\]|\"|'|)
       ]]>
                    </regex>
                    <replacement>$1$2***************$4$5</replacement>
                </replace>

                <replace>
                    <!-- 姓名,2-4漢字，留前1-->
                    <regex>
                        <![CDATA[
    (name|姓名)(=|=\[|\":\"|:|：|=')([\u4e00-\u9fa5]{1})([\u4e00-\u9fa5]{1,3})(\]|\"|'|)
       ]]>
                    </regex>
                    <replacement>$1$2$3**$5</replacement>
                </replace>

                <replace>
                    <!--  密碼 6位數字，全* -->
                    <regex>
                        <![CDATA[
     (password|密碼|驗證碼)(=|=\[|\":\"|:|：|=')(\d{6})(\]|\"|'|)
       ]]>
                    </regex>
                    <replacement>$1$2******$4</replacement>
                </replace>

                <replace>
                    <!-- 身份證，18位（結尾為數字或X、x），保留前1後1 -->
                    <regex>
                        <![CDATA[
       (身份證号|idCard)(=|=\[|\":\"|:|：|=')(\d{1})(\d{16})([\d|X|x]{1})(\]|\"|)
       ]]>
                    </regex>
                    <replacement>$1$2$3****************$5$6</replacement>
                </replace>

                <replace>
                    <!-- 郵箱，保留@前的前1後1 -->
                    <regex>
                        <![CDATA[
       (\w{1})(\w*)(\w{1})@(\w+).com
       ]]>
                    </regex>
                    <replacement>$1****$3@$4.com</replacement>
                </replace>
            </MyPatternLayout>
        </Console>
    </appenders>

    <loggers>
        <!-- 控制台輸出 -->
        <root level="info">
            <AppenderRef ref="CONSOLE"/>
        </root>
    </loggers>

</configuration>

注意：

Console 使用了上一節中我們自己寫的的 MyPatternLayout ， MyPatternLayout 的兩個屬性 pattern 和 sensitive ，對應類 MyPatternLayout 的插件工廠方法的入參
MyPatternLayout 節點的子節點 replace （可多個）是我們配置的脫敏正規表達式

基于微服務的思想，建構在 B2C 電商場景下的項目實戰。核心技術棧，是 Spring Boot + Dubbo 。未來，會重構成 Spring Cloud Alibaba 。

項目位址：https://github.com/YunaiV/onemall

正則比對說明

<replace>
    <!-- 11位的手機号：保留前3後4 -->
    <regex>
        <![CDATA[
(mobile|手機号|phoneNo)(=|=\[|\":\"|:|：|=')(1)([3-9]{2})(\d{4})(\d{4})(\]|\"|'|)
            ]]>
    </regex>
    <replacement>$1$2$3$4****$6$7</replacement>
</replace>

regex說明

(mobile|手機号|phoneNo) ：脫敏關鍵字，多個之間以英文|分隔
(=|=\[|\":\"|:|：|=') ：關鍵字後的符号，多個之間以英文|分隔，詳見下文比對說明
(1) ：比對數字1
([3-9]{2}) ：比對2位數字，取值為3-9間的數字
(\d{4}) ：比對4位數字
(\d{4}) ：比對4位數字
(\]|\"|'|) ：比對值後的其他字元

// 代碼
logger.infoMessage("mobile={}", "13511114444");
# 脫敏後
2021-11-16 11:02:08.767  INFO --- [main] log.test.LogTest : mobile=135****4444

分組比對示意圖（同顔色為對應關系）

一文玩轉 Java 日志資料脫敏

replacement

中的

$n

即對應第n對括号（從1開始），上圖中共有7對括号，

$1$2$3$4**** $6$7

則表示，僅有第5組内容被

****

替代，其他内容按原内容顯示

注意事項

根據情況自行調整replace節點
含脫敏關鍵字的正則，盡量列舉全面
值比對正則（如上文的手機号的第3分組到倒數第2分組）：需要根據實際情況調整，特别是卡号、賬号的規則，各家銀行或有不同
修改完配置後，務必進行測試，正則解析出錯隻有運作時可發現
日志列印規範，根據第2分組 (=|=\[|\":\"|:|：|=') 可知，可比對如下情況

@Test
public void test0() {
    // 等号
    logger.infoMessage("mobile={}", "13511114444");
    // 等号+[
    logger.infoMessage("mobile=[{}]", "13511114444");
    // 英文單引号+等号
    logger.infoMessage("mobile'='{}'", "13511114444");
    // 中文冒号
    logger.infoMessage("mobile：{}", "13511114444");
    // 英文冒号
    logger.infoMessage("mobile:{}", "13511114444");
    // 英文雙引号+英文冒号
    logger.infoMessage("\"mobile\":\"{}\"", "13511114444");
}
# 脫敏後
log.test.LogTest : mobile=135****4444
log.test.LogTest : mobile=[135****4444]
log.test.LogTest : mobile：135****4444
log.test.LogTest : mobile:135****4444
log.test.LogTest : 'mobile'='13511114444'
log.test.LogTest : "mobile":"135****4444"

對于不符合如上的情況，請調整代碼或修改比對正則

脫敏測試

普通字元串值直接輸出

@Test
public void test1() {
    //11位手機号
    logger.infoMessage("mobile={}", "13511114444");
    logger.infoMessage("mobile={},手機号：{}", "13511112222", "13511113333");
    logger.infoMessage("手機号：{}", "13511115555");
    //固定電話（帶區号-）
    logger.infoMessage("tel：{},座機={}", "0791-83376222", "021-88331234");
    logger.infoMessage("tel：{}", "0791-83376222");
    logger.infoMessage("座機={}", "021-88331234");

    //位址
    logger.infoMessage("address：{}", "浙江省杭州市西湖區北京西路100号");
    logger.infoMessage("位址：{}", "上海市浦東區北京東路1-10号");

    //19位卡号
    logger.infoMessage("cardNo：{}", "6227002020000101222");

    //姓名
    logger.infoMessage("name={}, 姓名=[{}]，name={}，姓名：{}", "張三", "上官婉兒", "李雲龍", "楚雲飛");

    //密碼
    logger.infoMessage("password：{}，密碼={}", "123456", "456789");
    logger.infoMessage("password：{}", "123456");
    logger.infoMessage("密碼={}", "123456");

    //身份證号碼
    logger.infoMessage("idCard：{}，身份證号={}", "360123202111111122", "360123202111111122");
    logger.infoMessage("身份證号={}", "360123202111111122");

    //郵箱
    logger.infoMessage("郵箱:{}", "[email protected]");
    logger.infoMessage("email={}", "[email protected]");
}
# 結果
log.test.LogTest : mobile=135****4444
log.test.LogTest : mobile=135****2222,手機号：135****3333
log.test.LogTest : 手機号：135****5555
log.test.LogTest : tel：0791-83****22,座機=021-88****34
log.test.LogTest : tel：0791-83****22
log.test.LogTest : 座機=021-88****34
log.test.LogTest : address：浙江省****
log.test.LogTest : 位址：上海市****
log.test.LogTest : cardNo：***************1222
log.test.LogTest : name=張**, 姓名=[上**]，name=李**，姓名：楚**
log.test.LogTest : password：******，密碼=******
log.test.LogTest : password：******
log.test.LogTest : 密碼=******
log.test.LogTest : idCard：3****************2，身份證号=3****************2
log.test.LogTest : 身份證号=3****************2
log.test.LogTest : 郵箱:w****[email protected]
log.test.LogTest : email=w****[email protected]

json

和

toString

的脫敏輸出

@Test
public void test2() {
    User user = new User();
    user.setCardNo("6227002020000101222");
    user.setTel("0571-28821111");
    user.setAddress("浙江省西湖區西湖路288号錢江樂園2-101室");
    user.setEmail("[email protected]");
    user.setPassword("123456");
    user.setMobile("15911116789");
    user.setName("張三");
    user.setIdCard("360123202111111122");

    Job job = new Job();
    job.setAddress("浙江省西湖區西湖路288号錢江樂園2-101室");
    job.setTel("0571-12345678");
    job.setJobName("操作員");
    job.setSalary(2000);
    job.setCompany("股份有限公司");
    job.setPosition(Arrays.asList("需求", "開發", "測試", "上線"));

    user.setJob(job);
    
 //toString
    logger.infoMessage("使用者資訊：{}", user);
    //json
    logger.infoMessage("使用者資訊：{}", JSONUtil.toJsonStr(user));
}
log.test.LogTest : 使用者資訊：User{name='張**', idCard='3****************2', cardNo='***************1222', mobile='159****6789', tel='0571-28****11', password='******', email='z****[email protected]', address='浙江省****', job=Job{jobName='操作員', salary=2000, company='股份有限公司', address='浙江省****', tel='0571-12****78', position=[需求, 開發, 測試, 上線]}}

log.test.LogTest : 使用者資訊：{"password":"******","address":"浙江省****","idCard":"3****************2","name":"張**","mobile":"159****6789","tel":"0571-28****11","job":{"jobName":"操作員","address":"浙江省****","company":"股份有限公司","tel":"0571-12****78","position":["需求","開發","測試","上線"],"salary":2000},"cardNo":"***************1222","email":"z****[email protected]"}

線上正則測試：https://c.runoob.com/front-end/854/

參考連結

https://logging.apache.org/log4j/2.x/manual/extending.html
https://mp.weixin.qq.com/s/uKlit0Cu8ZhqM_1I1_N-9Q
https://blog.csdn.net/VcStrong/article/details/80527455

歡迎加入我的知識星球，一起探讨架構，交流源碼。加入方式，長按下方二維碼噢：

一文玩轉 Java 日志資料脫敏

已在知識星球更新源碼解析如下：

一文玩轉 Java 日志資料脫敏

最近更新《芋道 SpringBoot 2.X 入門》系列，已經 101 餘篇，覆寫了 MyBatis、Redis、MongoDB、ES、分庫分表、讀寫分離、SpringMVC、Webflux、權限、WebSocket、Dubbo、RabbitMQ、RocketMQ、Kafka、性能測試等等内容。

提供近 3W 行代碼的 SpringBoot 示例，以及超 6W 行代碼的電商微服務項目。

擷取方式：點“在看”，關注公衆号并回複 666 領取，更多内容陸續奉上。

文章有幫助的話，在看，轉發吧。
謝謝支援喲 (*^__^*）

一文玩轉 Java 日志資料脫敏

自定義Layout

編寫log4j配置

正則比對說明

注意事項

脫敏測試

繼續閱讀

關于Gradle配置的小結

Java小案例——随機數猜測随機數猜測

nginx location中斜線的位置的重要性

27 Best Free Eclipse Plug-ins for Java Developer to be ProductiveCode Quality PluginsText Editor PluginsDependency ManagementVersion Control Integration PluginsFramework Development Continuous Integration Related PluginsOther Utility Plugins

Java String.format方法的簡單使用

neo4j之cypher使用文檔

GitHub連夜封殺！這份阿裡 10W 字内部 Java 字面試手冊到底有多強？

spark/scala關于【資源檔案】加載方法概述外部檔案加載方案測試資源檔案打包入jar包中小結

mybatis_入門程式Mybatis入門

AOP程式設計_Android優雅權限架構(1)概念基礎，2021金三銀四前言正文大綱正文

Effective Java 8:通用程式設計

OOM三種類型

工廠模式-三種類型

【遞歸】高效率求2的n次幂

win10本地scala和spark安裝安裝scala安裝spark

scala (3) Function 和 Method