天天看點

Springboot-注解-記錄檔Springboot-注解-記錄檔

Springboot-注解-記錄檔

此元件解決的問題是:

「誰」在「什麼時間」對「什麼」做了「什麼事」

本元件目前針對 Spring-boot 做了 Autoconfig,如果是 SpringMVC,也可自己在 xml 初始化 bean

使用方式

基本使用

maven依賴添加SDK依賴

<dependency>
            <groupId>io.github.mouzt</groupId>
            <artifactId>bizlog-sdk</artifactId>
            <version>1.0.8</version>
        </dependency>
           

SpringBoot入口打開開關,添加 @EnableLogRecord 注解

tenant是代表租戶的辨別,一般一個服務或者一個業務下的多個服務都寫死一個 tenant 就可以

@SpringBootApplication(exclude = DataSourceAutoConfiguration.class)
@EnableTransactionManagement
@EnableLogRecord(tenant = "com.mzt.test")
public class Main {

    public static void main(String[] args) {
        SpringApplication.run(Main.class, args);
    }
}
           

日志埋點

1. 普通的記錄日志

  • pefix:是拼接在 bizNo 上作為 log 的一個辨別。避免 bizNo 都為整數 ID 的時候和其他的業務中的 ID 重複。比如訂單 ID、使用者 ID 等
  • bizNo:就是業務的 ID,比如訂單ID,我們查詢的時候可以根據 bizNo 查詢和它相關的記錄檔
  • success:方法調用成功後把 success 記錄在日志的内容中
  • SpEL 表達式:其中用雙大括号包圍起來的(例如:{{#order.purchaseName}})#order.purchaseName 是 SpEL表達式。Spring中支援的它都支援的。比如調用靜态方法,三目表達式。SpEL 可以使用方法中的任何參數
@LogRecordAnnotation(success = "{{#order.purchaseName}}下了一個訂單,購買商品「{{#order.productName}}」,下單結果:{{#_ret}}",
              prefix = LogRecordType.ORDER, bizNo = "{{#order.orderNo}}")
  public boolean createOrder(Order order) {
      log.info("【建立訂單】orderNo={}", order.getOrderNo());
      // db insert order
      return true;
  }
           

此時會列印記錄檔 “張三下了一個訂單,購買商品「超值優惠紅燒肉套餐」,下單結果:true”

2. 期望記錄失敗的日志, 如果抛出異常則記錄fail的日志,沒有抛出記錄 success 的日志

@LogRecordAnnotation(
            fail = "建立訂單失敗,失敗原因:「{{#_errorMsg}}」",
            success = "{{#order.purchaseName}}下了一個訂單,購買商品「{{#order.productName}}」,下單結果:{{#_ret}}",
            prefix = LogRecordType.ORDER, bizNo = "{{#order.orderNo}}")
    public boolean createOrder(Order order) {
        log.info("【建立訂單】orderNo={}", order.getOrderNo());
        // db insert order
        return true;
    }
           

其中的 #_errorMsg 是取的方法抛出異常後的異常的 errorMessage。

3. 日志支援種類

比如一個訂單的記錄檔,有些記錄檔是使用者自己操作的,有些操作是系統營運人員做了修改産生的記錄檔,我們系統不希望把營運的記錄檔暴露給使用者看到,

但是營運期望可以看到使用者的日志以及營運自己操作的日志,這些記錄檔的bizNo都是訂單号,是以為了擴充添加了類型字段,主要是為了對日志做分類,查詢友善,支援更多的業務。

@LogRecordAnnotation(
            fail = "建立訂單失敗,失敗原因:「{{#_errorMsg}}」",
            category = "MANAGER",
            success = "{{#order.purchaseName}}下了一個訂單,購買商品「{{#order.productName}}」,下單結果:{{#_ret}}",
            prefix = LogRecordType.ORDER, bizNo = "{{#order.orderNo}}")
    public boolean createOrder(Order order) {
        log.info("【建立訂單】orderNo={}", order.getOrderNo());
        // db insert order
        return true;
    }
           

4. 支援記錄操作的詳情或者額外資訊

如果一個操作修改了很多字段,但是success的日志模版裡面防止過長不能把修改詳情全部展示出來,這時候需要把修改的詳情儲存到 detail 字段,

detail 是一個 String ,需要自己序列化。這裡的 #order.toString() 是調用了 Order 的 toString() 方法。

如果儲存 JSON,自己重寫一下 Order 的 toString() 方法就可以。

@LogRecordAnnotation(
            fail = "建立訂單失敗,失敗原因:「{{#_errorMsg}}」",
            category = "MANAGER_VIEW",
            detail = "{{#order.toString()}}",
            success = "{{#order.purchaseName}}下了一個訂單,購買商品「{{#order.productName}}」,下單結果:{{#_ret}}",
            prefix = LogRecordType.ORDER, bizNo = "{{#order.orderNo}}")
    public boolean createOrder(Order order) {
        log.info("【建立訂單】orderNo={}", order.getOrderNo());
        // db insert order
        return true;
    }
           

5. 如何指定記錄檔的操作人是什麼? 架構提供了兩種方法

  • 第一種:手工在LogRecord的注解上指定。這種需要方法參數上有operator
@LogRecordAnnotation(
            fail = "建立訂單失敗,失敗原因:「{{#_errorMsg}}」",
            category = "MANAGER_VIEW",
            detail = "{{#order.toString()}}",
            operator = "{{#currentUser}}",
            success = "{{#order.purchaseName}}下了一個訂單,購買商品「{{#order.productName}}」,下單結果:{{#_ret}}",
            prefix = LogRecordType.ORDER, bizNo = "{{#order.orderNo}}")
    public boolean createOrder(Order order, String currentUser) {
        log.info("【建立訂單】orderNo={}", order.getOrderNo());
        // db insert order
        return true;
    }
           

這種方法手工指定,需要方法參數上有 operator 參數,或者通過 SpEL 調用靜态方法擷取目前使用者。

  • 第二種: 通過預設實作類來自動的擷取操作人,由于在大部分web應用中目前的使用者都是儲存在一個線程上下文中的,是以每個注解都加一個operator擷取操作人顯得有些重複勞動,是以提供了一個擴充接口來擷取操作人

    架構提供了一個擴充接口,使用架構的業務可以 implements 這個接口自己實作擷取目前使用者的邏輯,

    對于使用 Springboot 的隻需要實作 IOperatorGetService 接口,然後把這個 Service 作為一個單例放到 Spring 的上下文中。使用 Spring Mvc 的就需要自己手工裝配這些 bean 了。

@Configuration
public class LogRecordConfiguration {

    @Bean
    public IOperatorGetService operatorGetService() {
        return () -> Optional.of(OrgUserUtils.getCurrentUser())
                .map(a -> new OperatorDO(a.getMisId()))
                .orElseThrow(() -> new IllegalArgumentException("user is null"));
    }
}

//也可以這麼搞:
@Service
public class DefaultOperatorGetServiceImpl implements IOperatorGetService {

    @Override
    public OperatorDO getUser() {
        OperatorDO operatorDO = new OperatorDO();
        operatorDO.setOperatorId("SYSTEM");
        return operatorDO;
    }
}
           

6. 日志文案調整

對于更新等方法,方法的參數上大部分都是訂單ID、或者産品ID等,

比如下面的例子:日志記錄的success内容是:“更新了訂單{{#orderId}},更新内容為…”,這種對于營運或者産品來說難以了解,是以引入了自定義函數的功能。

使用方法是在原來的變量的兩個大括号之間加一個函數名稱 例如 “{ORDER{#orderId}}” 其中 ORDER 是一個函數名稱。隻有一個函數名稱是不夠的,需要添加這個函數的定義和實作。可以看下面例子

自定義的函數需要實作架構裡面的IParseFunction的接口,需要實作兩個方法:

  • functionName() 方法就傳回注解上面的函數名;
  • apply()函數參數是 "{ORDER{#orderId}}"中SpEL解析的#orderId的值,這裡是一個數字1223110,接下來隻需要在實作的類中把 ID 轉換為可讀懂的字元串就可以了,

    一般為了友善排查問題需要把名稱和ID都展示出來,例如:"訂單名稱(ID)"的形式。

這裡有個問題:加了自定義函數後,架構怎麼能調用到呢?

答:對于Spring boot應用很簡單,隻需要把它暴露在Spring的上下文中就可以了,可以加上Spring的 @Component 或者 @Service 很友善😄。Spring mvc 應用需要自己裝配 Bean。

// 沒有使用自定義函數
    @LogRecordAnnotation(success = "更新了訂單{{#orderId}},更新内容為....",
            prefix = LogRecordType.ORDER, bizNo = "{{#order.orderNo}}",
            detail = "{{#order.toString()}}")
    public boolean update(Long orderId, Order order) {
        return false;
    }

    //使用了自定義函數,主要是在 {{#orderId}} 的大括号中間加了 functionName
    @LogRecordAnnotation(success = "更新了訂單ORDER{#orderId}},更新内容為...",
            prefix = LogRecordType.ORDER, bizNo = "{{#order.orderNo}}",
            detail = "{{#order.toString()}}")
    public boolean update(Long orderId, Order order) {
        return false;
    }

    // 還需要加上函數的實作
    @Component
    public class OrderParseFunction implements IParseFunction {
        @Resource
        @Lazy //為了避免類加載順序的問題 最好為Lazy,沒有問題也可以不加
        private OrderQueryService orderQueryService;
        
        @Override 
        public String functionName() {
            //  函數名稱為 ORDER
            return "ORDER";
        }
    
        @Override
        //這裡的 value 可以吧 Order 的JSON對象的傳遞過來,然後反解析拼接一個定制的記錄檔内容
        public String apply(String value) {
            if(StringUtils.isEmpty(value)){
                return value;
            }
            Order order = orderQueryService.queryOrder(Long.parseLong(value));
            //把訂單産品名稱加上便于了解,加上 ID 便于查問題
            return order.getProductName().concat("(").concat(value).concat(")");
        }
    }
           

7. 日志文案調整 使用 SpEL 三目表達式

@LogRecordAnnotation(prefix = LogRecordTypeConstant.CUSTOM_ATTRIBUTE, bizNo = "{{#businessLineId}}",
            success = "{{#disable ? '停用' : '啟用'}}了自定義屬性{ATTRIBUTE{#attributeId}}")
    public CustomAttributeVO disableAttribute(Long businessLineId, Long attributeId, boolean disable) {
    	return xxx;
    }
           

8. 日志文案調整 模版中使用方法參數之外的變量

可以在方法中通過 LogRecordContext.putVariable(variableName, Object) 的方法添加變量,第一個對象為變量名稱,後面為變量的對象,

然後我們就可以使用 SpEL 使用這個變量了,例如:例子中的 {{#innerOrder.productName}} 是在方法中設定的變量

@Override
    @LogRecordAnnotation(
            success = "{{#order.purchaseName}}下了一個訂單,購買商品「{{#order.productName}}」,測試變量「{{#innerOrder.productName}}」,下單結果:{{#_ret}}",
            prefix = LogRecordType.ORDER, bizNo = "{{#order.orderNo}}")
    public boolean createOrder(Order order) {
        log.info("【建立訂單】orderNo={}", order.getOrderNo());
        // db insert order
        Order order1 = new Order();
        order1.setProductName("内部變量測試");
        LogRecordContext.putVariable("innerOrder", order1);
        return true;
    }
           

9. 函數中使用LogRecordContext的變量

使用 LogRecordContext.putVariable(variableName, Object) 添加的變量除了可以在注解的 SpEL 表達式上使用,還可以在自定義函數中使用,這種方式比較複雜,下面例子中示意了清單的變化,比如從[A,B,C] 改到 [B,D] 那麼日志顯示:「删除了A,增加了D」

@LogRecord(success = "{DIFF_LIST{'文檔位址'}}", bizNo = "{{#id}}", prefix = REQUIREMENT)
    public void updateRequirementDocLink(String currentMisId, Long id, List<String> docLinks) {
        RequirementDO requirementDO = getRequirementDOById(id);
        LogRecordContext.putVariable("oldList", requirementDO.getDocLinks());
        LogRecordContext.putVariable("newList", docLinks);

        requirementModule.updateById("docLinks", RequirementUpdateDO.builder()
                .id(id)
                .docLinks(docLinks)
                .updater(currentMisId)
                .updateTime(new Date())
                .build());
    }
    
    
    @Component
    public class DiffListParseFunction implements IParseFunction {
    
        @Override
        public String functionName() {
            return "DIFF_LIST";
        }
    
        @SuppressWarnings("unchecked")
        @Override
        public String apply(String value) {
            if (StringUtils.isBlank(value)) {
                return value;
            }
            List<String> oldList = (List<String>) LogRecordContext.getVariable("oldList");
            List<String> newList = (List<String>) LogRecordContext.getVariable("newList");
            oldList = oldList == null ? Lists.newArrayList() : oldList;
            newList = newList == null ? Lists.newArrayList() : newList;
            Set<String> deletedSets = Sets.difference(Sets.newHashSet(oldList), Sets.newHashSet(newList));
            Set<String> addSets = Sets.difference(Sets.newHashSet(newList), Sets.newHashSet(oldList));
            StringBuilder stringBuilder = new StringBuilder();
            if (CollectionUtils.isNotEmpty(addSets)) {
                stringBuilder.append("新增了 <b>").append(value).append("</b>:");
                for (String item : addSets) {
                    stringBuilder.append(item).append(",");
                }
            }
            if (CollectionUtils.isNotEmpty(deletedSets)) {
                stringBuilder.append("删除了 <b>").append(value).append("</b>:");
                for (String item : deletedSets) {
                    stringBuilder.append(item).append(",");
                }
            }
            return StringUtils.isBlank(stringBuilder) ? null : stringBuilder.substring(0, stringBuilder.length() - 1);
        }
    }
           

架構的擴充點

  • 重寫OperatorGetServiceImpl通過上下文擷取使用者的擴充,例子如下
@Service
public class DefaultOperatorGetServiceImpl implements IOperatorGetService {

    @Override
    public Operator getUser() {
         return Optional.ofNullable(UserUtils.getUser())
                        .map(a -> new Operator(a.getName(), a.getLogin()))
                        .orElseThrow(()->new IllegalArgumentException("user is null"));
       
    }
}
           
  • ILogRecordService 儲存/查詢日志的例子,使用者可以根據資料量儲存到合适的存儲媒體上,比如儲存在資料庫/或者ES。自己實作儲存和删除就可以了
也可以隻實作查詢的接口,畢竟已經儲存在業務的存儲上了,查詢業務可以自己實作,不走 ILogRecordService 這個接口,畢竟産品經理會提一些千奇百怪的查詢需求。
@Service
public class DbLogRecordServiceImpl implements ILogRecordService {

    @Resource
    private LogRecordMapper logRecordMapper;

    @Override
    @Transactional(propagation = Propagation.REQUIRES_NEW)
    public void record(LogRecord logRecord) {
        log.info("【logRecord】log={}", logRecord);
        LogRecordPO logRecordPO = LogRecordPO.toPo(logRecord);
        logRecordMapper.insert(logRecordPO);
    }

    @Override
    public List<LogRecord> queryLog(String bizKey, Collection<String> types) {
        return Lists.newArrayList();
    }

    @Override
    public PageDO<LogRecord> queryLogByBizNo(String bizNo, Collection<String> types, PageRequestDO pageRequestDO) {
        return logRecordMapper.selectByBizNoAndCategory(bizNo, types, pageRequestDO);
    }
}
           
  • IParseFunction 自定義轉換函數的接口,可以實作IParseFunction 實作對LogRecord注解中使用的函數擴充

    例子:

@Component
public class UserParseFunction implements IParseFunction {
    private final Splitter splitter = Splitter.on(",").trimResults();

    @Resource
    @Lazy
    private UserQueryService userQueryService;

    @Override
    public String functionName() {
        return "USER";
    }

    @Override
    // 11,12 傳回 11(小明),12(張三)
    public String apply(String value) {
        if (StringUtils.isEmpty(value)) {
            return value;
        }
        List<String> userIds = Lists.newArrayList(splitter.split(value));
        List<User> misDOList = userQueryService.getUserList(userIds);
        Map<String, User> userMap = StreamUtil.extractMap(misDOList, User::getId);
        StringBuilder stringBuilder = new StringBuilder();
        for (String userId : userIds) {
            stringBuilder.append(userId);
            if (userMap.get(userId) != null) {
                stringBuilder.append("(").append(userMap.get(userId).getUsername()).append(")");
            }
            stringBuilder.append(",");
        }
        return stringBuilder.toString().replaceAll(",$", "");
    }
}
           

變量相關

LogRecordAnnotation 可以使用的變量出了參數也可以使用傳回值#_ret變量,以及異常的錯誤資訊#_errorMsg,也可以通過SpEL的 T 方式調用靜态方法噢

Change Log & TODO

名稱 狀态
支援Context添加變量 1.0.4 已經支援
支援對象的diff TODO
支援List的日志記錄 TODO

注意點:

⚠️ 整體日志攔截是在方法執行之後記錄的,是以對于方法内部修改了方法參數之後,LogRecordAnnotation 的注解上的 SpEL 對變量的取值是修改後的值哦~

源碼

https://github.com/mouzt/mzt-biz-log

Author

mail : [email protected]