spring-cloud使用resilience4j實作熔斷、限流

由于hystrix官方已經停止維護了，目前spring-cloud推薦使用resilience4j來代替hystrix實作熔斷、限流。

熔斷一般指用戶端調用服務端接口出現異常時用戶端側的處理，當然也可以是服務端的處理出現異常時熔斷快速傳回，可以暫時切斷對下遊服務的調用，是一種犧牲局部保全整體的有效措施（同時此用戶端也可能是服務端）。

限流一般是指限制在指定時間間隔内的請求量，避免因請求過多導緻服務崩潰，限流被看作是服務端的自我保護能力。

1、用戶端openfeign使用resilience4j實作熔斷

模拟一個用戶端，通過feign調用一個服務端接口來模拟此功能

使用spring-boot的版本為2.7.3，spring-cloud版本為2021.0.4，關鍵的依賴如下

• 1.1、引入關鍵依賴

<dependency>
    <groupId>org.springframework.cloud</groupId>
    <artifactId>spring-cloud-starter-circuitbreaker-resilience4j</artifactId>
</dependency>
<dependency>
    <groupId>org.springframework.cloud</groupId>
    <artifactId>spring-cloud-starter-openfeign</artifactId>
</dependency>
<dependency>
    <groupId>org.springframework.cloud</groupId>
    <artifactId>spring-cloud-starter-loadbalancer</artifactId>
</dependency>
<dependency>
    <groupId>io.github.resilience4j</groupId>
    <artifactId>resilience4j-feign</artifactId>
</dependency>
           

• 1.2、application.yaml增加以下熔斷配置

resilience4j:
  circuitbreaker:
    instances:
      ApiService:
        registerHealthIndicator: true
        slidingWindowSize: 7
        slidingWindowType: COUNT_BASED
        waitDurationInOpenState: 5000
        permittedNumberOfCallsInHalfOpenState: 6
feign:
  client:
    config:
      default:
        readTimeout: 1000
        connectTimeout: 1000
  circuitbreaker:
    enabled: true
logging:
  level:
    root: info
  pattern:
    console: "%d{${LOG_DATEFORMAT_PATTERN:HH:mm:ss.SSS}} %m%n"

           

需要注意的是feign需要開啟circuitbreaker，并在啟動類中增加@EnableFeignClients，

spring-boot預設情況下會使用logback來管理日志，為了便于觀察調整參數後的效果調整一下日志格式，在此案例中預設的日志格式在org.springframework.boot.logging.logback.DefaultLogbackConfiguration類中defaults方法中定義，此類在包spring-boot:2.7.3中。

增加feign用戶端請求類并需要增加fallback方法處理熔斷後的預設傳回，簡單寫一個測試類完成測試，觀察對應的參數情況

• 1.3、編寫一個feign client端

//ApiClient.java
@FeignClient(name = "ApiService", url = "http://localhost:8082")
public interface ApiClient {

    @GetMapping("/api/test")
    @CircuitBreaker(name = "ApiService", fallbackMethod = "getUserFallback")
    String getUser(@RequestParam(name = "param") String param, @RequestParam(name = "time") int time);

    default String getUserFallback(String param, int time, Exception exc) {
        return "default value";
    }

}
           

• 1.3、編寫一個單元測試模拟調用

//ResilienceTest.java
@Slf4j
@SpringBootTest
class ResilienceTest {

    @Autowired
    private ApiClient apiClient;

    @Autowired
    private CircuitBreakerRegistry circuitBreakerRegistry;

    @Test
    void test() throws Exception {
        for (int i = 0; i < 1000; i++) {
            apiClient.getUser("test", 500);
            status();
            Thread.sleep(500);
        }
    }

    private void status() {
        CircuitBreaker breaker = circuitBreakerRegistry.circuitBreaker("ApiService");
        CircuitBreaker.Metrics metrics = breaker.getMetrics();
        log.info("state={},metrics[failureRate={},bufferedCalls={},failedCalls={},successCalls={},maxBufferCalls={},notPermittedCalls={}]"
                , breaker.getState(), metrics.getFailureRate(), metrics.getNumberOfBufferedCalls(), metrics.getNumberOfFailedCalls()
                , metrics.getNumberOfSuccessfulCalls(), metrics.getNumberOfBufferedCalls(), metrics.getNumberOfNotPermittedCalls());
    }

}
           

在沒有任務服務端的情況下，運作單元測試即可模拟熔斷的效果。另外需要注意配置的feign調用的逾時，單元測試中增加擷取metrics并列印以便觀察效果；

運作結果如下

簡單分析一下，滑動視窗的大小slidingWindowSize為7，滑動視窗類型slidingWindowType為計數器，熔斷器從打開到半開的狀态等待時間為5秒，熔斷器半開狀态下允許的數量permittedNumberOfCallsInHalfOpenState為6。

failureRateThreshold的含義：如60（即%60），這個門檻值控制兩個狀态的變化，從CLOSE=>OPEN時，表示當錯誤率高于60%時開啟熔斷，而狀态從HALF_OPEN=>CLOSE時，表示當錯誤率低于60%時關閉熔斷；

2、服務端使用resilience4j實作限流

使用一個服務端的接口簡單模拟一下限流的方式，如設定5秒内最多10個請求，觀察異常情況；

同樣是使用spring-boot的版本2.7.3，spring-cloud版本2021.0.4進行模拟

• 2.1、引入關鍵依賴

<dependency>
    <groupId>org.springframework.cloud</groupId>
    <artifactId>spring-cloud-starter-circuitbreaker-resilience4j</artifactId>
</dependency>

<dependency>
    <groupId>org.springframework.boot</groupId>
    <artifactId>spring-boot-starter-aop</artifactId>
</dependency>
           

• 2.2、application.yaml配置檔案增加ratelimiter配置

resilience4j:
  ratelimiter:
    instances:
      ApiService:
        limitForPeriod: 10
        limitRefreshPeriod: 5s
        timeoutDuration: 0
           

limitRefreshPeriod表示重新整理周期，limitForPeriod表示一個時間周期内請求的總數，配置表示5秒内允許10個請求。

• 2.3、寫一個controller接收請求，service處理請求并增加限流控制，同時增加一個限流後異常處理

//ApiController.java
@Slf4j
@RequestMapping("/api")
@RestController
public class ApiController {

    @Autowired
    private ApiService apiService;

    @GetMapping("/limit")
    public String limit() {
        return apiService.limit();
    }

}

//ApiService.java
@Slf4j
@Service
public class ApiService {

    @RateLimiter(name = "ApiService", fallbackMethod = "testFallback")
    public String limit() {
        return "success";
    }

    @SneakyThrows
    public String testFallback(java.lang.Throwable exception) {
        throw exception;
    }

}

//Advice.java
@Slf4j
@ControllerAdvice
public class Advice {

    @ExceptionHandler(RequestNotPermitted.class)
    @ResponseStatus(HttpStatus.TOO_MANY_REQUESTS)
    public void error(){
        log.error("Too Many Requests");
    }

}
           

編寫一個ControllerAdvice通過處理RequestNotPermitted異常，傳回用戶端響應碼429。

• 2.3、編寫一個測試類模拟限流情況

@Slf4j
@SpringBootTest
class ResilienceTest {

    private RestTemplate restTemplate = new RestTemplate();

    @Test
    void limit() throws Exception {
        for (int i = 1; i <= 99; i++) {
            try {
                ResponseEntity<String> response = restTemplate.getForEntity("http://localhost:9999/api/limit", String.class);
                log.info("status code {} {}", String.format("%02d", i), response.getStatusCode());
            } catch (HttpClientErrorException e) {
                log.error("status code {}", e.getStatusCode());
            }
            Thread.sleep(400);
        }
    }


}
           

可以适當減少單元測試的休眠時間，觀察發生限流的情況。