几种延时队列的实现方案

什么是延时队列？

顾名思义：首先它要具有队列的特性，再给它附加一个延迟消费队列消息的功能，也就是说可以指定队列中的消息在哪个时间点被消费。

延时队列的应用

延时队列在项目中的应用还是比较多的，尤其像电商类平台：

1、订单成功后，在30分钟内没有支付，自动取消订单

2、外卖平台发送订餐通知，下单成功后60s给用户推送短信。

3、如果订单一直处于某一个未完结状态时，及时处理关单，并退还库存

4、淘宝新建商户一个月内还没上传商品信息，将冻结商铺等

设计目标

1、消息传输可靠性：消息进入到延迟队列后，保证至少被消费一次。

2、Client支持丰富：由于业务上的需求，至少支持PHP和Python。

3、高可用性：至少得支持多实例部署。挂掉一个实例后，还有后备实例继续提供服务。

4、实时性：允许存在一定的时间误差。

5、支持消息删除：业务使用方，可以随时删除指定消息。

延时队列的实现

⚠️注：以下API使用基于JAVA8

我个人一直秉承的开发理念：能用

JDK

自带

API

实现的功能，就不要轻易重复造轮子，或者引入三方中间件（当然如果是经受长久考验的第三方中间件，且教程文档资源充分的也是可以引入项目中使用）。一方面自己封装很容易出问题（大佬无视，并收下我的膝盖），同时调试过程也会耽误很多开发时间；另一方面一旦接入三方的中间件就会让系统复杂度成倍的增加，后续他人接手项目会比较懵逼，学习、维护成本大大增加。

1、DelayQueue 延时队列

JDK

 中提供了一组实现延迟队列的

API

，位于

Java.util.concurrent

包下

DelayQueue

。

DelayQueue

是一个

BlockingQueue

（无界阻塞）队列，它本质就是封装了一个

PriorityQueue

（优先队列），

PriorityQueue

内部使用

完全二叉堆

（不知道的可以自行了解）来实现队列元素排序，我们在向

DelayQueue

队列中添加元素时，会给元素一个

Delay

（延迟时间）作为排序条件，队列中最小的元素会优先放在队首。队列中的元素只有到了

Delay

时间才允许从队列中取出。队列中可以放基本数据类型或自定义实体类，在存放基本数据类型时，优先队列中元素默认升序排列，自定义实体类就需要我们根据类属性值比较计算了。

要实现

DelayQueue

延时队列，队中元素要

implements

Delayed

 接口。Delayed接口里只有一个

getDelay

方法，用于设置延期时间。DelayedNotify类中

compareTo

方法负责对队列中的元素进行排序。ps:因业务需要我这里使用多线程去执行notify,所以也 implements Runnable接口，并重写run方法。

DelayQueue

的

put

方法是线程安全的(内部调用的offer方法)，offer方法内部使用了

ReentrantLock

锁进行线程同步。

DelayQueue

还提供了两种出队的方法 

poll()

 和 

take()

 ， 

poll()

 为非阻塞获取，没有到期的元素直接返回null；

take()

 阻塞方式获取，没有到期的元素线程将会等待。另外，延迟队列也支持元素的删除-remove方法。

2、Quartz 定时任务

Quartz

一款非常经典任务调度框架，在

Redis

、

RabbitMQ

还未广泛应用时，超时未支付取消订单功能都是由定时任务实现的。定时任务它有一定的周期性，可能很多单子已经超时，但还没到达触发执行的时间点，那么就会造成订单处理的不够及时。

使用也很方便，只需在依赖中引入

quartz

框架依赖包，并在启动类上使用

@EnableScheduling

注解开启定时任务功能。

<dependency>
     <groupId>org.springframework.boot</groupId>
     <artifactId>spring-boot-starter-quartz</artifactId>
</dependency>      

关于Cron表达式，可阅读之前的文章--定时任务

3、Redis

⚠️注：工具类使用的是redisTemplate

 3.1 Zset

有序集合Zset可用来实现简单的延迟队列，将消息数据序列化，作为Zset的基本元素，将消息生成时间戳 + 消息处理延迟时间戳作为score，每次通过zRangeByScore获取一条消息进行处理，后通过zRem删除集合元素:相当于移除需要消费的 Job。

实现简单，适合做中小型对延迟时间要求不高的业务场景。

 3.2 expire回调

Redis

 的

key

过期回调事件，也能达到延迟队列的效果，简单来说我们开启监听key是否过期的事件，一旦key过期会触发一个callback事件。

修改

redis.conf

文件开启

notify-keyspace-events Ex

notify-keyspace-events Ex      

Redis

监听配置，注入Bean 

RedisMessageListenerContainer

@Configuration
public class RedisListenerConfig {
    @Bean
    RedisMessageListenerContainer container(RedisConnectionFactory connectionFactory) {

        RedisMessageListenerContainer container = new RedisMessageListenerContainer();
        container.setConnectionFactory(connectionFactory);
        return container;
    }
}      

编写Redis过期回调监听方法，必须继承

KeyExpirationEventMessageListener

@Component
public class RedisKeyExpirationListener extends KeyExpirationEventMessageListener {
 
    public RedisKeyExpirationListener(RedisMessageListenerContainer listenerContainer) {
        super(listenerContainer);
    }

    @Override
    public void onMessage(Message message, byte[] pattern) {
        String expiredKey = message.toString();
        System.out.println("监听到key：" + expiredKey + "已过期");
    }
}      

4、RabbitMQ 延时队列

使用 

RabbitMQ

 做延时队列是比较常见的一种方式，而实际上

RabbitMQ

 自身并没有直接支持提供延迟队列功能，而是通过 

RabbitMQ

 消息队列的 

TTL

和 

DXL

这两个属性间接实现的。

先来认识一下 

TTL

DXL

两个概念：

Time To Live

(

TTL

) ：

TTL

 顾名思义：指的是消息的存活时间，

RabbitMQ

可以通过

x-message-tt

参数来设置指定

Queue

（队列）和 

Message

（消息）上消息的存活时间，它的值是一个非负整数，单位为微秒。

RabbitMQ

 可以从两种维度设置消息过期时间，分别是

队列

和

消息本身

• 设置队列过期时间，那么队列中所有消息都具有相同的过期时间。
• 设置消息过期时间，对队列中的某一条消息设置过期时间，每条消息

  TTL

  都可以不同。

如果同时设置队列和队列中消息的

TTL

，则

TTL

值以两者中较小的值为准。而队列中的消息存在队列中的时间，一旦超过

TTL

过期时间则成为

Dead Letter

（死信）。

Dead Letter Exchanges

（

DLX

）

DLX

即死信交换机，绑定在死信交换机上的即死信队列。

RabbitMQ

的 

Queue

（队列）可以配置两个参数

x-dead-letter-exchange

x-dead-letter-routing-key

（可选），一旦队列内出现了

Dead Letter

（死信），则按照这两个参数可以将消息重新路由到另一个

Exchange

（交换机），让消息重新被消费。

x-dead-letter-exchange

：队列中出现

Dead Letter

后将

Dead Letter

重新路由转发到指定 

exchange

（交换机）。

x-dead-letter-routing-key

：指定

routing-key

发送，一般为要指定转发的队列。

队列出现

Dead Letter

的情况有：

• 消息或者队列的

  TTL

  过期
• 队列达到最大长度
• 消息被消费端拒绝（basic.reject or basic.nack）

下边结合一张图看看如何实现超30分钟未支付关单功能，我们将订单消息A0001发送到延迟队列

order.delay.queue

，并设置

x-message-tt

消息存活时间为30分钟，当到达30分钟后订单消息A0001成为了

Dead Letter

（死信），延迟队列检测到有死信，通过配置

x-dead-letter-exchange

，将死信重新转发到能正常消费的关单队列，直接监听关单队列处理关单逻辑即可。

发送消息时指定消息延迟的时间

public void send(String delayTimes) {
        amqpTemplate.convertAndSend("order.pay.exchange", "order.pay.queue","大家好我是延迟数据", message -> {
            // 设置延迟毫秒值
            message.getMessageProperties().setExpiration(String.valueOf(delayTimes));
            return message;
        });
    }
}      

设置延迟队列出现死信后的转发规则

/**
     * 延时队列
     */
    @Bean(name = "order.delay.queue")
    public Queue getMessageQueue() {
        return QueueBuilder
                .durable(RabbitConstant.DEAD_LETTER_QUEUE)
                // 配置到期后转发的交换
                .withArgument("x-dead-letter-exchange", "order.close.exchange")
                // 配置到期后转发的路由键
                .withArgument("x-dead-letter-routing-key", "order.close.queue")
                .build();
    }