天天看點

RabbitMQ六種隊列模式-工作隊列模式

前言

RabbitMQ六種隊列模式-簡單隊列

RabbitMQ六種隊列模式-工作隊列 [本文]

RabbitMQ六種隊列模式-釋出訂閱

RabbitMQ六種隊列模式-路由模式

RabbitMQ六種隊列模式-主題模式

上文我們了解了 RabbitMQ 六種隊列模式中的簡單隊列,代碼也是非常的簡單,比較容易了解。

但是簡單隊列有個缺點,簡單隊列是一一對應的關系,即點對點,一個生産者對應一個消費者,按照這個邏輯,如果我們有一些比較耗時的任務,也就意味着需要大量的時間才能處理完畢,顯然簡單隊列模式并不能滿足我們的工作需求,我們今天再來看看工作隊列。

文章目錄

1. 什麼是工作隊列2. 代碼部分2.1 生産者2.2 消費者3. 循環分發3.1 啟動生産者3.2 啟動兩個消費者3.3 公平分發4. 消息持久化4.1 問題背景4.2 參數配置5. 工作隊列總結

1. 什麼是工作隊列

工作隊列:用來将耗時的任務分發給多個消費者(工作者)

主要解決問題:處理資源密集型任務,并且還要等他完成。有了工作隊列,我們就可以将具體的工作放到後面去做,将工作封裝為一個消息,發送到隊列中,一個工作程序就可以取出消息并完成工作。如果啟動了多個工作程序,那麼工作就可以在多個程序間共享。

工作隊列也稱為公平性隊列模式,怎麼個說法呢?

循環分發,假如我們擁有兩個消費者,預設情況下,RabbitMQ 将按順序将每條消息發送給下一個消費者,平均而言,每個消費者将獲得相同數量的消息,這種分發消息的方式稱為輪詢。

看代碼吧。

2. 代碼部分

2.1 生産者

建立50個消息

public class Producer2 {

    /** 隊列名稱 */
    private static final String QUEUE_NAME = "test_queue";

    public static void main(String[] args) throws IOException, TimeoutException {
        /** 1.擷取連接配接 */
        Connection newConnection = MQConnectionUtils.newConnection();
         /** 2.建立通道 */
        Channel channel = newConnection.createChannel();
         /**3.建立隊列聲明 */
        channel.queueDeclare(QUEUE_NAME, false, false, false, null);
         /**保證一次隻分發一次 限制發送給同一個消費者 不得超過一條消息 */
        channel.basicQos(1);
        for (int i = 1; i <= 50; i++) {
            String msg = "生産者消息_" + i;
            System.out.println("生産者發送消息:" + msg);
         /**4.發送消息 */
            channel.basicPublish("", QUEUE_NAME, null, msg.getBytes());
        }
        channel.close();
        newConnection.close();
    }

}
           

2.2 消費者

public class Customer2_1 {

    /**
     * 隊列名稱
     */
    private static final String QUEUE_NAME = "test_queue";

    public static void main(String[] args) throws IOException, TimeoutException {
        System.out.println("001");
        /** 1.擷取連接配接 */
        Connection newConnection = MQConnectionUtils.newConnection();
        /** 2.擷取通道 */
        final Channel channel = newConnection.createChannel();
        channel.queueDeclare(QUEUE_NAME, false, false, false, null);
        /** 保證一次隻分發一次 限制發送給同一個消費者 不得超過一條消息 */
        channel.basicQos(1);
        DefaultConsumer defaultConsumer = new DefaultConsumer(channel) {
            @Override
            public void handleDelivery(String consumerTag, Envelope envelope, AMQP.BasicProperties properties, byte[] body)
                    throws IOException {
                String msgString = new String(body, "UTF-8");
                System.out.println("消費者擷取消息:" + msgString);
                try {
                    Thread.sleep(1000);
                } catch (Exception e) {

                } finally {
                    /** 手動回執消息 */
                    channel.basicAck(envelope.getDeliveryTag(), false);
                }
            }
        };
        /** 3.監聽隊列 */
        channel.basicConsume(QUEUE_NAME, false, defaultConsumer);
    }

}
           

3. 循環分發

3.1 啟動生産者

RabbitMQ六種隊列模式-工作隊列模式

3.2 啟動兩個消費者

RabbitMQ六種隊列模式-工作隊列模式
RabbitMQ六種隊列模式-工作隊列模式

在生産者中我們發送了50條消息進入隊列,而上方消費者啟動圖裡很明顯的看到輪詢的效果,就是每個消費者會分到相同的隊列任務。

3.3 公平分發

由于上方模拟的是非常簡單的消息隊列的消費,假如有一些非常耗時的任務,某個消費者在緩慢地進行處理,而另一個消費者則空閑,顯然是非常消耗資源的。

再舉一個例子,一個1年的程式員,跟一個3年的程式員,配置設定相同的任務量,明顯3年的程式員處理起來更加得心應手,很快就無所事事了,但是3年的程式員拿着非常高的薪資!顯然3年的程式員應該承擔更多的責任,那怎麼辦呢?

公平分發。

其實發生上述問題的原因是 RabbitMQ 收到消息後就立即分發出去,而沒有确認各個工作者未傳回确認的消息數量,類似于TCP/UDP中的UDP,面向無連接配接。

是以我們可以使用 basicQos 方法,并将參數 prefetchCount 設為1,告訴 RabbitMQ 我每次值處理一條消息,你要等我處理完了再分給我下一個。這樣 RabbitMQ 就不會輪流分發了,而是尋找空閑的工作者進行分發。

關鍵性代碼:

/** 2.擷取通道 */
final Channel channel = newConnection.createChannel();
channel.queueDeclare(QUEUE_NAME, false, false, false, null);
/** 保證一次隻分發一次 限制發送給同一個消費者 不得超過一條消息 */
channel.basicQos(1);
           

4. 消息持久化

4.1 問題背景

上邊我們提到的公平分發是由消費者收取消息時确認解決的,但是這裡面又會出現被 kill 的情況。

當有多個消費者同時收取消息,且每個消費者在接收消息的同時,還要處理其它的事情,且會消耗很長的時間。在此過程中可能會出現一些意外,比如消息接收到一半的時候,一個消費者死掉了。

這種情況要使用消息接收确認機制,可以執行上次當機的消費者沒有完成的事情。

但是在預設情況下,我們程式建立的消息隊列以及存放在隊列裡面的消息,都是非持久化的。當RabbitMQ死掉了或者重新開機了,上次建立的隊列、消息都不會儲存。

怎麼辦呢?

4.2 參數配置

參數配置一:生産者建立隊列聲明時,修改第二個參數為 true

/**3.建立隊列聲明 */
channel.queueDeclare(QUEUE_NAME, true, false, false, null);
           

參數配置二:生産者發送消息時,修改第三個參數為MessageProperties.PERSISTENT_TEXT_PLAIN

for (int i = 1; i <= 50; i++) {
    String msg = "生産者消息_" + i;
    System.out.println("生産者發送消息:" + msg);
    /**4.發送消息 */
    channel.basicPublish("", QUEUE_NAME, MessageProperties.PERSISTENT_TEXT_PLAIN, msg.getBytes());
}
           

5. 工作隊列總結

1、循環分發:消費者端在信道上打開消息應答機制,并確定能傳回接收消息的确認資訊,這樣可以保證消費者發生故障也不會丢失消息。

2、消息持久化:伺服器端和用戶端都要指定隊列的持久化和消息的持久化,這樣可以保證RabbitMQ重新開機,隊列和消息也不會丢失。

3、公平分發:指定消費者接收的消息個數,避免出現消息均勻推送出現的資源不合理利用的問題。

案例代碼:https://www.lanzous.com/i5ydu6d

18年專科畢業後,期間一度迷茫,最近我建立了一個公衆号用來記錄自己的成長。 
RabbitMQ六種隊列模式-工作隊列模式