面試官：如果讓你設計一個高并發的消息中間件，你會怎麼做？

消息中間件涉及的知識點

要想設計一個具有高并發的消息中間件，那麼首先就要了解下消息中間件涉及哪些具體的知識點。通常，設計一個良好的消息中間件最少需要滿足如下條件：

• 生産者、消費者模型。
• 支援分布式架構。
• 資料的高可用。
• 消息資料不丢失。

接下來，我們就針對消息中間件來分别談談這些技術點。

生産者消費者模型

相信很多小夥伴對于生産者和消費者模型都比較了解了，簡單的說：就是消息中間件能夠使其他應用來生産消息，也能夠使其他應用來消費相應的消息。

對于生産者和消費者模型，我們需要考慮的問題點就比較多了。接下來，我就一步步來引導大家進行思考。

首先，我們來思考這樣一個問題：如果生産者生産了消息，那麼消息中間件應該怎樣存儲相應的資料呢？存儲在記憶體？ 存儲在磁盤？還是同時存儲在記憶體和磁盤中呢？

如果是将消息資料同時存儲在記憶體和磁盤中，我們又該如何處理這些資料呢？是生産者将消息投遞到消息中間件之後，我們就立刻将資料寫入磁盤？還是說資料先駐留到記憶體，然後每隔一段時間刷到磁盤上？如果是每隔一段時間刷到磁盤上，那我們又要考慮磁盤檔案的切分問題，也就是說，需要将消息資料分成多少個磁盤檔案？（總不能把所有的資料放到一個磁盤檔案中吧）。如果是需要切分成多個磁盤檔案，那切分的規則又是什麼呢？

上面這些問題都是我們在設計一個消息中間件時需要考慮的問題。然而，這還隻是一小部分問題。如果想在面試時脫穎而出，那就還需要繼續往下看，還有一些重要的問題點需要注意。

如果檔案按照一定的規則切分到多個磁盤檔案中了，那是不是還需要管理中繼資料來辨別資料的具體消息（就像是Hadoop中的NameNode節點中存儲着DataNode的中繼資料資訊，NameNode節點通過這些中繼資料資訊就能夠更好的管理DataNode節點）？這些中繼資料可以包括：消息資料的偏移量、也可以是消息資料的唯一ID。

考慮完資料的存儲問題，我們還需要考慮的是：消息中間件是如何将資料投遞到對應的消費者的？

在設計生産者和消費者時，還一個很重要的問題需要我們考慮：我們在設計消息中間件時，采用的消費模式是什麼？會不會将資料均勻的配置設定給消費者？還是會通過一些其他的規則将資料投遞到消費者？

支援分布式架構

如果我們設計的消息中間件，每天會承載TB級别的資料高并發和高吞吐量的寫入操作。這裡，我們就需要考慮将消息中間件設計成分布式架構。

在設計分布式架構時，我們還需要考慮将存儲的比較大的資料，做成分片存儲，對資料進行分片等操作。

除了這些，我們還需要考慮另外一個核心問題：對于消息中間件來說，需要支援自動擴容操作。

還有就是是否支援資料分片，如何實作資料分片的擴容和自動資料負載均衡遷移等。

資料的高可用

一般網際網路應用的高可用，是通過本地堆記憶體，分布式緩存，和一份資料在不同的伺服器上都搞一個副本來實作的。此時，任何一個存儲節點當機，都不會影響整體的高可用。我們在設計消息中間件時也可以參考這個思路。

消息資料不丢失

此時，我們就需要提供手動ACK的機制，也就是說：當消費者真正消費消息完畢後，向消息中間件傳回“ 處理完成” 的辨別，消息中間件删除相應的已處理的消息。

但是，細化的話，這裡，我們就需要兩套ACK機制：

• 一種ACK對應的是生産端。如果一直沒有接收到ACK消息，則需要通過生産者來重新發送一條消息來保證生産消息成功。
• 另一種ACK對應的是消費端。一旦一條消息消費并處理成功，必須傳回一個ack給消息中間件，然後消息中間件才能删除這條消息。否則一旦消費者當機，就必須重發這條消息給其他的消費者執行個體，保證消息一定會被處理成功。