是不是平常聽到說消息隊列啊,JMS啊,MQ啊 、kafka啊巴啦啦的一堆術語,聽不懂?關系混亂?今天就讓我們來一起來看看他們都是什麼吧。
首先舉個收快遞的栗子,傳統的收快遞,快遞小哥把我們的快遞送到我們的手裡。他需要什麼條件嗯?
快遞小哥有時間送,
我們有時間取,
快遞小哥和我們約定一個時間地點。
但是嗯。快遞小哥有那麼多的快遞需要送,可能送我快遞的時候,我不在家,可能我在家的時候,快遞小哥送其他的地方的快遞。是以嗯,這個時候,要麼就是坐在家裡等快遞,要麼就隻能從新約個時間點在送。那怎麼辦去避免這個情況嗯?
于是嗯快遞櫃出現了。快遞小哥不用關心我什麼時候在家,因為快遞小哥有時間了,就把快遞放快遞櫃,而我有時間了,我就去快遞櫃取我的快遞。
那麼快遞櫃所起到的作用就是我們今天要收的消息隊列。我們可以把消息隊列比作是一個存放快遞的的快遞櫃,當我們需要擷取我們快遞的時候就可以從快遞櫃裡面拿到屬于我們的快遞。
我們可以把消息隊列比作是一個存放消息的容器,當我們需要使用消息的時候可以取出消息供自己使用。我們看看維基百科上的描述:在計算機科學中,消息隊列(Message queue)是一種程序間通信或同一程序的不同線程間的通信方式,軟體的貯列用來處理一系列的輸入,通常是來自使用者。
是不是很難了解,我們換個說法來了解
我們可以把消息隊列比作是一個存放消息的容器,當我們需要使用消息的時候可以取出消息供自己使用。
消息隊列是分布式系統中重要的元件,使用消息隊列主要是為了通過異步處理提高系統性能和削峰、降低系統耦合性。
通過異步處理提高系統性能(削峰、減少響應所需時間)
舉個例子:我們在某個網站進行新增賬號,我們需要做如下四件事:
填寫我們的注冊資訊;
送出我們的注冊資訊;
我們的郵箱收到注冊資訊;
我們的短信收到注冊資訊。
如果采用同步串行,所需要的時間是:a+b+c+d

如果采用同步并行,所需要的時間是:a+b+max(c,d)
如果采用消息隊列,所需要的時間是:a+b+消息隊列
舉個例子,A公司做了某個系統,B公司覺得A公司的某個功能很好,于是B公司和A公司的系統進行了內建。這時C公司也覺得A公司的這個功能很好,于是,C公司也和A公司的系統進行了內建。以後還有D公司…。
介于這種情況,A公司的系統和其他公司的耦合度都很高,每內建一個公司的系統,A公司都需要修改自己的系統。如果采用消息隊列,則變成了如下:
不管以後還有多少公司的應用程式想要用A公司的程式,都不需要和A公司進行內建,誰需要這個功能,誰就去消息隊列裡面擷取。
應用程式由:消息隊列,發送方,接收方組成。
每個消息都被發送到一個特定的隊列,接收者從隊列中擷取消息。隊列保留着消息,直到他們被消費或逾時。
用用程式有由:角色主題(Topic)、釋出者(Publisher)、訂閱者(Subscriber)構成。
釋出者釋出一個消息,該消息通過topic傳遞給所有的用戶端。該模式下,釋出者與訂閱者都是匿名的,即釋出者與訂閱者都不知道對方是誰。并且可以動态的釋出與訂閱Topic。Topic主要用于儲存和傳遞消息,且會一直儲存消息直到消息被傳遞給用戶端。
介紹完了消息隊列,接着我們介紹JMS
JMS即Java消息服務(Java Message Service)應用程式接口,是一個Java平台中關于面向消息中間件(MOM)的API,類似于JDBC。用于在兩個應用程式之間,或分布式系統中發送消息,進行異步通信。它提供建立、發送、接收、讀取消息的服務。由Sun公司和它的合作夥伴設計的應用程式接口和相應文法,使得Java程式能夠和其他消息元件進行通信。
JMS是一個消息服務的标準或者說是規範,允許應用程式元件基于JavaEE平台建立、發送、接收和讀取消息。它使分布式通信耦合度更低,消息服務更加可靠以及異步性。
介紹到這裡,應該明白了消息隊列和JMS的差別了吧?
消息隊列:計算機科學中,A和B進行通信的一種方式。
JMS:java平台之間分布式通信的一種标準或者規範。
換句話說,JMS就是java對于消息隊列的一種實作方式。
點對點,釋出訂閱,消息隊列中已經說的很清楚了,這裡就不重複說了。
同步(Synchronous)
訂閱者/接收方通過調用 receive()來接收消息。在receive()方法中,線程會阻塞直到消息到達或者到指定時間後消息仍未到達。
異步(Asynchronous)
消息訂閱者需注冊一個消息監聽者,類似于事件監聽器,隻要消息到達,JMS服務提供者會通過調用監聽器的onMessage()遞送消息。
JMS程式設計模型非常類似于JDBC。回憶一下,我們之前講到的MyBatis。
SqlSessionFactoryBuilder去構造SqlSessionFactory會話工廠;
SqlSessionFactory會話工廠給我們打開SqlSession會話;
SqlSession幫我們去連接配接資料庫,接着我們就可以執行增删查改。
JMS模型如下
Connection Factory給我建立Connection連接配接;
Connection連接配接給我們建立了Session會話;
Session會話給我們建立消費者和生産者;
生産者生成消息;
消費者消費消息;
上文中,我們說到了,JMS他并不是一種真正意義的技術,而是一種接口,一種規範。就想JDBC一樣,無論是mybatis、hibernate,還是springJPA,不管你是那種技術實作,反正你得遵守JDBC的規範。
在Java中,目前基于JMS實作的消息隊列常見技術有ActiveMQ、RabbitMQ、RocketMQ。值得注意的是,RocketMQ并沒有完全遵守JMS規範,并且Kafka不是JMS的實作。
這裡我們以RabbitMQ為例介紹MQ,首先介紹下AMQP
AMQP協定(Advanced Message Queuing Protocol,進階消息隊列協定)是一個程序間傳遞異步消息的網絡協定。
釋出者(Publisher)釋出消息(Message),經由交換機(Exchange)。
交換機根據路由規則将收到的消息分發給與該交換機綁定的隊列、(Queue)。
最後 AMQP 代理會将消息投遞給訂閱了此隊列的消費者,或者消費者按照需求自行擷取。
RabbitMQ是MQ産品的典型代表,是一款基于AMQP協定可複用的企業消息系統
RabbitMQ由兩部分組成,分别是服務端和應用端;
服務端包括:隊列和交換機。
用戶端包括:生産者和消費者。
在rabbitmq server上可以建立多個虛拟的message broker。每一個broker本質上是一個mini-rabbitmq server,分别管理各自的exchange,和bindings。
broker相當于實體的server,可以為不同app提供邊界隔離,使得應用安全的運作在不同的broker執行個體上,互相之間不會幹擾。producer和consumer連接配接rabbit server需要指定一個broker。
Exchange有4種類型:direct(預設),fanout, topic, 和headers
Direct:直接交換器,工作方式類似于單點傳播,Exchange會将消息發送完全比對ROUTING_KEY的Queue。
Fanout:廣播是式交換器,不管消息的ROUTING_KEY設定為什麼,Exchange都會将消息轉發給所有綁定的Queue(所謂綁定就是将一個特定的 Exchange 和一個特定的 Queue 綁定起來。Exchange 和Queue的綁定可以是多對多的關系)。
Topic:主題交換器,工作方式類似于多點傳播,Exchange會将消息轉發和ROUTING_KEY比對模式相同的所有隊列,比如,ROUTING_KEY為user.stock的Message會轉發給綁定比對模式為 * .stock,user.stock, * . * 和#.user.stock.#的隊列。( * 表是比對一個任意詞組,#表示比對0個或多個詞組)。
至于如何在代碼中使用RabbitMQ,這裡我們先不撸代碼,本文目前隻介紹理論梳理知識點。
上完中我們提到過,kafka不是JMS的實作,是以在MQ章節中,我們沒有提及到它。現在我們開始學習kafka吧。
先來放張kafka的原理圖,相信你看到這個圖檔時,内心是奔潰的。我草,啥玩意。接下來我們就一點一點的消化吧。
先介紹上圖中的術語。
Producer :消息生産者,就是向kafka broker發消息的用戶端。
Consumer :消息消費者,向kafka broker取消息的用戶端。
Topic :kafka給消息提供的分類方式。broker用來存儲不同topic的消息資料。一個Topic可以認為是一類消息,每個topic将被分成多個partition(區),每個partition在存儲層面是append log檔案。任何釋出到此partition的消息都會被直接追加到log檔案的尾部,每條消息在檔案中的位置稱為offset(偏移量),offset為一個long型數字,它是唯一标記一條消息。它唯一的标記一條消息。kafka并沒有提供其他額外的索引機制來存儲offset,因為在kafka中幾乎不允許對消息進行“随機讀寫”。
broker:中間件的kafka cluster,存儲消息,是由多個server組成的叢集。
Partition:為了實作擴充性,一個非常大的topic可以分布到多個broker(即伺服器)上,一個topic可以分為多個partition,每個partition是一個有序的隊列。partition中的每條消息都會被配置設定一個有序的id(offset)。kafka隻保證按一個partition中的順序将消息發給consumer,不保證一個topic的整體(多個partition間)的順序。
Offset:kafka的存儲檔案都是按照offset.kafka來命名,例如你想找位于2049的位置,隻要找到2048.kafka的檔案即可。當然the first offset就是00000000000.kafka。
類似于JMS的特性,但不是JMS規範的實作。kafka對消息儲存時根據Topic進行歸類,發送消息者成為Producer,消息接受者成為Consumer,此外kafka叢集有多個kafka執行個體組成,每個執行個體(server)成為broker。無論是kafka叢集,還是producer和consumer都依賴于zookeeper來保證系統可用性叢集儲存資訊。
kafka基于檔案存儲。通過分區,可以将日志内容分散到多個server上,來避免檔案尺寸達到單機磁盤的上限,每個partiton都會被目前server(kafka執行個體)儲存;可以将一個topic切分多任意多個partitions,來消息儲存/消費的效率.此外越多的partitions意味着可以容納更多的consumer,有效提升并發消費的能力。
kafka和JMS不同的是:即使消息被消費,消息仍然不會被立即删除。日志檔案将會根據broker中的配置要求,保留一定的時間之後删除。
多個broker組成,每個broker是一個節點;
你建立一個topic,這個topic可以劃分為多個partition,每個partition可以存在于不同的broker上,每個partition就放一部分資料。
采用replica副本機制,每個partition的資料都會同步到其他機器上,形成多個replica副本。
所有replica會選舉一個leader出來,那麼生産和消費都跟這個leader打交道,然後其他replica就是follower。
讀資料時,從leader讀取,寫資料時,leader把資料同步到所有follower上去。如果某個broker當機了,這個broker在其他的broker還保留副本,假設這個broker上面存在leader,那麼就重新選一個leader。
内容有點多,需要結合圖檔一點一點消化
至此,雖然看的雲裡霧裡,不過相信你們還是能區分了吧?
整理一下:
消息隊列:指計算機領域中,A和B通信的一種通信方式;
JMS:Java中對于消息隊列的接口規範;
ActiveMQ/RabbitMQ:JMS接口規範具體實作的一種技術;
RocketMQ:不完全是JMS接口規範具體實作的一種技術;
Kafka:非JMS接口規範具體實作的一種技術;