1.走進RabbitMQ
一.消息中間件簡介
- 消息中間件(消息隊列)是分布式系統中重要的元件,主要解決應用耦合,異步消息,流量削鋒等問題實作高性能,高可用,可伸縮和最終一緻性[架構] 使用較多的消息隊列有ActiveMQ,RabbitMQ,ZeroMQ,Kafka,MetaMQ,RocketMQ
- 以下介紹消息隊列在實際應用中常用的使用場景:異步處理,應用解耦,流量削鋒和消息通訊四個場景
二.什麼是RabbitMQ
- RabbitMQ 是一個由 Erlang 語言開發的 AMQP 的開源實作。
- AMQP :Advanced Message Queue,進階消息隊列協定。它是應用層協定的一個開放标準,為面向消息的中間件設計,基于此協定的用戶端與消息中間件可傳遞消息,并不受産品、開發語言等條件的限制。
- RabbitMQ 最初起源于金融系統,用于在分布式系統中存儲轉發消息,在易用性、擴充性、高可用性等方面表現不俗。具體特點包括:
-
可靠性(Reliability)
RabbitMQ 使用一些機制來保證可靠性,如持久化、傳輸确認、釋出确認。
-
靈活的路由(Flexible Routing)
在消息進入隊列之前,通過 Exchange 來路由消息的。對于典型的路由功能,RabbitMQ已經提供了一些内置的 Exchange 來實作。針對更複雜的路由功能,可以将多個Exchange 綁定在一起,也通過插件機制實作自己的 Exchange 。
-
消息叢集(Clustering)
多個 RabbitMQ 伺服器可以組成一個叢集,形成一個邏輯 Broker 。
-
高可用(Highly Available Queues)
隊列可以在叢集中的機器上進行鏡像,使得在部分節點出問題的情況下隊列仍然可用。
-
多種協定(Multi-protocol)
RabbitMQ 支援多種消息隊列協定,比如 STOMP、MQTT 等等。
-
多語言用戶端(Many Clients)
RabbitMQ 幾乎支援所有常用語言,比如 Java、.NET、Ruby 等等。
-
管理界面(Management UI)
RabbitMQ 提供了一個易用的使用者界面,使得使用者可以監控和管理消息 Broker 的許多方面。
-
跟蹤機制(Tracing)
如果消息異常,RabbitMQ 提供了消息跟蹤機制,使用者可以找出發生了什麼。
-
插件機制(Plugin System)
RabbitMQ 提供了許多插件,來從多方面進行擴充,也可以編寫自己的插件。
-
三.架構圖與主要概念
- 架構圖
- 主要概念
- RabbitMQ Server: 也叫broker server,它是一種傳輸服務。 他的角色就是維護一條從Producer到Consumer的路線,保證資料能夠按照指定的方式進行傳輸。
- Producer: 消息生産者,如圖A、B、C,資料的發送方。消息生産者連接配接RabbitMQ伺服器然後将消息投遞到Exchange。
- Consumer:消息消費者,如圖1、2、3,資料的接收方。消息消費者訂閱隊列,RabbitMQ将Queue中的消息發送到消息消費者。
- Exchange:生産者将消息發送到Exchange(交換器),由Exchange将消息路由到一個或多個Queue中(或者丢棄)。Exchange并不存儲消息。RabbitMQ中的Exchange有direct、fanout、topic、headers四種類型,每種類型對應不同的路由規則。
- Queue:(隊列)是RabbitMQ的内部對象,用于存儲消息。消息消費者就是通過訂閱隊列來擷取消息的,RabbitMQ中的消息都隻能存儲在Queue中,生産者生産消息并最終投遞到Queue中,消費者可以從Queue中擷取消息并消費。多個消費者可以訂閱同一個Queue,這時Queue中的消息會被平均分攤給多個消費者進行處理,而不是每個消費者都收到所有的消息并處理。
- RoutingKey:生産者在将消息發送給Exchange的時候,一般會指定一個routing key,來指定這個消息的路由規則,而這個routing key需要與Exchange Type及binding key聯合使用才能最終生效。在Exchange Type與binding key固定的情況下(在正常使用時一般這些内容都是固定配置好的),我們的生産者就可以在發送消息給Exchange時,通過指定routing key來決定消息流向哪裡。RabbitMQ為routing key設定的長度限制為255bytes。
- Connection: (連接配接):Producer和Consumer都是通過TCP連接配接到RabbitMQ Server的。以後我們可以看到,程式的起始處就是建立這個TCP連接配接。
- Channels: (信道):它建立在上述的TCP連接配接中。資料流動都是在Channel中進行的。也就是說,一般情況是程式起始建立TCP連接配接,第二步就是建立這個Channel。
- VirtualHost:權限控制的基本機關,一個VirtualHost裡面有若幹Exchange和MessageQueue,以及指定被哪些user使用。
四.RabbitMQ安裝與啟動
- 下載下傳并安裝 Eralng 配套軟體中已提供otp_win64_20.2.exe
-
下載下傳并安裝rabbitmq
配套軟體中已提供rabbitmq-server-3.7.4.exe。輕按兩下安裝,注意不要安裝在包含中文和空格的目錄下!安裝後window服務中就存在rabbitMQ了,并且是啟動狀态。
-
安裝管理界面(插件)
進入rabbitMQ安裝目錄的sbin目錄,輸入指令
- 重新啟動服務
- 打開浏覽器,位址欄輸入 http://127.0.0.1:15672 ,即可看到管理界面的登陸頁
輸入使用者名和密碼,都為guest 進入主界面
最上側的導航依次是:概覽、連接配接、信道、交換器、隊列、使用者管理
2. RabbitMQ發送與接收消息
一.直接模式(Direct)
-
什麼是Direct模式
我們需要将消息發給唯一一個節點時使用這種模式,這是最簡單的一種形式。
任何發送到Direct Exchange的消息都會被轉發到RouteKey中指定的Queue。
1.一般情況可以使用rabbitMQ自帶的Exchange:”"(該Exchange的名字為空字元串,下文稱其為default Exchange)。
2.這種模式下可以不需要将Exchange進行任何綁定(binding)操作
3.消息傳遞時需要一個“RouteKey”,可以簡單的了解為要發送到的隊列名字。
4.如果vhost中不存在RouteKey中指定的隊列名,則該消息會被抛棄。
-
建立隊列
建立隊列,名為queue.test
- 代碼實作-消息生産者
- 建立工程rabbitmq_demo,引入依賴 ,pom.xml如下:
- 編寫配置檔案applicationContext-rabbitmq-producer.xml
- 編寫測試代碼
- 代碼實作-消息消費者
- 編寫消息監聽類
- 建立配置檔案applicationContext-rabbitmq-consumer.xml
- 編寫測試代碼Test2
二.分列模式(Fanout)
-
什麼是分列(Fanout)模式
當我們需要将消息一次發給多個隊列時,需要使用這種模式。如下圖:
任何發送到Fanout Exchange的消息都會被轉發到與該Exchange綁定(Binding)的所有Queue上。
1.這種模式需要提前将Exchange與Queue進行綁定,一個Exchange可以綁定多個Queue,一個Queue可以同多個Exchange進行綁定。
2.這種模式不需要RouteKey
3.如果接受到消息的Exchange沒有與任何Queue綁定,則消息會被抛棄。
-
交換器綁定隊列
建立隊列queue.test1 和queue.test2
建立交換器exchange.fanout_test,并綁定queue.test1和queue.test2
- 代碼實作-消息生産者 測試代碼,發現隊列queue.test1 和queue.test2都收到消息
- 代碼實作-消息消費者
- 将MessageConsumer複制為MessageConsumer1和MessageConsumer2。
- 修改applicationContext-rabbitmq-consumer.xml,增加配置
- 修改applicationContext-rabbitmq-consumer.xml
-
建立隊列與交換器(配置方式)
修改配置檔案applicationContext-rabbitmq-producer.xml
3. 使用者注冊
一.需求分析
- 新增賬號,用手機号注冊,填寫後發送短信驗證碼,填寫短信驗證碼正确方可注冊成功。
二.實作思路
- 發送短信驗證碼邏輯:使用者服務将要發送的短信驗證碼發送給rabbitmq和redis ,短信服務将消息從rabbitmq中取出并調用阿裡雲通信發送短信。阿裡雲通信整合了三大營運商的短信網關,最終把驗證碼發送到使用者的手機上。rabbitmq采用直接模式,使用者服務為消息生産者,短信服務為消息消費者。
- 注冊邏輯:注冊時從redis中提取短信驗證碼與使用者填寫的驗證碼進行比對,如果一緻則可以注冊,否則攔截請求。
三.發送短信驗證碼到MQ
- 實作思路: 在使用者服務編寫API ,生成手機驗證碼,存入Redis并發送到RabbitMQ
- 因為要用到消息隊列,是以在使用者服務引入rabbit與spring的整合依賴。
- 添加配置檔案applicationContext-rabbitmq-producer.xml
- 在UserService中新增方法定義
- UserServiceImpl方法實作
- qingcheng_web_portal新增UserController
四.短信服務接收消息
- 短信發送是由單獨的短信服務提供的功能,所有的短信都是先發送到消息隊列,短信服務從消息隊列中提取手機号和驗證碼,調用短信發送接口進行發送短信。我們這個環節實作的是将手機号和驗證碼從消息隊列中提取出來,列印到控制台。
- 建立qingcheng_service_sms工程,pom檔案引入依賴
- 添加web.xml,參見其它服務工程
- 添加監聽實作類SmsMessageConsumer
- 添加配置檔案applicationContext-rabbitmq-consumer.xml
五.使用者注冊
- UserService增加方法定義
- UserServiceImpl實作方法
- UserController增加方法
六.前端代碼
- 将register.html拷貝到qingcheng_web_portal的webapp下,在body中放置div
- 表單部分代碼綁定
- 編寫js部分代碼
4. 阿裡雲通信(了解)
一.阿裡雲通信簡介
- 阿裡雲通信(原名阿裡大于),是阿裡雲旗下産品,融合了三大營運商的通信能力,通過将傳統通信業務和能力與網際網路相結合,創新融合阿裡巴巴生态内容,全力為中小企業和開發者提供優質服務阿裡大于提供包括短信、語音、流量直充、私密專線、店鋪手機号等個性化服務。通過阿裡大于打通三大營運商通信能力,全面融合阿裡巴巴生态,以開放API及SDK的方式向開發者提供通信和資料服務,更好地支撐企業業務發展和創新服務。
二.發短信前你要準備什麼
- 在阿裡雲官網 https://www.aliyun.com/ 新增賬號
- 手機下載下傳”阿裡雲“APP,完成實名認證
- 登陸阿裡雲,産品中選擇”短信服務“
- 申請簽名(選擇驗證碼類型)
- 申請模闆
- 建立 accessKey
- 充值
三.快速入門
- 建立工程引入依賴
- 建立測試類,以下代碼從官網擷取
四.短信服務發送短信
- 短信服務pom.xml引入阿裡雲sdk依賴
- 添加配置檔案sms.properties
- 添加配置檔案applicationContext-sms.xml
- 建立短信工具類SmsUtil
- 修改消息監聽類,完成短信發送
5. 商品上下架消息處理(作業)
一.需求分析
-
在商品上架後,生成商品詳細頁和新增elasticsearch索引資料。
在商品下架後,删除商品詳細頁和删除elasticsearch資料.
以上操作采用消息中間件rabbitmq解耦調用。
二.實作思路
- 因為有多種業務邏輯需要處理,是以我們需要使用分列模式來處理請求。
-
建立兩個服務工程
一是商品詳細頁生成服務(qingcheng_service_page),對上架的商品重新生成上新品詳細頁。
二是索引資料更新服務(qingcheng_service_index),對上架的商品重新導入索引庫。
-
通過配置檔案實作:
rabbitmq 新增兩個交換器 ,分别是商品上架交換器和商品下架交換器。
rabbitmq 新增商品詳細頁生成隊列、商品詳細頁删除隊列、elasticsearch資料新增隊列、elasticsearch資料删除隊列。
商品上架交換器綁定新增商品詳細頁生成隊列和elasticsearch資料新增隊列
商品下架交換器綁定商品詳細頁删除隊列和elasticsearch資料删除隊列
- 在商品服務的上架發送消息到rabbitmq的商品上架交換器,在商品服務的下架發送消息到rabbitmq的商品下架交換器
- 商品詳細頁生成服務從 新增商品詳細頁生成隊列和商品詳細頁删除隊列提取消息進行邏輯處理
- 索引資料更新服務從elasticsearch資料新增隊列和elasticsearch資料删除隊列提取消息進行邏輯處理。