天天看點

Dubbo設計思想

引言

之前在開發第一個項目的時候用到了Dubbo,但是對其實作原理并沒有深入研究,最近想要總結一下關于RPC的相關知識,是以就選擇Dubbo作為切入點,來一窺服務治理型RPC的設計。本文主要介紹 Dubbo 設計上的一些思想,其他 Dubbo 相關文章均收錄于

<Dubbo系列文章>

背景

随着網際網路的發展,網站應用的規模不斷擴大,正常的垂直應用架構已無法應對,分布式服務架構以及流動計算架構勢在必行,亟需一個治理系統確定架構有條不紊的演進。

Dubbo設計思想

單一應用架構

當網站流量很小時,隻需一個應用,将所有功能都部署在一起,以減少部署節點和成本。此時,用于簡化增删改查工作量的資料通路架構(ORM)是關鍵。

垂直應用架構

當通路量逐漸增大,單一應用增加機器帶來的加速度越來越小,将應用拆成互不相幹的幾個應用,以提升效率。此時,用于加速前端頁面開發的Web架構(MVC)是關鍵。

分布式服務架構

當垂直應用越來越多,應用之間互動不可避免,将核心業務抽取出來,作為獨立的服務,逐漸形成穩定的服務中心,使前端應用能更快速的響應多變的市場需求。此時,用于提高業務複用及整合的分布式服務架構(RPC)是關鍵。

流動計算架構

當服務越來越多,容量的評估,小服務資源的浪費等問題逐漸顯現,此時需增加一個排程中心基于通路壓力實時管理叢集容量,提高叢集使用率。此時,用于提高機器使用率的資源排程和治理中心(SOA)是關鍵。

服務治理

Dubbo設計思想

在大規模服務化之前,應用可能隻是通過 RMI 或 Hessian 等工具,簡單的暴露和引用遠端服務,通過配置服務的URL位址進行調用,通過 F5 等硬體進行負載均衡。

當服務越來越多時,服務 URL 配置管理變得非常困難,F5 硬體負載均衡器的單點壓力也越來越大。 此時需要一個服務注冊中心,動态地注冊和發現服務,使服務的位置透明。并通過在消費方擷取服務提供方位址清單,實作軟負載均衡和 Failover,降低對 F5 硬體負載均衡器的依賴,也能減少部分成本。

當進一步發展,服務間依賴關系變得錯綜複雜,甚至分不清哪個應用要在哪個應用之前啟動,架構師都不能完整的描述應用的架構關系。這時,需要自動畫出應用間的依賴關系圖,以幫助架構師理清理關系。

接着,服務的調用量越來越大,服務的容量問題就暴露出來,這個服務需要多少機器支撐?什麼時候該加機器? 為了解決這些問題,第一步,要将服務現在每天的調用量,響應時間,都統計出來,作為容量規劃的參考名額。其次,要可以動态調整權重,線上上,将某台機器的權重一直加大,并在加大的過程中記錄響應時間的變化,直到響應時間到達門檻值,記錄此時的通路量,再以此通路量乘以機器數反推總容量。

架構

Dubbo設計思想

節點角色:

  • Provider:暴露服務的服務提供方
  • Consumer:調用遠端服務的服務消費方
  • Registry:服務注冊與發現的注冊中心
  • Monitor:統計服務的調用次數和調用時間的監控中心
  • Container:服務運作容器

調用關系說明:

  • 服務容器負責啟動,加載,運作服務提供者。
  • 服務提供者在啟動時,向注冊中心注冊自己提供的服務。
  • 服務消費者在啟動時,向注冊中心訂閱自己所需的服務。
  • 注冊中心傳回服務提供者位址清單給消費者,如果有變更,注冊中心将基于長連接配接推送變更資料給消費者。
  • 服務消費者,從提供者位址清單中,基于軟負載均衡算法,選一台提供者進行調用,如果調用失敗,再選另一台調用。
  • 服務消費者和提供者,在記憶體中累計調用次數和調用時間,定時每分鐘發送一次統計資料到監控中心。

Dubbo 架構具有以下幾個特點,分别是連通性、健壯性、伸縮性、以及向未來架構的更新性。

連通性

  • 注冊中心負責服務位址的注冊與查找,相當于目錄服務,服務提供者和消費者隻在啟動時與注冊中心互動,注冊中心不轉發請求,壓力較小
  • 監控中心負責統計各服務調用次數,調用時間等,統計先在記憶體彙總後每分鐘一次發送到監控中心伺服器,并以報表展示
  • 服務提供者向注冊中心注冊其提供的服務,并彙報調用時間到監控中心,此時間不包含網絡開銷
  • 服務消費者向注冊中心擷取服務提供者位址清單,并根據負載算法直接調用提供者,同時彙報調用時間到監控中心,此時間包含網絡開銷
  • 注冊中心,服務提供者,服務消費者三者之間均為長連接配接,監控中心除外
  • 注冊中心通過長連接配接感覺服務提供者的存在,服務提供者當機,注冊中心将立即推送事件通知消費者
  • 注冊中心和監控中心全部當機,不影響已運作的提供者和消費者,消費者在本地緩存了提供者清單
  • 注冊中心和監控中心都是可選的,服務消費者可以直連服務提供者

健壯性

  • 監控中心宕掉不影響使用,隻是丢失部分采樣資料
  • 資料庫宕掉後,注冊中心仍能通過緩存提供服務清單查詢,但不能注冊新服務
  • 注冊中心對等叢集,任意一台宕掉後,将自動切換到另一台
  • 注冊中心全部宕掉後,服務提供者和服務消費者仍能通過本地緩存通訊
  • 服務提供者無狀态,任意一台宕掉後,不影響使用
  • 服務提供者全部宕掉後,服務消費者應用将無法使用,并無限次重連等待服務提供者恢複

伸縮性

  • 注冊中心為對等叢集,可動态增加機器部署執行個體,所有用戶端将自動發現新的注冊中心
  • 服務提供者無狀态,可動态增加機器部署執行個體,注冊中心将推送新的服務提供者資訊給消費者

更新性

當服務叢集規模進一步擴大,帶動IT治理結構進一步更新,需要實作動态部署,進行流動計算,現有分布式服務架構不會帶來阻力。下圖是未來可能的一種架構:

Dubbo設計思想

整體設計

Dubbo設計思想

圖例說明:

  • 圖中左邊淡藍背景的為服務消費方使用的接口,右邊淡綠色背景的為服務提供方使用的接口,位于中軸線上的為雙方都用到的接口。
  • 圖中從下至上分為十層,各層均為單向依賴,右邊的黑色箭頭代表層之間的依賴關系,每一層都可以剝離上層被複用,其中,Service 和 Config 層為 API,其它各層均為 SPI。
  • 圖中綠色小塊的為擴充接口,藍色小塊為實作類,圖中隻顯示用于關聯各層的實作類。
  • 圖中藍色虛線為初始化過程,即啟動時組裝鍊,紅色實線為方法調用過程,即運作時調時鍊,紫色三角箭頭為繼承,可以把子類看作父類的同一個節點,線上的文字為調用的方法。

各層說明:

  • config 配置層:對外配置接口,以 ServiceConfig, ReferenceConfig 為中心,可以直接初始化配置類,也可以通過 spring 解析配置生成配置類
  • proxy 服務代理層:服務接口透明代理,生成服務的用戶端 Stub 和伺服器端 Skeleton, 以 ServiceProxy 為中心,擴充接口為 ProxyFactory
  • registry 注冊中心層:封裝服務位址的注冊與發現,以服務 URL 為中心,擴充接口為 RegistryFactory, Registry, RegistryService
  • cluster 路由層:封裝多個提供者的路由及負載均衡,并橋接注冊中心,以 Invoker 為中心,擴充接口為 Cluster, Directory, Router, LoadBalance
  • monitor 監控層:RPC 調用次數和調用時間監控,以 Statistics 為中心,擴充接口為 MonitorFactory, Monitor, MonitorService
  • protocol 遠端調用層:封裝 RPC 調用,以 Invocation, Result 為中心,擴充接口為 Protocol, Invoker, Exporter
  • exchange 資訊交換層:封裝請求響應模式,同步轉異步,以 Request, Response 為中心,擴充接口為 Exchanger, ExchangeChannel, ExchangeClient, ExchangeServer
  • transport 網絡傳輸層:抽象 mina 和 netty 為統一接口,以 Message 為中心,擴充接口為 Channel, Transporter, Client, Server, Codec
  • serialize 資料序列化層:可複用的一些工具,擴充接口為 Serialization, ObjectInput, ObjectOutput, ThreadPool

關系說明:

  • 在 RPC 中,Protocol 是核心層,也就是隻要有 Protocol + Invoker + Exporter 就可以完成非透明的 RPC 調用,然後在 Invoker 的主過程上 Filter 攔截點。
  • 圖中的 Consumer 和 Provider 是抽象概念,隻是想讓看圖者更直覺的了解哪些類分屬于用戶端與伺服器端,不用 Client 和 Server 的原因是 Dubbo 在很多場景下都使用 Provider, Consumer, Registry, Monitor 劃分邏輯拓撲節點,保持統一概念。
  • 而 Cluster 是外圍概念,是以 Cluster 的目的是将多個 Invoker 僞裝成一個 Invoker,這樣其它人隻要關注 Protocol 層 Invoker 即可,加上 Cluster 或者去掉 Cluster 對其它層都不會造成影響,因為隻有一個提供者時,是不需要 Cluster 的。
  • Proxy 層封裝了所有接口的透明化代理,而在其它層都以 Invoker 為中心,隻有到了暴露給使用者使用時,才用 Proxy 将 Invoker 轉成接口,或将接口實作轉成 Invoker,也就是去掉 Proxy 層 RPC 是可以 Run 的,隻是不那麼透明,不那麼看起來像調本地服務一樣調遠端服務。
  • 而 Remoting 實作是 Dubbo 協定的實作,如果你選擇 RMI 協定,整個 Remoting 都不會用上,Remoting 内部再劃為 Transport 傳輸層和 Exchange 資訊交換層,Transport 層隻負責單向消息傳輸,是對 Mina, Netty, Grizzly 的抽象,它也可以擴充 UDP 傳輸,而 Exchange 層是在傳輸層之上封裝了 Request-Response 語義。
  • Registry 和 Monitor 實際上不算一層,而是一個獨立的節點,隻是為了全局概覽,用層的方式畫在一起。

依賴關系

Dubbo設計思想
  • 圖中小方塊 Protocol, Cluster, Proxy, Service, Container, Registry, Monitor 代表層或子產品,藍色的表示與業務有互動,綠色的表示隻對 Dubbo 内部互動。
  • 圖中背景方塊 Consumer, Provider, Registry, Monitor 代表部署邏輯拓撲節點。
  • 圖中藍色虛線為初始化時調用,紅色虛線為運作時異步調用,紅色實線為運作時同步調用。
  • 圖中隻包含 RPC 的層,不包含 Remoting 的層,Remoting 整體都隐含在 Protocol 中。

調用鍊

Dubbo設計思想

設計原則

  • 采用 Microkernel + Plugin 模式,Microkernel 隻負責組裝 Plugin,Dubbo 自身的功能也是通過擴充點實作的,也就是 Dubbo 的所有功能點都可被使用者自定義擴充所替換。
  • 采用 URL 作為配置資訊的統一格式,所有擴充點都通過傳遞 URL 攜帶配置資訊。

文章說明

更多有價值的文章均收錄于

貝貝貓的文章目錄
Dubbo設計思想

版權聲明: 本部落格所有文章除特别聲明外,均采用 BY-NC-SA 許可協定。轉載請注明出處!

創作聲明: 本文基于下列所有參考内容進行創作,其中可能涉及複制、修改或者轉換,圖檔均來自網絡,如有侵權請聯系我,我會第一時間進行删除。

參考内容

[1]《深入了解Apache Dubbo與實戰》

[2]

dubbo 官方文檔

繼續閱讀