天天看點

13 張圖徹底搞懂分布式系統服務注冊與發現原理

在微服務架構或分布式環境下,服務注冊與發現技術不可或缺,這也是程式員進階之路必須要掌握的核心技術之一,本文通過圖解的方式帶領大家輕輕松松掌握。

13 張圖徹底搞懂分布式系統服務注冊與發現原理

引入服務注冊與發現元件的原因

先來看一個問題,假如現在我們要做一個商城項目,作為架構師的你應該怎樣設計系統的架構?你心裡肯定在想:這還不容易直接照搬淘寶的架構不就行了。但在現實的創業環境中一個項目可能是九死一生,如果一開始投入巨大的人力和财力,一旦項目失敗損失就很大。

作為一位有經驗的架構師需要結合公司财力、人力投入預算等現狀選擇最适合眼下的架構才是王道。大型網站都是從小型網站發展而來,架構也是一樣。

任何一個大型網站的架構都不是從一開始就一層不變的,而是随着使用者量和資料量的不斷增加不斷疊代演進的結果。

在架構不斷疊代演進的過程中我們會遇到很多問題,技術發展的本質就是不斷發現問題再解決問題,解決問題又發現問題。

單體架構

在系統建立之初可能不會有特别多的使用者,将所有的業務打成一個應用包放在 tomcat 容器中運作,與資料庫共用一台伺服器,這種架構一般稱之為單體架構。

13 張圖徹底搞懂分布式系統服務注冊與發現原理

在初期這種架構的效率非常高,根據使用者的回報可以快速疊代上線。但是随着使用者量增加,一台服務的記憶體和 CPU 吃緊,很容易造成瓶頸,新的問題來了怎麼解決呢?

應用與資料分離

随着使用者請求量增加,一台伺服器的記憶體和 CPU 持續飙升,使用者請求響應時間變慢。這時候可以考慮将應用與資料庫拆開,各自使用一台伺服器,你看問題又解決了吧。

13 張圖徹底搞懂分布式系統服務注冊與發現原理

突然有一天掃地阿姨不小心碰了電線,其中一台伺服器掉電了,使用者所有的請求都報錯,随之而來的是一系列投訴電話。

叢集部署

單執行個體很容易造成單點問題,比如遇到伺服器故障或者服務能力瓶頸,那怎麼辦?聰明的你肯定想到了,用叢集呀。

13 張圖徹底搞懂分布式系統服務注冊與發現原理

叢集部署是指将應用部署在多個伺服器或者虛機上,使用者通過服務均衡随機通路其中的一個執行個體,進而使多個執行個體的流量均衡,如果一個執行個體出現故障可以将其下線,其他執行個體不受影響仍然可以對外提供服務。

随着使用者數量快速增加,老闆決定增加投入擴大團隊規模。開發團隊壯大後效率并沒有得到顯著的提高,以前小團隊可以一周疊代上線一次,現在至少需要兩到三周時間。

業務邏輯越來越複雜,代碼間耦合很嚴重,修改一行代碼可能引入幾個線上問題。架構師意識到需要進行架構重構。

微服務架構

當單體架構演進到一定階段後開發測試的複雜性都會成本增加,團隊規模的擴大也會使得各自工作耦合性更嚴重,牽一發而動全身就是這種場景。

單體架構遇到瓶頸了,微服務架構就橫空出世了。微服務就是将之前的單體服務按照業務次元進行拆分,拆分粒度可大可小,拆分時機可以分節奏進行。最佳實踐是先将一些獨立的功能從單體中剝離出來抽成一個或多個微服務,這樣可以保障業務的連續性和穩定性。

13 張圖徹底搞懂分布式系統服務注冊與發現原理

如上圖将一個商用應用拆分為六個獨立微服務。六個微服務可以使用 Docker 容器化進行多執行個體部署。

架構演化到這裡遇到了一個難題,如果要查詢使用者所有的訂單,使用者服務可能會依賴訂單服務,使用者服務如何與訂單服務互動呢?訂單服務有多個執行個體該通路哪一個?

通常有幾種解決辦法:

(1)服務位址寫死

服務的位址寫死在資料庫或者配置檔案,通過通路 DNS 域名進行尋址路由。

13 張圖徹底搞懂分布式系統服務注冊與發現原理

服務 B 的位址寫死在資料庫或者配置檔案中,服務 A 首先需要拿到服務 B 的位址,然後通過 DNS 伺服器解析擷取其中一執行個體的真實位址,最後可以向服務 B 發起請求。

如果遇到大促活動需要對服務執行個體擴容,大促完需要對服務執行個體進行下線,運維人員要做大量的手工操作,非常容易誤操作。

(2)服務動态注冊與發現

服務位址寫死還有一個非常緻命的問題,如果一台執行個體挂了,運維人員可能不能及時感覺到,導緻一部分使用者的請求會異常。

引入服務注冊與發現元件可以很好解決上面遇到的問題,避免過多的人工操作。

架構演進總結

在單體架構中一個應用程式就是一個服務包,包内的子產品通過函數方法互相調用,模型足夠簡單,根本沒有服務注冊和發現一說。

在微服務架構中會将一個應用程式拆分為多個微服務,微服務會部署在不同的伺服器、不同的容器、甚至多資料中心,微服務間要互相調用,服務注冊和發現成為了一個不可或缺的元件。

服務注冊與發現基本原理

服務注冊與發現是分為注冊和發現兩個關鍵的步驟。

服務注冊:服務程序在注冊中心注冊自己的中繼資料資訊。通常包括主機和端口号,有時還有身份驗證資訊,協定,版本号,以及運作環境的資訊。

服務發現:用戶端服務程序向注冊中心發起查詢,來擷取服務的資訊。服務發現的一個重要作用就是提供給用戶端一個可用的服務清單。

服務注冊

服務注冊有兩種形式:用戶端注冊和代理注冊。

用戶端注冊

用戶端注冊是服務自己要負責注冊與登出的工作。當服務啟動後注冊線程向注冊中心注冊,當服務下線時登出自己。

13 張圖徹底搞懂分布式系統服務注冊與發現原理

這種方式的缺點是注冊登出邏輯與服務的業務邏輯耦合在一起,如果服務使用不同語言開發,那需要适配多套服務注冊邏輯。

代理注冊

代理注冊由一個單獨的代理服務負責注冊與登出。當服務提供者啟動後以某種方式通知代理服務,然後代理服務負責向注冊中心發起注冊工作。

13 張圖徹底搞懂分布式系統服務注冊與發現原理

這種方式的缺點是多引用了一個代理服務,并且代理服務要保持高可用狀态。

服務發現

服務發現也分為用戶端發現和代理發現。

用戶端發現

用戶端發現是指用戶端負責向注冊中心查詢可用服務位址,擷取到所有的可用執行個體位址清單後用戶端根據負載均衡算法選擇一個執行個體發起請求調用。

13 張圖徹底搞懂分布式系統服務注冊與發現原理

這種方式非常直接,用戶端可以控制負載均衡算法。但是缺點也很明顯,擷取執行個體位址、負載均衡等邏輯與服務的業務邏輯耦合在一起,如果服務發現或者負載平衡有變化,那麼所有的服務都要修改重新上線。

代理發現

代理發現是指新增一個路由服務負責服務發現擷取可用的執行個體清單,服務消費者如果需要調用服務 A 的一個執行個體可以直接将請求發往路由服務,路由服務根據配置好的負載均衡算法從可用的執行個體清單中選擇一個執行個體将請求轉發過去即可,如果發現執行個體不可用,路由服務還可以自行重試,服務消費者完全不用感覺。

13 張圖徹底搞懂分布式系統服務注冊與發現原理

心跳機制

如果服務有多個執行個體,其中一個執行個體出現當機,注冊中心是可以實時感覺到,并且将該執行個體資訊從清單中移出,也稱為摘機。

如何實作摘機?業界比較常用的方式是通過心跳檢測的方式實作,心跳檢測有主動和被動兩種方式。

被動檢測是指服務主動向注冊中心發送心跳消息,時間間隔可自定義,比如配置 5 秒發送一次,注冊中心如果在三個周期内比如說 15 秒内沒有收到執行個體的心跳消息,就會将該執行個體從清單中移除。

13 張圖徹底搞懂分布式系統服務注冊與發現原理

上圖中服務 A 的執行個體 2 已經當機不能主動給注冊中心發送心跳消息,15 秒之後注冊就會将執行個體 2 移除掉。

主動檢測是注冊中心主動發起,每隔幾秒中會給所有清單中的服務執行個體發送心跳檢測消息,如果多個周期内未發送成功或未收到回複就會主動移除該執行個體。

13 張圖徹底搞懂分布式系統服務注冊與發現原理

業界常用的服務注冊與發現元件對比

了解服務注冊與發現的基本原理後,如果你要在項目中使用服務注冊與發現元件,當面對衆多的開源元件該如何進行技術選型?

在網際網路公司裡,有研發實力的大公司一般會選擇自研或者基于開源元件進行二次開發,但是對于中小型公司來說直接選用一款開源軟體會是一個不錯的選擇。

常用的注冊與發現元件有 eureka,zookeeper,consul,etcd 等,由于 eureka 在 2018 年已經宣布放棄維護,這裡就不再推薦使用了。

13 張圖徹底搞懂分布式系統服務注冊與發現原理

下面結合各個次元對比一下各元件。

元件

優點

缺點

接口類型

一緻性算法

zookeeper

1.功能強大,不僅僅隻是服務發現;

2.提供 watcher 機制可以實時擷取服務提供者的狀态;

3.廣泛使用,dubbo 等微服務架構已支援;

1.沒有健康檢查;

2.需要在服務中引入 sdk,內建複雜度高;

3.不支援多資料中心;

sdk

Paxos

consul

1.開箱即用,友善內建;

2.帶健康檢查;

3.支援多資料中心;

4.提供 web 管理界面;

不能實時擷取服務變換通知

restful/dns

Raft

etcd

1.開箱即用,友善內建;

2.可配置性強

1.沒有健康檢查;

2.需配合三方工具完成服務發現功能;

3.不支援多資料中心;

restful

Raft

從整體上看 consul 的功能更加完備和均衡。接下來以 consul 為例詳細介紹一下。

Consul——值得推薦的服務注冊與發現開源元件

簡單認識一下 Consul

Consul 是 HashiCorp 公司推出的開源工,使用 Go 語言開發,具有開箱即可部署友善的特點。Consul 是分布式的、高可用的、 可橫向擴充的用于實作分布式系統的服務發現與配置。

Consul 有哪些優勢?

  • 服務注冊發現:Consul 提供了通過 DNS 或者 restful 接口的方式來注冊服務和發現服務。服務可根據實際情況自行選擇。
  • 健康檢查:Consul 的 Client 可以提供任意數量的健康檢查,既可以與給定的服務相關聯,也可以與本地節點相關聯。
  • 多資料中心:Consul 支援多資料中心,這意味着使用者不需要擔心 Consul 自身的高可用性問題以及多資料中心帶來的擴充接入等問題。

Consul 的架構圖

Consul 實作多資料中心依賴于 gossip protocol 協定。這樣做的目的:

  • 不需要使用伺服器的位址來配置用戶端;服務發現是自動完成的。
  • 健康檢查故障的工作不是放在伺服器上,而是分布式的。

Consul 的使用場景

Consul 的應用場景包括服務注冊發現、服務隔離、服務配置等。

服務注冊發現場景中 consul 作為注冊中心,服務位址被注冊到 consul 中以後,可以使用 consul 提供的 dns、http 接口查詢,consul 支援 health check。

服務隔離場景中 consul 支援以服務為機關設定通路政策,能同時支援經典的平台和新興的平台,支援 tls 證書分發,service-to-service 加密。

服務配置場景中 consul 提供 key-value 資料存儲功能,并且能将變動迅速地通知出去,借助 Consul 可以實作配置共享,需要讀取配置的服務可以從 Consul 中讀取到準确的配置資訊。

繼續閱讀