天天看點

微服務架構 | 3.3 Apache Zookeeper 注冊中心

@

目錄

  • 前言
  • 1. Zookeeper 基礎知識
    • 1.1 Zookeeper 是什麼
    • 1.2 Zookeeper 的資料結構
    • 1.3 Watcher 機制
    • 1.4 常見應用場景分析
    • 1.5 Zookeeper 的版本沖突問題
    • 1.6 Zookeeper 注冊中心的實作原理
    • 1.7 下面示例的相關說明
  • 2. 安裝并運作 Zookeeper 伺服器
    • 2.1 下載下傳 Zookeeper
    • 2.2 修改配置
    • 2.3 運作 Zookeeper 伺服器
  • 3. 使用 Zookeeper 管理服務提供者
    • 3.1 引入 pom.xml 依賴
    • 3.2 修改 boostrap.yml 配置檔案
    • 3.3 在主啟動類上添加注解
    • 3.4 編寫業務類,并在 controller 層開放接口
  • 4. 使用 Zookeeper 管理服務消費者
    • 4.1 引入 pom.xml 依賴
    • 4.2 修改 boostrap.yml 配置檔案
    • 4.3 主啟動類上不需要添加額外注解
    • 4.4 編寫業務類,調用提供者接口
  • 5. Dubbo 使用 Zookeeper 作為注冊中心
  • 最後

參考資料:

《Spring Microservices in Action》

《Spring Cloud Alibaba 微服務原理與實戰》

《B站 尚矽谷 SpringCloud 架構開發教程 周陽》

《Zookeeper 教程》

《Zookeeper 官網》

ZooKeeper 是一個分布式的,開放源碼的分布式應用程式協調服務,是 Google 的 Chubby 一個開源的實作,是 Hadoop 和 Hbase 的重要元件。它是一個為分布式應用提供一緻性服務的軟體,提供的功能包括:配置維護、域名服務、分布式同步、組服務等;

  • Zookeeper 是一個分布式協調工具,可以實作注冊中心功能;
  • 是 Apache Hadoop 的一個子項目,用來解決分布式應用中經常遇到的一些資料管理問題。包括:統一命名服務、狀态同步服務、叢集管理、分布式應用配置項的管理等;
  • 簡單來說:zookeeper=檔案系統+監聽通知機制;
  • ZooKeeper 的架構通過備援服務實作高可用性;
  • 【注意】ZooKeeper 本身并不是注冊中心,隻是基于 ZooKeeper 本身的特性可以實作注冊中心這個場景;

  • 系統概述:
    • ZooKeeper 的資料模型和分布式檔案系統類似,是一種階層化的屬性結構;
    • 和檔案系統不同的是,ZooKeeper 的資料是結構化存儲的,并沒有在實體上展現出檔案和目錄;
    • ZooKeeper 上的每個節點的資料都是允許讀和寫,且必須要按照層級建立;
  • Znode 節點:
    • Zookeeper 中的所有存儲的資料是由 Znode 組成,并以 key/value 形式存儲資料;
    • ZooKeeper 隻是管理和協調有關的資料,是以 value 的資料大小不建議設定得非常大,較大的資料會帶來更大的網絡開銷;
    • Znode 維護一個 stat 狀态資訊,其中包含資料變化的時間和版本等;
  • stat 狀态資訊:
    屬性 說明
    cZxid 建立節點時的事務 ID
    ctime 建立節點時的時間
    mZxid 最後修改節點時的事務 ID
    mtime 最後修改節點時的時間
    pZxid 表示該節點的子節點清單最後一次修改的事務 ID(包括增删子節點,不包括改子節點内容)
    cversion 子節點版本号,子節點每次修改版本号加 1
    dataversion 資料版本号,資料每次修改該版本号加 1
    aclversion 權限版本号,權限每次修改該版本号加 1
    ephemeralOwner 建立該臨時節點的會話的 sessionID(持久節點,該屬性值為 0)
    dataLength 該節點的資料長度
    numChildren 該節點擁有直接子節點的數量
  • Znode 的節點類型:
    • 持久化節點:節點的資料會持久化到磁盤;
    • 臨時節點:節點的生命周期和建立該節點的用戶端的生命周期保持一緻。用戶端會話結束,則該臨時節點删除;
    • 有序節點:在建立的節點後增加一個遞增的序列,該序列在同一級父節點之下是唯一的;
    • 容器節點:容器節點下最後一個子節點被删除時,容器節點自動删除(3.5.3版本後);
    • TTL 節點:設定一個存活時間,如果在存活時間之内該節點沒有任何修改并且沒有子節點,則自動删除(3.5.3版本後);
  • 一個示例圖:
    微服務架構 | 3.3 Apache Zookeeper 注冊中心

  • 一種針對 Znode 的訂閱/通知機制;
  • 當 Znode 節點狀态發生變化時或者 ZooKeeper 用戶端連接配接狀态發生變化時,會觸發事件通知;
  • 該機制在服務注冊與發現中,用于服務調用者及時感覺到服務提供者的變化;
  • ZooKeeper 提供了三種 JavaAPI 機制進行對 Znode 進行注冊監聽:
    • getData():用于擷取指定節點的 value 資訊,并且可以注冊監聽,當監聽的節點進行建立、修改、删除操作時,會觸發相應的事件通知;
    • getChildren():用于擷取指定節點的所有子節點,并且允許注冊監聽,當監聽節點的子節點進行建立、修改、删除操作時,觸發相應的事件通知;
    • exists():用于判斷指定節點是否存在,同樣可以注冊針對指定節點的監聽,監聽的時間類型和 getData() 相同
  • Watcher 事件的觸發都是一次性的,用戶端在發現節點修改後需要在事件回調中再次注冊事件;

  • 分布式鎖:
    • 排他性:避免在同一時刻多個程序同時通路某一個共享資源;
    • 基于節點的性質:臨時節點、同級節點的唯一性;
    • 獲得鎖的過程:在獲得排他鎖時,所有用戶端可以去 ZooKeeper 伺服器上

      /Exclusive_Locks

      節點下建立一個臨時節點

      /lock

      。隻有一個用戶端能建立成功;
    • 釋放鎖的過程:有兩種情況:
      • 獲得鎖的用戶端因為異常斷開了和服務端的連接配接,基于臨時節點的特性,

        /lock

        節點會被自動删除;
      • 獲得鎖的用戶端執行完業務邏輯之後,主動删除了建立的

        /lock

        節點;
  • Master 選舉:
    • 當叢集機器中有一個機器當機後,其他機器會接替故障機器繼續工作;
    • 基于節點的性質有兩種實作方式:
      • 唯一性:類似分布式鎖。在 ZooKeeper 伺服器上建立一個臨時節點

        /master-election

        ,隻有成功建立的機器工作。其他機器針對該節點注冊 Watcher 事件;
      • 臨時有序節點:所有參與選舉的用戶端在 ZooKeeper 伺服器的

        /master

        節點下建立一個臨時有序節點,編号最小的節點表示 Master,後續的節點可以監聽前一個節點的删除事件,用于觸發重新選舉。如下圖所示:
微服務架構 | 3.3 Apache Zookeeper 注冊中心

  • Zookeeper 的依賴如下:
<dependency>
  <groupId>org.springframework.cloud</groupId>
  <artifactId>spring-cloud-starter-zookeeper-discovery</artifactId>
</dependency>
           
  • 如果我們直接添加這個依賴可能會出現以下問題,出現以下日志資訊是說明出現 Zookeeper 版本沖突問題:
微服務架構 | 3.3 Apache Zookeeper 注冊中心
  • 原因是:上述依賴自帶 3.5.3beta 的版本,與本地的下載下傳的 zookeeper 版本對應不上;
  • 可以通過修改 pom.xml 檔案解決;
  • 修改後的示例請見本篇《2.1 引入 pom.xml 依賴》;

本篇或《12.1 使用 Apache Dubbo 實作遠端通信》裡的《5. Dubbo 使用 Zookeeper 作為注冊中心》建構了如下示例;
微服務架構 | 3.3 Apache Zookeeper 注冊中心
  • 當 Dubbo 服務啟動時:
    • 在 Zookeeper 伺服器上的

      /dubbo/com.dlhjw.dubbo.service.impl.TestServiceImpl/providers

      目錄下建立目前服務的 URL;
    • com.dlhjw.dubbo.service.impl.TestServiceImpl

      表示釋出服務的接口全路徑名稱;
    • providers

      表示服務提供者的類型;
    • dubbo://ip:port

      表示該服務釋出的協定類型及通路位址;
    • URL 是臨時節點,其他皆為持久化節點;
  • 當 Dubbo 服務消費者啟動時:
    • /dubbo/com.dlhjw.dubbo.service.impl.TestServiceImpl/providers

      目錄下子節點注冊 Watcher 監聽;
    • 服務消費者會在

      /dubbo/com.dlhjw.dubbo.service.impl.TestServiceImpl/consumers

      目錄下寫入自己的 URL;
    • 服務消費者如果需要調用 TestServiceImpl 服務,它會先去

      /dubbo/com.dlhjw.dubbo.service.impl.TestServiceImpl/providers

      路徑下獲得所有該服務的提供方 URL 清單,然後通過負載均衡算法計算出一個位址進遠端通路;

  • 用戶端(在這裡展現不出來)調用服務消費者的

    http://consumer/zk

    接口,請求消費者的資源;
  • 接着服務消費者通過負載均衡算法調用

    http://zkcloud-provider/provider/zk

    接口,請求服務提供者的資源;

基于 Win10 下的 Zookeeper 伺服器安裝;

  • 通路連接配接:https://zookeeper.apache.org/releases.html;
    微服務架構 | 3.3 Apache Zookeeper 注冊中心
  • 下載下傳解壓後:
微服務架構 | 3.3 Apache Zookeeper 注冊中心

  • apache-zookeeper-3.7.0-bin\apache-zookeeper-3.7.0-bin\conf

    目錄下,備份一份 zoo_sample.cfg 配置檔案;
微服務架構 | 3.3 Apache Zookeeper 注冊中心
  • tickTime:Zookeeper 伺服器之間或用戶端與伺服器之間維持心跳的時間間隔,也就是每隔 tickTime 時間就會發送一個心跳;
  • dataDir:Zookeeper 儲存資料的目錄,預設情況下,Zookeeper 将寫資料的日志檔案也儲存在這個目錄裡;
  • dataLogDir:Zookeeper 儲存日志檔案的目錄;
  • clientPort:用戶端連接配接 Zookeeper 伺服器的端口,Zookeeper 會監聽這個端口,接受用戶端的通路請求;
  • 注意:檢視 bin 目錄下的 zkEvn.cmd 裡的 JAVA_HOME 名字對不對;

  • 到 bin 目錄下:
    • 輕按兩下 zkServer.cmd,會啟動一個 java 程序,即服務端;
    • 輕按兩下 zkCli.cmd,會啟動一個用戶端 ;
微服務架構 | 3.3 Apache Zookeeper 注冊中心

使用 Zookeeper 建構服務提供者大緻與 Nacos 和 Consul 相同; Nacos 與 Consul 的建構方式詳情請見《3.2 Alibaba Nacos 注冊中心》與《3.4 HashiCorp Consul 注冊中心》;

<!-- SpringBoot整合zookeeper用戶端 -->
<dependency>
  <groupId>org.springframework.cloud</groupId>
  <artifactId>spring-cloud-starter-zookeeper-discovery</artifactId>
  <!--先排除自帶的zookeeper-->
  <exclusions>
    <exclusion>
      <groupId>org.apache.zookeeper</groupId>
      <artifactId>zookeeper</artifactId>
    </exclusion>
  </exclusions>
</dependency>
<!--添加zookeeper3.4.9版本,這裡可根據自己本地的下載下傳的 zookeeper 版本進行配置-->
<dependency>
  <groupId>org.apache.zookeeper</groupId>
  <artifactId>zookeeper</artifactId>
  <version>3.4.9</version>
</dependency>
           
  • Spring 管理的依賴自帶 3.5.3beta 版本,與本地的下載下傳的 zookeeper 版本對應不上,可以通過修改 pom 檔案解決;

#8004表示注冊到zookeeper伺服器的支付服務提供者端口号
server:
  port: 8004
#服務别名----注冊zookeeper到注冊中心名稱
spring:
  application:
    name: zkcloud-provider
  cloud:
    zookeeper:
      connect-string: 192.168.111.144:2181
           

  • @EnableDiscoveryClient:使用其他元件(Nacos、zookeeper、Consul)作為注冊中心;

這裡編寫一個簡單接口僅作為示例;
@RestController
public class providerController{
    @Value("${server.port}")
    private String serverPort;

    @RequestMapping(value = "/provider/zk")
    public String providerzk(){
        return "springcloud with zookeeper: "+serverPort+"\t"+ UUID.randomUUID().toString();
    }
}
           

使用 Zookeeper 建構服務消費者大緻與 Nacos 和 Consul 相同; Nacos 與 Consul 的建構方式詳情請見《3.2 Alibaba Nacos 注冊中心》與《3.4 HashiCorp Consul 注冊中心》;

同服務提供者端的依賴;
<!-- SpringBoot整合zookeeper用戶端 -->
<dependency>
  <groupId>org.springframework.cloud</groupId>
  <artifactId>spring-cloud-starter-zookeeper-discovery</artifactId>
  <!--先排除自帶的zookeeper-->
  <exclusions>
    <exclusion>
      <groupId>org.apache.zookeeper</groupId>
      <artifactId>zookeeper</artifactId>
    </exclusion>
  </exclusions>
</dependency>
<!--添加zookeeper3.4.9版本-->
<dependency>
  <groupId>org.apache.zookeeper</groupId>
  <artifactId>zookeeper</artifactId>
  <version>3.4.9</version>
</dependency>
           

server:
  port: 80
spring:
  application:
    name: zkcloud-consumer
  cloud:
  #注冊到zookeeper位址
    zookeeper:
      connect-string: 192.168.111.144:2181
           

  • 由于我們使用 Ribbon + RestTemplate 的負載均衡政策,是以需要在 IoC 容器中添加一個 RestTemplate JavaBean;
  • 詳情請見《4.1 基于 Ribbon 的負載均衡詳解》;
  • 該 Bean 可以在主啟動類中添加;也可以在主啟動類所在包或子包的 config 包中添加,如下:
@Configuration
public class ApplicationContextBean{
    @Bean
    @LoadBalanced
    public RestTemplate getRestTemplate(){
        return new RestTemplate();
    }
}
           
  • 我們在 controller 層開放接口給用戶端,并在該接口裡調用提供者的 API;
@RestController
public class ComsumerZKController{
    public static final String INVOKE_URL = "http://zkcloud-provider";

    @Autowired
    private RestTemplate restTemplate;

    @RequestMapping(value = "/consumer/zk")
    public String paymentInfo(){
        String result = restTemplate.getForObject(INVOKE_URL+"/provider/zk", String.class);
        System.out.println("消費者調用提供者擷取服務--->result:" + result);
        return result;
    }
}
           

  • 詳情請見:本系列另外一篇文章《12.1 使用 Apache Dubbo 實作遠端通信》裡的《5. Dubbo 使用 Zookeeper 作為注冊中心》;

新人制作,如有錯誤,歡迎指出,感激不盡!

歡迎關注公衆号,會分享一些更日常的東西!

如需轉載,請标注出處!

微服務架構 | 3.3 Apache Zookeeper 注冊中心