可運維：雲原生時代 RocketMQ 運維管控的利器 - RocketMQ Operator：

作者 | 劉睿、杜恒

PC端登入

start.aliyun.com

即在浏覽器中體驗RocketMQ線上可互動教程

導讀：RocketMQ Operator 現已加入 OperatorHub，正式進入 Operator 社群。本文将從實踐出發，結合案例來說明，如何通過 RocketMQ Operator 在 Kubernetes 上快速搭建一個 RocketMQ 叢集，并提供一些 RocketMQ 叢集管理功能包括 Broker 擴容等。

本文主要分為三個部分：

首先簡單介紹一下 RocketMQ Operator 的相關知識；然後結合案例詳細介紹 RocketMQ Operator 提供的自定義資源及使用方法；最後介紹 Operator 社群目前的情況并展望 RocketMQ Operator 下一步的發展方向。

相關背景知識

1. RocketMQ

2012~2013 年期間，阿裡巴巴中間件團隊自主研發并對外開源了第三代分布式消息引擎 RocketMQ，其高性能、低延遲、抗堆積的特性穩定支撐了阿裡巴巴 雙11 萬億級資料洪峰業務，其雲産品 Aliware MQ 在微服務、流計算、IoT、異步解耦、資料同步等無數工況場景大放異彩。

2016 年，阿裡巴巴向 Apache 軟體基金會捐贈了 RocketMQ。次年，RocketMQ 順利從基金會畢業，成為 Apache 頂級開源項目，與 Apache Hadoop，Apache Spark 一起為全球分布式、大資料領域的開發者帶來福音。然而，在雲原生時代的今天，RocketMQ 作為有狀态的分布式服務系統，如何在大規模叢集上做到極簡運維，則是一個極具挑戰和價值的問題。

RocketMQ 支援多種部署方式，以基本的雙主雙從架構為例，如下圖所示。

RocketMQ 雙主雙從架構

這裡面包括了一共 7 個 RocketMQ 服務執行個體：3 個 name server 執行個體，2 個 master broker 執行個體，以及 2 個 slave broker 執行個體。

傳統的部署方式需要手動或編寫腳本在每個節點上進行環境和檔案配置。此外，随着使用者業務的增加，存在對叢集進行無縫擴容等需求。傳統方式是運維人員通路不同節點，依賴操作手冊和腳本按步驟進行操作來完成，耗費人力，且存在誤操作的可能。一些公司可能會使用一些平台和工具如 Ansible 來幫助自動化運維，此外越來越多的公司開始內建和使用基于 Kubernetes 的雲原生生态。

使用 Kubernetes 提供的 Deployment 和 StatefulSet 等原生資源可以很好地解決無狀态應用的管理問題，但對于資料庫和 RocketMQ 這類有狀态應用，則存在很多局限性。例如對 RocketMQ 來說擴容不僅僅是拉起新的執行個體 Pod 就完成了，還需要同步複制 Broker 的狀态資訊包括 Topic 資訊和訂閱關系這些中繼資料，同時要正确配置新 Broker 的 config 參數，包括 brokerName 和 NameServer IP List 等，才能使得新擴容的 Broker 可用，而這些僅僅靠使用者編寫 StatefulSet，修改 size 或 replicas 然後 apply 是無法做到的。

實際上 Kubernetes 開發人員也發現了這些問題，是以引入了自定義資源和控制器的概念，讓開發人員可以直接用 Go 語言調用 Kubernetes API，編寫自定義資源和對應的控制器邏輯來解決複雜有狀态應用的管理問題，提供特定應用相關的自定義資源的這類代碼元件稱之為 Operator。由具備 RocketMQ 領域知識的專家編寫 Operator，屏蔽了應用領域的專業知識，讓使用者隻需要關心和定義希望達到的叢集終态，這也是 Kubernetes 聲明式 API 的設計哲學。

2. Kubernetes Operator

Operator 是在 Kubernetes 基礎上通過擴充 Kubernetes API，用來建立、配置和管理複雜的有狀态應用，如分布式資料庫等。Operator 基于 Kubernetes 1.7 版本以來引入的自定義控制器的概念，在自定義資源和控制器之上建構，同時又包含了應用程式特定的領域知識。實作一個 Operator 的關鍵是 CRD（自定義資源）和 Controller（控制器）的設計。

Operator 站在 Kubernetes 内部視角，為應用的雲原生化打開了新世界的大門。自定義資源可以讓開發人員擴充添加新功能，更新現有的功能，并且可以自動執行一些管理任務，這些自定義的控制器就像 Kubernetes 原生的元件一樣，Operator 可以直接使用 Kubernetes API 進行開發，也就是說他們可以根據這些控制器編寫的自定義規則來建立和更改 Pods / Services、對正在運作的應用進行擴縮容。

快速開始

本文使用 RocketMQ Operator 0.2.1 版本，展示如何使用 RocketMQ Operator 在 Kubernetes 上快速建立部署一個 RocketMQ 服務叢集。

• 準備好 K8s 環境，可以使用 docker desktop 自帶的 K8s，或者 minikube；
• 克隆 rocketmq-operator 倉庫到你的 K8s 節點上；

$ git clone rocketmq-operator

https://github.com/apache/rocketmq-operator.git$cd

• 運作腳本安裝 RocketMQ Operator；

$ ./install-operator.sh

• 檢查下 RocketMQ Operator 是否安裝成功

$ kubectl get podsNAME READY STATUS RESTARTS AGErocketmq-operator-564b5d75d-jllzk 1/1 Running 0108s

成功安裝時，rocketmq-operator pod 處于類似上面例子的 running 狀态。

• 應用 Broker 和 NameService 自定義資源，建立 RocketMQ 叢集；

應用 rocketmq-operator / example 中的 rocketmq_v1alpha1_rocketmq_cluster.yaml 檔案，快速部署一個 RocketMQ 叢集。rocketmq_v1alpha1_rocketmq_cluster.yaml 檔案内容如下：

apiVersion: rocketmq.apache.org/v1alpha1kind: Brokermetadata: # name of broker cluster name: brokerspec: # size is the number of the broker cluster, each broker cluster contains a master broker and [replicaPerGroup] replica brokers. size: 1 # nameServers is the [ip:port] list of name service nameServers: "" # replicationMode is the broker replica sync mode, can be ASYNC or SYNC replicationMode: ASYNC # replicaPerGroup is the number of each broker cluster replicaPerGroup: 1 # brokerImage is the customized docker image repo of the RocketMQ broker brokerImage: apacherocketmq/rocketmq-broker:4.5.0-alpine # imagePullPolicy is the image pull policy imagePullPolicy: Always # resources describes the compute resource requirements and limits resources: requests: memory: "2048Mi" cpu: "250m" limits: memory: "12288Mi" cpu: "500m" # allowRestart defines whether allow pod restart allowRestart: true # storageMode can be EmptyDir, HostPath, StorageClass storageMode: EmptyDir # hostPath is the local path to store data hostPath: /data/rocketmq/broker # scalePodName is broker-[broker group number]-master-0 scalePodName: broker-0-master-0 # volumeClaimTemplates defines the storageClass volumeClaimTemplates: - metadata: name: broker-storage spec: accessModes: - ReadWriteOnce storageClassName: rocketmq-storage resources: requests: storage: 8Gi---apiVersion: rocketmq.apache.org/v1alpha1kind: NameServicemetadata: name: name-servicespec: # size is the the name service instance number of the name service cluster size: 1 # nameServiceImage is the customized docker image repo of the RocketMQ name service nameServiceImage: apacherocketmq/rocketmq-nameserver:4.5.0-alpine # imagePullPolicy is the image pull policy imagePullPolicy: Always # hostNetwork can be trueorfalse hostNetwork: true # Set DNS policy for the pod. # Defaults to"ClusterFirst". # Valid values are 'ClusterFirstWithHostNet', 'ClusterFirst', 'Default'or'None'. # DNS parameters given in DNSConfig will be merged with the policy selected with DNSPolicy. # To have DNS options set along with hostNetwork, you have to specify DNS policy # explicitly to'ClusterFirstWithHostNet'. dnsPolicy: ClusterFirstWithHostNet # resources describes the compute resource requirements and limits resources: requests: memory: "512Mi" cpu: "250m" limits: memory: "1024Mi" cpu: "500m" # storageMode can be EmptyDir, HostPath, StorageClass storageMode: EmptyDir # hostPath is the local path to store data hostPath: /data/rocketmq/nameserver # volumeClaimTemplates defines the storageClass volumeClaimTemplates: - metadata: name: namesrv-storage spec: accessModes: - ReadWriteOnce storageClassName: rocketmq-storage resources: requests: storage: 1Gi

注意到這個例子中 storageMode: EmptyDir，表示存儲使用的是 EmptyDir，資料會随着 Pod 的删除而抹去，是以該方式僅供開發測試時使用。一般使用 HostPath 或 StorageClass 來對資料進行持久化存儲。使用 HostPath 時，需要配置 hostPath，聲明主控端上挂載的目錄。使用 storageClass 時，需要配置 volumeClaimTemplates，聲明 PVC 模版。具體可參考 RocketMQ Operator 文檔。

應用上面的 yaml 檔案，輸入指令：

$ kubectl apply -f example/rocketmq_v1alpha1_rocketmq_cluster.yamlbroker.rocketmq.apache.org/broker creatednameservice.rocketmq.apache.org/name-service created

檢視叢集 Pod 狀态：

$ kubectl get pods -owideNAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATESbroker-0-master-01/1 Running 027s 10.1.2.27 docker-desktop <none> <none>broker-0-replica-1-01/1 Running 027s 10.1.2.28 docker-desktop <none> <none>name-service-01/1 Running 027s 192.168.65.3 docker-desktop <none> <none>rocketmq-operator-76b4b9f4db-x52mz 1/1 Running 03h25m 10.1.2.17 docker-desktop <none> <none>

使用預設的 rocketmq_v1alpha1_rocketmq_cluster.yaml 檔案配置，我們看到叢集中拉起了 1 個 name server 服務（name-service-0）和 2 個 broker 服務（1 主 1 從）。

好啦！到這裡你已經成功通過 Operator 提供的自定義資源部署了一個 RocketMQ 服務叢集。

• 通路這個 RocketMQ 叢集中的 Pod 來驗證叢集是否能正常工作；

使用 RocketMQ 的 tools.sh 腳本運作 Producer example：

$ kubectl exec -it broker-0-master-0 bashbash-4.4# sh ./tools.sh org.apache.rocketmq.example.quickstart.ProducerOpenJDK 64-Bit Server VM warning: ignoring option PermSize=128m; support was removed in 8.0OpenJDK 64-Bit Server VM warning: ignoring option MaxPermSize=128m; support was removed in 8.006:56:29.145 [main] DEBUG i.n.u.i.l.InternalLoggerFactory - Using SLF4J as the default logging frameworkSendResult [sendStatus=SEND_OK, msgId=0A0102CF007778308DB1206383920000, offsetMsgId=0A0102CF00002A9F0000000000000000, messageQueue=MessageQueue [topic=TopicTest, brokerName=broker-0, queueId=0], queueOffset=0]...06:56:51.120 [NettyClientSelector_1] INFO RocketmqRemoting - closeChannel: close the connection to remote address[10.1.2.207:10909] result: truebash-4.4#

在另一個節點上運作 Consumer example：

$ kubectl exec -it name-service-0 bashbash-4.4# sh ./tools.sh org.apache.rocketmq.example.quickstart.ConsumerOpenJDK 64-Bit Server VM warning: ignoring option PermSize=128m; support was removed in 8.0OpenJDK 64-Bit Server VM warning: ignoring option MaxPermSize=128m; support was removed in 8.007:01:32.077 [main] DEBUG i.n.u.i.l.InternalLoggerFactory - Using SLF4J as the default logging frameworkConsumer Started.ConsumeMessageThread_1 Receive New Messages: [MessageExt [queueId=0, storeSize=273, queueOffset=19845, sysFlag=0, bornTimestamp=1596768410268, bornHost=/30.4.165.204:53450, storeTimestamp=1596768410282, storeHost=/100.81.180.84:10911, msgId=6451B45400002A9F000014F96A0D6C65, commitLogOffset=23061458676837, bodyCRC=532471758, reconsumeTimes=0, preparedTransactionOffset=0, toString()=Message{topic='TopicTest', flag=0, properties={MIN_OFFSET=19844, TRACE_ON=true, eagleTraceId=1e04a5cc15967684102641001d0db0, MAX_OFFSET=19848, MSG_REGION=DefaultRegion, CONSUME_START_TIME=1596783715858, UNIQ_KEY=1E04A5CC0DB0135FBAA421365A5F0000, WAIT=true, TAGS=TagA, eagleRpcId=9.1}, body=[72, 101, 108, 108, 111, 32, 77, 101, 116, 97, 81, 32, 48], transactionId='null'}]] ConsumeMessageThread_4 Receive New Messages: [MessageExt [queueId=1, storeSize=273, queueOffset=19637, sysFlag=0, bornTimestamp=1596768410296, bornHost=/30.4.165.204:53450, storeTimestamp=1596768410298, storeHost=/100.81.180.84:10911, msgId=6451B45400002A9F000014F96A0D7141, commitLogOffset=23061458678081, bodyCRC=1757146968, reconsumeTimes=0, preparedTransactionOffset=0, toString()=Message{topic='TopicTest', flag=0, properties={MIN_OFFSET=19636, TRACE_ON=true, eagleTraceId=1e04a5cc15967684102961002d0db0, MAX_OFFSET=19638, MSG_REGION=DefaultRegion, CONSUME_START_TIME=1596783715858, UNIQ_KEY=1E04A5CC0DB0135FBAA421365AB80001, WAIT=true, TAGS=TagA, eagleRpcId=9.1}, body=[72, 101, 108, 108, 111, 32, 77, 101, 116, 97, 81, 32, 49], transactionId='null'}]]...

• 删除叢集，清理環境；

清除 RocketMQ 服務叢集執行個體：

$ kubectl delete -f example/rocketmq_v1alpha1_rocketmq_cluster.yamlaml

清除 RocketMQ Operator：

$ ./purge-operator.sh

按照 OperatorHub 官網指導安裝 RocketMQ Operator

在 OperatorHub.io 網頁搜尋 RocketMQ Operator；選擇 Streaming & Messaging 類别，點選 RocketMQ Operator：

進入 RocketMQ Operator 頁面，點選 Install 按鈕；

按照說明安裝 OLM 和 RocketMQ Operator；

本地安裝 OLM 來使用 RocketMQ Operator

• 本地安裝和動 OLM(Operator Lifecycle Manager) console；參考：OLM 安裝文檔。
• 本地啟動 UI 界面控制台；

$ makerun-console-local

• 通路 http://localhost:9000 檢視控制台；

OperatorHub

• 搜尋 RocketMQ 或點選 All Items 分類中的 Streaming & Messaging，找到 RocketMQ Operator 并進行安裝；
• 安裝完 RocketMQ Operator 後可以在 Installed Operators 中找到 RocketMQ Operator；

已安裝的 Operators 界面

RocketMQ Operator 介紹界面

通過 UI 界面建立 NameService 自定義資源

可以在 UI 中建立指定 Namespace 下的 NameService 和 Broker 執行個體，并對已建立的執行個體進行浏覽和管理。我們也可以通過指令檢視目前 K8s 叢集中的 Pod 狀态，例如：

$ kubectl get pods -ANAMESPACE NAME READY STATUS RESTARTS AGEdocker compose-78f95d4f8c-8fr5z 1/1 Running 032hdocker compose-api-6ffb89dc58-nv9rh 1/1 Running 032hkube-system coredns-5644d7b6d9-hv6r5 1/1 Running 032hkube-system coredns-5644d7b6d9-mkqb6 1/1 Running 032hkube-system etcd-docker-desktop 1/1 Running 032hkube-system kube-apiserver-docker-desktop 1/1 Running 032hkube-system kube-controller-manager-docker-desktop 1/1 Running 132hkube-system kube-proxy-snmxh 1/1 Running 032hkube-system kube-scheduler-docker-desktop 1/1 Running 132hkube-system storage-provisioner 1/1 Running 132hkube-system vpnkit-controller 1/1 Running 032hmarketplace broker-0-master-01/1 Running 05h3mmarketplace broker-0-replica-1-01/1 Running 05h3mmarketplace name-service-01/1 Running 05h3mmarketplace marketplace-operator-69756457d8-42chk 1/1 Running 032hmarketplace rocketmq-operator-0.2.1-c9fffb5f-cztcl 1/1 Running 032hmarketplace rocketmq-operator-84c7bb4ddc-7rvqr 1/1 Running 032hmarketplace upstream-community-operators-5b79db455f-7t47w 1/1 Running 132holm catalog-operator-7b788c597d-gjz55 1/1 Running 032holm olm-operator-946bd977f-dhszg 1/1 Running 032holm operatorhubio-catalog-fvxp9 1/1 Running 032holm packageserver-789c7b448b-7ss7m 1/1 Running 032holm packageserver-789c7b448b-lfxrw 1/1 Running 032h

可以看到在 marketplace 這個 namespace 中也成功建立了對應的 name server 和 broker 執行個體。

以上是基于 OperatorHub 和 OLM 安裝使用 RocketMQ Operator 的案例，我們将持續推送和維護新版本的 RocketMQ Operator 至該平台，友善使用者擷取最新更新或選擇合适的 Operator 版本。

發表