天天看點
傳回

Elastic Cloud Kubernetes（ECK）安裝Elasticsearch、Kibana實戰教程Elastic Cloud Kubernetes

Elastic Cloud Kubernetes

（ECK）是Elastic官方推出的，基于k8s operator的插件，其擴充了k8s的基礎編排功能，可以輕松地在k8s中安裝、管理 Elasticsearch, Kibana 和 APM叢集。

借助ECK，我們可以簡化以下關鍵操作：

  1. 管理和監控多個叢集
  2. 擴大或縮小叢集規模
  3. 改變叢集配置
  4. 計劃備份
  5. 使用TLS證書保護叢集安全
  6. 建立具有可用區域意識的hot-warm-cold架構

支援的版本

  • kubectl 1.11+
  • Kubernetes 1.12+ or OpenShift 3.11+
  • Google Kubernetes Engine (GKE), Azure Kubernetes Service (AKS), and Amazon Elastic Kubernetes Service (EKS)
  • Elasticsearch, Kibana, APM Server: 6.8+, 7.1+
  • Enterprise Search: 7.7+
  • Beats: 7.0+

在Kubernetes叢集中部署ECK

本文以原生的Kubernetes叢集為例，GKE、Amazon EKS上的流程也很類似。

  1. 安裝custom resource definitions和operator及其RBAC規則 
kubectl apply -f https://download.elastic.co/downloads/eck/1.2.1/all-in-one.yaml
  1. 監控operator的日志 
kubectl -n elastic-system logs -f statefulset.apps/elastic-operator

在私有的k8s叢集中，可能無法通路公網，可以先将yaml檔案下載下傳至本地，并修改operator鏡像的位址。all-in-one.yaml是多個yaml檔案的集合，找到statefulset.yaml，并修改其中的image為私有倉庫中鏡像位址，修改--container-registry為私有倉庫位址。

# Source: eck/templates/statefulset.yaml
apiVersion: apps/v1
kind: StatefulSet
metadata:
  name: elastic-operator
  namespace: elastic-system
  labels:
    control-plane: elastic-operator
spec:
  selector:
    matchLabels:
      control-plane: elastic-operator
  serviceName: elastic-operator
  template:
    metadata:
      annotations:
        # Rename the fields "error" to "error.message" and "source" to "event.source"
        # This is to avoid a conflict with the ECS "error" and "source" documents.
        "co.elastic.logs/raw": "[{\"type\":\"container\",\"json.keys_under_root\":true,\"paths\":[\"/var/log/containers/*${data.kubernetes.container.id}.log\"],\"processors\":[{\"convert\":{\"mode\":\"rename\",\"ignore_missing\":true,\"fields\":[{\"from\":\"error\",\"to\":\"_error\"}]}},{\"convert\":{\"mode\":\"rename\",\"ignore_missing\":true,\"fields\":[{\"from\":\"_error\",\"to\":\"error.message\"}]}},{\"convert\":{\"mode\":\"rename\",\"ignore_missing\":true,\"fields\":[{\"from\":\"source\",\"to\":\"_source\"}]}},{\"convert\":{\"mode\":\"rename\",\"ignore_missing\":true,\"fields\":[{\"from\":\"_source\",\"to\":\"event.source\"}]}}]}]"
      labels:
        control-plane: elastic-operator
    spec:
      terminationGracePeriodSeconds: 10
      serviceAccountName: elastic-operator
      containers:
      - image: "your.com/eck-operator:1.2.1"
        imagePullPolicy: IfNotPresent
        name: manager
        args:
          - "manager"
          - "--log-verbosity=0"
          - "--metrics-port=0"
          - "--container-registry=your.com"
          - "--max-concurrent-reconciles=3"
          - "--ca-cert-validity=8760h"
          - "--ca-cert-rotate-before=24h"
          - "--cert-validity=8760h"
          - "--cert-rotate-before=24h"
          - "--enable-webhook"
        env:
          - name: OPERATOR_NAMESPACE
            valueFrom:
              fieldRef:
                fieldPath: metadata.namespace
          - name: OPERATOR_IMAGE
            value: "harbor.dcos.xixian.unicom.local/mtc/eck-operator:1.2.1"
          - name: WEBHOOK_SECRET
            value: "elastic-webhook-server-cert"
        resources:
            limits:
              cpu: 1
              memory: 512Mi
            requests:
              cpu: 100m
              memory: 150Mi
        ports:
        - containerPort: 9443
          name: https-webhook
          protocol: TCP
        volumeMounts:
          - mountPath: /tmp/k8s-webhook-server/serving-certs
            name: cert
            readOnly: true
      volumes:
        - name: cert
          secret:
            defaultMode: 420
            secretName: "elastic-webhook-server-cert"
---

如在安裝all-in-one.yaml中出現錯誤，可以将其中的yaml檔案拆分出來單獨安裝，以此來排除錯誤

ECK安裝成功後，會在k8s中建立一個名為elastic-system的命名空間，在該空間中存在一個eck-operator Pod，該Pod會在背景監控叢集的狀态，并依據使用者的指令作出相應的反應。

部署ELasticsearch叢集

為了貼近實際應用，這裡我們部署一個3個主節點，使用網絡塊存儲的ES叢集。

建立PV

以ceph存儲為例，建立3塊容量500G的PV

apiVersion: v1
kind: PersistentVolume
metadata:
   name: pv-es-data-00  ##pv名稱
spec:
   capacity:
     storage: 500Gi ## pv大小，與雲硬碟大小一緻即可
   accessModes:
     - ReadWriteOnce ## pv讀寫類型，填寫雲硬碟支援的類型
   mountOptions:
     - rw ##挂載類型有隻讀（ro）,讀寫{rw}，挂載類型和accessModes要對應起來
   persistentVolumeReclaimPolicy: Retain ##建議選擇Retain模式
   csi:
       driver: ckecsi ##固定不變
       volumeHandle: welkinbig.es-00-608521303445 ##與cbs執行個體清單接口instanceId字段對應
       fsType: xfs ##挂載檔案系統類型xfs,ext4等
       volumeAttributes:
          monitors: 10.172.xx.xx:6789,10.172.xx.xx:6789,10.172.xx.xx:6789
          pool: welkinbig 
          imageFormat: "2" ##固定不變
          imageFeatures: "layering" ##固定不變
          adminId: admin ##固定不變
          userId: '60852xxxxxxx' ##賬戶ID
          volName: es-00-608521303445 ##雲硬碟執行個體清單接口imageName字段
          mounter: rbd
          608521xxxxxx: AQDcz0xf7s2SBhAAqGxxxxxxxxxxxxxxxxxx
          admin: AQB4kjxfPP1HLxAAXfixxxxxxxxxxxxxxxxxx
       controllerPublishSecretRef:
        name: xx-secret   ##秘鑰名稱
        namespace: default 
       nodeStageSecretRef:
        name: xx-secret
        namespace: default
       nodePublishSecretRef:
        name: xx-secret
        namespace: default

部署ES叢集

在kubectl中執行以下yaml檔案。

version字段指定了要安裝的es版本，image标簽指定es鏡像的私有倉庫位址，count為3，表示有3個節點。

node.master: true代表建立的節點為主節點。

node.data: true代表建立的節點為資料節點，可以用于存儲資料。

apiVersion: elasticsearch.k8s.elastic.co/v1
kind: Elasticsearch
metadata:
  name: es-cluster
spec:
  version: 7.9.0
  image: your.com/elasticsearch:7.9.0-ik-7.9.0
  nodeSets:
  - name: master-nodes
    count: 3
    config:
      node.master: true
      node.data: true
    volumeClaimTemplates:
    - metadata:
        name: elasticsearch-data
      spec:
        accessModes:
        - ReadWriteOnce
        resources:
          requests:
            storage: 500Gi
    podTemplate:
      spec:
        initContainers:
        - name: sysctl
          securityContext:
            privileged: true
          command: ['sh', '-c', 'sysctl -w vm.max_map_count=262144']
        containers:
        - name: elasticsearch
          env:
          - name: ES_JAVA_OPTS
            value: -Xms4g -Xmx4g
          resources:
            requests:
              cpu: 4
              memory: 8Gi
            limits:
              cpu: 4
              memory: 8Gi

監控叢集的健康狀态和建立過程

擷取目前es叢集狀态資訊，包括健康狀态、版本和節點數量：

kubectl get elasticsearch           
NAME          HEALTH    NODES     VERSION   PHASE         AGE
quickstart    green     3         7.9.0     Ready         1m

當叢集剛建立時，HEALTH和PHASE應該為空，等待一定時間後，叢集建立完畢後，PHASE變為Ready，HEALTH變為green。

可以通過如下指令檢視Pod的狀态：

kubectl get pods --selector='elasticsearch.k8s.elastic.co/cluster-name=es-cluster'           
NAME                      READY   STATUS    RESTARTS   AGE
es-cluster-es-default-0   1/1     Running   0          79s

檢視Pod的日志：

kubectl logs -f es-cluster-es-default-0

通路ES叢集

ECK會建立一個ClusterIP Service用于通路es叢集：

kubectl get service es-cluster-es-http           
NAME                 TYPE        CLUSTER-IP      EXTERNAL-IP   PORT(S)    AGE
es-cluster-es-http   ClusterIP   10.15.251.145   <none>        9200/TCP   34m
  1. 擷取通路憑證

ECK會自動建立一個預設使用者elastic，密碼存儲于k8s secret中：

kubectl get secret es-cluster-es-elastic-user -o go-template='{{.data.elastic | base64decode}}'
  1. 從叢集内部通路

指令中的password用步驟1中所獲password代替，-k表示忽略證書錯誤

curl -u "elastic:$PASSWORD" -k "https://es-cluster-es-http:9200"           
{
  "name" : "es-cluster-es-default-0",
  "cluster_name" : "es-cluster",
  "cluster_uuid" : "XqWg0xIiRmmEBg4NMhnYPg",
  "version" : {...},
  "tagline" : "You Know, for Search"
}

JVM堆設定

在podTemplate中設定ES_JAVA_OPTS環境變量，來改變es的JVM堆容量。同時，強烈建議将requests和limits設定為相同值，以確定pod在k8s叢集中擷取到足夠的資源。

podTemplate:
      spec:
        containers:
        - name: elasticsearch
          env:
          - name: ES_JAVA_OPTS
            value: -Xms2g -Xmx2g
          resources:
            requests:
              memory: 4Gi
              cpu: 0.5
            limits:
              memory: 4Gi
              cpu: 2

Node配置

任何定義在elasticsearch.yml配置檔案中的設定，都可以在spec.nodeSets[?].config中定義。

spec:
  nodeSets:
  - name: masters
    count: 3
    config:
      node.master: true
      node.data: false
      node.ingest: false
      node.ml: false
      xpack.ml.enabled: true
      node.remote_cluster_client: false
  - name: data
    count: 10
    config:
      node.master: false
      node.data: true
      node.ingest: true
      node.ml: true
      node.remote_cluster_client: false

卷聲明模闆

為防止pod被删除時丢失資料，OPerator預設會為叢集中每個pod建立一個容量為1Gi的PersistentVolumeClaim。在生産環境中，應該定義合适容量的volume claim template和storage class來關聯持久卷。劵聲明的名稱必須是elasticsearch-data。如k8s中沒有使用storage class來管理劵，可以不指定storage class。

取決于k8s配置和底層檔案系統，某些持久卷在建立之後不能改變卷的容量。當定義卷聲明時，考慮未來的存儲需求以確定有足夠的存儲空間來應對業務增長

spec:
  nodeSets:
  - name: default
    count: 3
    volumeClaimTemplates:
    - metadata:
        name: elasticsearch-data
      spec:
        accessModes:
        - ReadWriteOnce
        resources:
          requests:
            storage: 500Gi
        storageClassName: standard

虛拟記憶體

預設情況下，es使用記憶體映射（memory mapping, mmap）來高效地通路索引。通常，Linux系統的預設虛拟位址空間較少，不能滿足es的需求，可能導緻OOM異常。在生産環境中，建議設定Linux核心參數vm.max_map_count為262144，同時不設定node.store.allow_mmap。

上述核心設定可以在主機中直接修改，也可以通過初始容器來修改。可以使用如下樣例，添加一個可以在es pod啟動前修改核心參數的初始容器：

podTemplate:
      spec:
        initContainers:
        - name: sysctl
          securityContext:
            privileged: true
          command: ['sh', '-c', 'sysctl -w vm.max_map_count=262144']

定制配置檔案和插件

有兩種方式來自定義es的配置檔案和插件：

  1. 建立一個已經安裝好配置檔案和插件的es鏡像
  2. 在Pod啟動時安裝插件或配置檔案

第一個選項的優點是，可以在ECK安裝鏡像之前驗證其正确性，而第二個選項有最大的靈活性。但是第二個選項意味着隻能在運作期間才能發現配置檔案的錯誤，同時需要通過公網下載下傳插件。

對于私有叢集，可能在叢集内無法通路公網，是以建議通過打包鏡像的方式來安裝插件。下面這個例子介紹如何定制安裝插件的鏡像。

  1. 建立一個包含如下内容的Dockerfile 
FROM elasticsearch:7.9.0
COPY ./elasticsearch-analysis-ik-7.9.0.zip /home/
RUN sh -c '/bin/echo -e "y" | bin/elasticsearch-plugin install  file:/home/elasticsearch-analysis-ik-7.9.0.zip'
  1. 建立鏡像 
docker build --tag elasticsearch-ik:7.9.0

上述案例以安裝中文分詞器IK為例，其他插件可修改Dockerfile。

下面的案例介紹了如何為es中的synonym token filter添加同義詞檔案。當然，也可以使用同樣的方式來将任何檔案挂載到es的配置檔案目錄。

spec:
  nodeSets:
  - name: default
    count: 3
    podTemplate:
      spec:
        containers:
        - name: elasticsearch 
          volumeMounts:
          - name: synonyms
            mountPath: /usr/share/elasticsearch/config/dictionaries
        volumes:
        - name: synonyms
          configMap:
            name: synonyms

在上述代碼中，需要事先在同一個命名空間中建立包含配置檔案的config map。

部署Kibana

連接配接一個由ECK管理的es叢集非常簡單：

建立kibana執行個體并關聯es叢集 

apiVersion: kibana.k8s.elastic.co/v1
kind: Kibana
metadata:
  name: kibana
spec:
  version: 7.9.0
  image: your.com/kibana:7.9.0
  count: 1
  elasticsearchRef:
    name: es-cluster
    namespace: default

namespace是可選參數，如果es叢集和kibana運作在同一個namespace中。

Kibana配置檔案會被ECK自動建立，并會在es之間建立安全的連結。

監控kibana健康狀态和建立過程

同es類型，可以通過kubectl查詢kibana執行個體的細節：

kubectl get kibana

檢視同執行個體關聯的pod：

kubectl get pod --selector='kibana.k8s.elastic.co/name=kibana'

連接配接kibana

ECK會自動為kibana建立一個ClusterIP Service：

kubectl get service kibana-kb-http

kibana的使用者名和密碼同es叢集：

curl -u "elastic:$PASSWORD" -k "https://kibana-kb-http:5601"

總結

本文介紹了如何使用ECK在k8s叢集中安裝es、kibana，并給出了關鍵參數的設定方式，文中的例子貼近實際的生産環境，具有一定的參考價值。K8s已經成為容器編排事實上标準，由k8s接管資料庫的運維也将是一種趨勢，同管理普通應用程式不同，管理資料庫的難處在于如何持久化資料。k8s給出的解決方案有兩種，一種是hostpath方式，将資料持久化至節點所在主控端的硬碟上，另一種方式是使用網絡存儲，包括塊存儲或者檔案存儲，同方式一相比，方式二由于存在網絡傳輸的損耗，性能上會存在一定差距，但方式二将資料庫的應用和存儲相分離，資料庫可被排程至任意節點，這帶來了更大的靈活性，以及更高的資源使用率，借助于網絡存儲的特性，資料有着更高的安全性。

存儲 kubernetes 監控 安全 java 資料庫 資料安全/隐私保護 塊存儲 容器 perl kubernetes容器資料安全 kubernetes容器監控使用 Kubernetes教程 kubernetes監控資料 kubernetes容器大資料
上一篇: 【高并發】通過ThreadPoolExecutor類的源碼深度解析線程池執行任務的核心流程
下一篇: 【redis序列化】配置Jedis不需要序列化存入json 序列化Joda DateTime

繼續閱讀