天天看點
傳回

使用Operator的方式部署Prometheus

一、介紹

Operator是CoreOS公司開發，用于擴充kubernetes API或特定應用程式的控制器，它用來建立、配置、管理複雜的有狀态應用，例如資料庫，監控系統。其中Prometheus-Operator就是其中一個重要的項目。

其架構圖如下：

使用Operator的方式部署Prometheus

其中核心部分是Operator，它會去建立Prometheus、ServiceMonitor、AlertManager、PrometheusRule這4個CRD對象，然後會一直監控并維護這4個對象的狀态。

  • Prometheus：作為Prometheus Server的抽象
  • ServiceMonitor：就是exporter的各種抽象
  • AlertManager：作為Prometheus AlertManager的抽象
  • PrometheusRule：實作報警規則的檔案

上圖中的 Service 和 ServiceMonitor 都是 Kubernetes 的資源，一個 ServiceMonitor 可以通過 labelSelector 的方式去比對一類 Service，Prometheus 也可以通過 labelSelector 去比對多個ServiceMonitor。

二、安裝

注意叢集版本的坑，自己先到Github上下載下傳對應的版本。
使用Operator的方式部署Prometheus

我們使用源碼來安裝，首先克隆源碼到本地：

# git clone https://github.com/coreos/kube-prometheus.git
複制代碼

我們進入kube-prometheus/manifests/setup，就可以直接建立CRD對象：

# cd kube-prometheus/manifests/setup
# kubectl apply -f .
複制代碼

然後在上層目錄建立資源清單：

# cd kube-prometheus/manifests
# kubectl apply -f .
複制代碼

可以看到建立如下的CRD對象：

# kubectl get crd | grep coreos
alertmanagers.monitoring.coreos.com     2019-12-02T03:03:37Z
podmonitors.monitoring.coreos.com       2019-12-02T03:03:37Z
prometheuses.monitoring.coreos.com      2019-12-02T03:03:37Z
prometheusrules.monitoring.coreos.com   2019-12-02T03:03:37Z
servicemonitors.monitoring.coreos.com   2019-12-02T03:03:37Z
複制代碼

檢視建立的pod：

# kubectl get pod -n monitoring 
NAME                                  READY   STATUS    RESTARTS   AGE
alertmanager-main-0                   2/2     Running   0          2m37s
alertmanager-main-1                   2/2     Running   0          2m37s
alertmanager-main-2                   2/2     Running   0          2m37s
grafana-77978cbbdc-886cc              1/1     Running   0          2m46s
kube-state-metrics-7f6d7b46b4-vrs8t   3/3     Running   0          2m45s
node-exporter-5552n                   2/2     Running   0          2m45s
node-exporter-6snb7                   2/2     Running   0          2m45s
prometheus-adapter-68698bc948-6s5f2   1/1     Running   0          2m45s
prometheus-k8s-0                      3/3     Running   1          2m27s
prometheus-k8s-1                      3/3     Running   1          2m27s
prometheus-operator-6685db5c6-4tdhp   1/1     Running   0          2m52s
複制代碼

檢視建立的Service：

# kubectl get svc -n monitoring 
NAME                    TYPE        CLUSTER-IP      EXTERNAL-IP   PORT(S)                      AGE
alertmanager-main       ClusterIP   10.68.97.247    <none>        9093/TCP                     3m51s
alertmanager-operated   ClusterIP   None            <none>        9093/TCP,9094/TCP,9094/UDP   3m41s
grafana                 ClusterIP   10.68.234.173   <none>        3000/TCP                     3m50s
kube-state-metrics      ClusterIP   None            <none>        8443/TCP,9443/TCP            3m50s
node-exporter           ClusterIP   None            <none>        9100/TCP                     3m50s
prometheus-adapter      ClusterIP   10.68.109.201   <none>        443/TCP                      3m50s
prometheus-k8s          ClusterIP   10.68.9.232     <none>        9090/TCP                     3m50s
prometheus-operated     ClusterIP   None            <none>        9090/TCP                     3m31s
prometheus-operator     ClusterIP   None            <none>        8080/TCP                     3m57s
複制代碼

我們看到我們常用的prometheus和grafana都是clustorIP，我們要外部通路可以配置為NodePort類型或者用ingress。比如配置為ingress：prometheus-ingress.yaml

apiVersion: extensions/v1beta1
kind: Ingress
metadata:
  name: prometheus-ingress
  namespace: monitoring
  annotations:
    kubernetes.io/ingress.class: "traefik"
spec:
  rules:
  - host: prometheus.joker.com
    http:
      paths:
      - path:
        backend: 
          serviceName: prometheus-k8s 
          servicePort: 9090
複制代碼

grafana-ingress.yaml

apiVersion: extensions/v1beta1
kind: Ingress
metadata:
  name: grafana-ingress
  namespace: monitoring
  annotations:
    kubernetes.io/ingress.class: "traefik"
spec:
  rules:
  - host: grafana.joker.com
    http:
      paths:
      - path:
        backend: 
          serviceName: grafana
          servicePort: 3000

複制代碼

但是我們這裡由于沒有域名進行備案，我們就用NodePort類型。修改後如下：

# kubectl get svc -n monitoring 
NAME                    TYPE        CLUSTER-IP      EXTERNAL-IP   PORT(S)                      AGE
grafana                 NodePort    10.68.234.173   <none>        3000:39807/TCP               3h1m                    3h1m
prometheus-k8s          NodePort    10.68.9.232     <none>        9090:20547/TCP               3h1m
複制代碼

然後就可以正常在浏覽器通路了。

三、配置

3.1、監控叢集資源

我們可以看到大部分的配置都是正常的，隻有兩三個沒有管理到對應的監控目标，比如 kube-controller-manager 和 kube-scheduler 這兩個系統元件，這就和 ServiceMonitor 的定義有關系了，我們先來檢視下 kube-scheduler 元件對應的 ServiceMonitor 資源的定義：(prometheus-serviceMonitorKubeScheduler.yaml)

apiVersion: monitoring.coreos.com/v1
kind: ServiceMonitor
metadata:
  labels:
    k8s-app: kube-scheduler
  name: kube-scheduler
  namespace: monitoring
spec:
  endpoints:
  - interval: 30s # 每30s擷取一次資訊
    port: http-metrics  # 對應service的端口名
  jobLabel: k8s-app
  namespaceSelector: # 表示去比對某一命名空間中的service，如果想從所有的namespace中比對用any: true
    matchNames:
    - kube-system
  selector:  # 比對的 Service 的labels，如果使用mathLabels，則下面的所有标簽都比對時才會比對該service，如果使用matchExpressions，則至少比對一個标簽的service都會被選擇
    matchLabels:
      k8s-app: kube-scheduler
複制代碼

上面是一個典型的 ServiceMonitor 資源檔案的聲明方式，上面我們通過selector.matchLabels在 kube-system 這個命名空間下面比對具有k8s-app=kube-scheduler這樣的 Service，但是我們系統中根本就沒有對應的 Service，是以我們需要手動建立一個 Service：（prometheus-kubeSchedulerService.yaml）

apiVersion: v1
kind: Service
metadata:
  namespace: kube-system
  name: kube-scheduler
  labels:
    k8s-app: kube-scheduler
spec:
  selector:
    component: kube-scheduler
  ports:
  - name: http-metrics
    port: 10251
    targetPort: 10251
    protocol: TCP
複制代碼
10251是​

​kube-scheduler​

 ​元件 metrics 資料所在的端口，10252是​

​kube-controller-manager​

 ​元件的監控資料所在端口。

其中最重要的是上面 labels 和 selector 部分，labels 區域的配置必須和我們上面的 ServiceMonitor 對象中的 selector 保持一緻，selector下面配置的是component=kube-scheduler，為什麼會是這個 label 标簽呢，我們可以去 describe 下 kube-scheduelr 這個 Pod：

$ kubectl describe pod kube-scheduler-master -n kube-system
Name:         kube-scheduler-master
Namespace:    kube-system
Node:         master/10.151.30.57
Start Time:   Sun, 05 Aug 2018 18:13:32 +0800
Labels:       component=kube-scheduler
              tier=control-plane
......
複制代碼

我們可以看到這個 Pod 具有component=kube-scheduler和tier=control-plane這兩個标簽，而前面這個标簽具有更唯一的特性，是以使用前面這個标簽較好，這樣上面建立的 Service 就可以和我們的 Pod 進行關聯了，直接建立即可：

$ kubectl create -f prometheus-kubeSchedulerService.yaml
$ kubectl get svc -n kube-system -l k8s-app=kube-scheduler
NAME             TYPE        CLUSTER-IP       EXTERNAL-IP   PORT(S)     AGE
kube-scheduler   ClusterIP   10.102.119.231   <none>        10251/TCP   18m
複制代碼

建立完成後，隔一小會兒後去 prometheus 檢視 targets 下面 kube-scheduler 的狀态：

使用Operator的方式部署Prometheus

promethus kube-scheduler error我們可以看到現在已經發現了 target，但是抓取資料結果出錯了，這個錯誤是因為我們叢集是使用 kubeadm 搭建的，其中 kube-scheduler 預設是綁定在127.0.0.1上面的，而上面我們這個地方是想通過節點的 IP 去通路，是以通路被拒絕了，我們隻要把 kube-scheduler 綁定的位址更改成0.0.0.0即可滿足要求，由于 kube-scheduler 是以靜态 Pod 的形式運作在叢集中的，是以我們隻需要更改靜态 Pod 目錄下面對應的 YAML 檔案即可：

$ ls
etcd.yaml  kube-apiserver.yaml  kube-controller-manager.yaml  kube-scheduler.yaml
複制代碼

将 kube-scheduler.yaml 檔案中-command的--address位址更改成0.0.0.0：

containers:
- command:
- kube-scheduler
- --leader-elect=true
- --kubeconfig=/etc/kubernetes/scheduler.conf
- --address=0.0.0.0
複制代碼

修改完成後我們将該檔案從目前檔案夾中移除，隔一會兒再移回該目錄，就可以自動更新了，然後再去看 prometheus 中 kube-scheduler 這個 target 是否已經正常了：

使用Operator的方式部署Prometheus

promethues-operator-kube-scheduler大家可以按照上面的方法嘗試去修複下 kube-controller-manager 元件的監控。

3.2、監控叢集外資源

很多時候我們并不是把所有資源都部署在叢集内的，經常有比如ectd，kube-scheduler等都部署在叢集外。其監控流程和上面大緻一樣，唯一的差別就是在定義Service的時候，其EndPoints是需要我們自己去定義的。

3.2.1、監控kube-scheduler

（1）、定義Service和EndPointsprometheus-KubeSchedulerService.yaml

apiVersion: v1
kind: Service
metadata:
  name: kube-scheduler
  namespace: kube-system
  labels:
    k8s-app: kube-scheduler
spec: 
  type: ClusterIP
  clusterIP: None
  ports:
  - name: http-metrics
    port: 10251
    targetPort: 10251
    protocol: TCP
---
apiVersion: v1
kind: Endpoints
metadata:
  name: kube-scheduler
  namespace: kube-system
  labels:
    k8s-app: kube-scheduler
subsets:
- addresses:
  - ip: 172.16.0.33
  ports:
  - name: http-metrics
    port: 10251
    protocol: TCP
複制代碼

（2）、定義ServiceMonitorprometheus-serviceMonitorKubeScheduler.yaml

apiVersion: monitoring.coreos.com/v1
kind: ServiceMonitor
metadata:
  name: kube-scheduler
  namespace: monitoring
  labels:
    k8s-app: kube-scheduler
spec:
  endpoints:
  - interval: 30s
    port: http-metrics
  jobLabel: k8s-app
  namespaceSelector:
    matchNames:
    - kube-system
  selector:
    matchLabels:
      k8s-app: kube-scheduler
複制代碼

然後我們就可以看到其監控上了：

使用Operator的方式部署Prometheus

3.2.2、監控kube-controller-manager

（1）、配置Service和EndPoints，prometheus-KubeControllerManagerService.yaml

apiVersion: v1
kind: Service
metadata:
  name: kube-controller-manager
  namespace: kube-system
  labels:
    k8s-app: kube-controller-manager
spec:
  type: ClusterIP
  clusterIP: None
  ports:
  - name: http-metrics
    port: 10252
    targetPort: 10252
    protocol: TCP
---
apiVersion: v1
kind: Endpoints
metadata:
  name: kube-controller-manager
  namespace: kube-system
  labels:
    k8s-app: kube-controller-manager
subsets:
- addresses:
  - ip: 172.16.0.33
  ports:
  - name: http-metrics
    port: 10252
    protocol: TCP
複制代碼      
apiVersion: monitoring.coreos.com/v1
kind: ServiceMonitor
metadata:
  labels:
    k8s-app: kube-controller-manager
  name: kube-controller-manager
  namespace: monitoring
spec:
  endpoints:
  - interval: 30s
    metricRelabelings:
    - action: drop
      regex: etcd_(debugging|disk|request|server).*
      sourceLabels:
      - __name__
    port: http-metrics
  jobLabel: k8s-app
  namespaceSelector:
    matchNames:
    - kube-system
  selector:
    matchLabels:
      k8s-app: kube-controller-manager
複制代碼
7z 資料 git
上一篇: hive導資料到mysql 自增主鍵出錯_MySQL主鍵設計
下一篇: kettle使用指令行的方式執行多個job_ETL工具kettle定時任務

繼續閱讀