搭建Prometheus監控報警系統

目錄

什麼是Prometheus?

Prometheus的特點

架構圖

基本原理

服務過程

三大套件

本飛豬教程内容簡介

安裝準備

一.安裝Prometheus Server

二.安裝用戶端提供metrics接口

1.通過golang用戶端提供metrics

2.通過node exporter提供metrics

三.安裝pushgateway

四.安裝Grafana展示

五.安裝AlterManager

什麼是Prometheus?

Prometheus是由SoundCloud開發的開源監控報警系統和時序列資料庫(TSDB)。Prometheus使用Go語言開發，是Google BorgMon監控系統的開源版本。

2016年由Google發起Linux基金會旗下的原生雲基金會(Cloud Native Computing Foundation), 将Prometheus納入其下第二大開源項目。

Prometheus目前在開源社群相當活躍。

Prometheus和Heapster(Heapster是K8S的一個子項目，用于擷取叢集的性能資料。)相比功能更完善、更全面。Prometheus性能也足夠支撐上萬台規模的叢集。

Prometheus的特點

• 多元度資料模型。
• 靈活的查詢語言。
• 不依賴分布式存儲，單個伺服器節點是自主的。
• 通過基于HTTP的pull方式采集時序資料。
• 可以通過中間網關進行時序列資料推送。
• 通過服務發現或者靜态配置來發現目标服務對象。
• 支援多種多樣的圖表和界面展示，比如Grafana等。

官網位址：https://prometheus.io/

架構圖

基本原理

Prometheus的基本原理是通過HTTP協定周期性抓取被監控元件的狀态，任意元件隻要提供對應的HTTP接口就可以接入監控。不需要任何SDK或者其他的內建過程。這樣做非常适合做虛拟化環境監控系統，比如VM、Docker、Kubernetes等。輸出被監控元件資訊的HTTP接口被叫做exporter 。目前網際網路公司常用的元件大部分都有exporter可以直接使用，比如Varnish、Haproxy、Nginx、MySQL、Linux系統資訊(包括磁盤、記憶體、CPU、網絡等等)。

服務過程

• Prometheus Daemon負責定時去目标上抓取metrics(名額)資料，每個抓取目标需要暴露一個http服務的接口給它定時抓取。Prometheus支援通過配置檔案、文本檔案、Zookeeper、Consul、DNS SRV Lookup等方式指定抓取目标。Prometheus采用PULL的方式進行監控，即伺服器可以直接通過目标PULL資料或者間接地通過中間網關來Push資料。
• Prometheus在本地存儲抓取的所有資料，并通過一定規則進行清理和整理資料，并把得到的結果存儲到新的時間序列中。
• Prometheus通過PromQL和其他API可視化地展示收集的資料。Prometheus支援很多方式的圖表可視化，例如Grafana、自帶的Promdash以及自身提供的模版引擎等等。Prometheus還提供HTTP API的查詢方式，自定義所需要的輸出。
• PushGateway支援Client主動推送metrics到PushGateway，而Prometheus隻是定時去Gateway上抓取資料。
• Alertmanager是獨立于Prometheus的一個元件，可以支援Prometheus的查詢語句，提供十分靈活的報警方式。

三大套件

• Server 主要負責資料采集和存儲，提供PromQL查詢語言的支援。
• Alertmanager 警告管理器，用來進行報警。
• Push Gateway 支援臨時性Job主動推送名額的中間網關。

本飛豬教程内容簡介

• 1.示範安裝Prometheus Server
• 2.示範通過golang和node-exporter提供metrics接口
• 3.示範pushgateway的使用
• 4.示範grafana的使用
• 5.示範alertmanager的使用

安裝準備

這裡我的伺服器IP是10.211.55.25，登入，建立相應檔案夾

mkdir -p /home/chenqionghe/promethues
mkdir -p /home/chenqionghe/promethues/server
mkdir -p /home/chenqionghe/promethues/client
touch /home/chenqionghe/promethues/server/rules.yml
chmod 777 /home/chenqionghe/promethues/server/rules.yml
           

下面開始三大套件的學習

一.安裝Prometheus Server

通過docker方式

首先建立一個配置檔案/home/chenqionghe/test/prometheus/prometheus.yml

挂載之前需要改變檔案權限為777，要不會引起修改主控端上的檔案内容不同步的問題

global:
  scrape_interval:     15s # 預設抓取間隔, 15秒向目标抓取一次資料。
  external_labels:
    monitor: 'codelab-monitor'
# 這裡表示抓取對象的配置
scrape_configs:
    #這個配置是表示在這個配置内的時間序例，每一條都會自動添加上這個{job_name:"prometheus"}的标簽  - job_name: 'prometheus'
    scrape_interval: 5s # 重寫了全局抓取間隔時間，由15秒重寫成5秒
    static_configs:
      - targets: ['localhost:9090']
           

運作

docker rm -f prometheus
docker run --name=prometheus -d \
-p 9090:9090 \
-v /home/chenqionghe/promethues/server/prometheus.yml:/etc/prometheus/prometheus.yml \
-v /home/chenqionghe/promethues/server/rules.yml:/etc/prometheus/rules.yml \
prom/prometheus:v2.7.2 \
--config.file=/etc/prometheus/prometheus.yml \
--web.enable-lifecycle
           

啟動時加上--web.enable-lifecycle啟用遠端熱加載配置檔案

調用指令是curl -X POST http://localhost:9090/-/reload

通路http://10.211.55.25:9090

我們會看到如下l界面

通路http://10.211.55.25:9090/metrics

我們配置了9090端口，預設prometheus會抓取自己的/metrics接口

在Graph選項已經可以看到監控的資料

二.安裝用戶端提供metrics接口

1.通過golang用戶端提供metrics

mkdir -p /home/chenqionghe/promethues/client/golang/src
cd !$
export GOPATH=/home/chenqionghe/promethues/client/golang/
#克隆項目
git clone https://github.com/prometheus/client_golang.git
#安裝需要翻牆的第三方包
mkdir -p $GOPATH/src/golang.org/x/
cd !$
git clone https://github.com/golang/net.git
git clone https://github.com/golang/sys.git
git clone https://github.com/golang/tools.git
#安裝必要軟體包
go get -u -v github.com/prometheus/client_golang/prometheus
#編譯
cd $GOPATH/src/client_golang/examples/random
go build -o random main.go
           

運作3個示例metrics接口

./random -listen-address=:8080 &
./random -listen-address=:8081 &
./random -listen-address=:8082 &
           

2.通過node exporter提供metrics

docker run -d \
--name=node-exporter \
-p 9100:9100 \
prom/node-exporter
           

然後把這兩些接口再次配置到prometheus.yml, 重新載入配置curl -X POST http://localhost:9090/-/reload

global:
  scrape_interval:     15s # 預設抓取間隔, 15秒向目标抓取一次資料。
  external_labels:
    monitor: 'codelab-monitor'
rule_files:
  #- 'prometheus.rules'
# 這裡表示抓取對象的配置
scrape_configs:
  #這個配置是表示在這個配置内的時間序例，每一條都會自動添加上這個{job_name:"prometheus"}的标簽  - job_name: 'prometheus'
  - job_name: 'prometheus'
    scrape_interval: 5s # 重寫了全局抓取間隔時間，由15秒重寫成5秒
    static_configs:
      - targets: ['localhost:9090']
      - targets: ['http://10.211.55.25:8080', 'http://10.211.55.25:8081','http://10.211.55.25:8082']
        labels:
          group: 'client-golang'
      - targets: ['http://10.211.55.25:9100']
        labels:
          group: 'client-node-exporter'


           

可以看到接口都生效了

prometheus還提供了各種exporter工具，感興趣小夥伴可以去研究一下

三.安裝pushgateway

pushgateway是為了允許臨時作業和批處理作業向普羅米修斯公開他們的名額。

由于這類作業的存在時間可能不夠長, 無法抓取到, 是以它們可以将名額推送到推網關中。

Prometheus采集資料是用的pull也就是拉模型，這從我們剛才設定的5秒參數就能看出來。但是有些資料并不适合采用這樣的方式，對這樣的資料可以使用Push Gateway服務。

它就相當于一個緩存，當資料采集完成之後，就上傳到這裡，由Prometheus稍後再pull過來。

我們來試一下，首先啟動Push Gateway

mkdir -p /home/chenqionghe/promethues/pushgateway
cd !$
docker run -d -p 9091:9091 --name pushgateway prom/pushgateway
           

通路http://10.211.55.25:9091 可以看到pushgateway已經運作起來了

接下來我們就可以往pushgateway推送資料了，prometheus提供了多種語言的sdk，最簡單的方式就是通過shell

• 推送一個名額

echo "cqh_metric 100" | curl --data-binary @- http://ubuntu-linux:9091/metrics/job/cqh
           

• 推送多個名額

cat <<EOF | curl --data-binary @- http://10.211.55.25:9091/metrics/job/cqh/instance/test
# 鍛煉場所價格
muscle_metric{label="gym"} 8800
# 三大項資料 kg
bench_press 100
dead_lift 160
deep_squal 160
EOF
           

然後我們再将pushgateway配置到prometheus.yml裡邊,重載配置

看到已經可以搜尋出剛剛推送的名額了

四.安裝Grafana展示

Grafana是用于可視化大型測量資料的開源程式，它提供了強大和優雅的方式去建立、共享、浏覽資料。

Dashboard中顯示了你不同metric資料源中的資料。

Grafana最常用于網際網路基礎設施和應用分析，但在其他領域也有用到，比如：工業傳感器、家庭自動化、過程控制等等。

Grafana支援熱插拔控制台和可擴充的資料源，目前已經支援Graphite、InfluxDB、OpenTSDB、Elasticsearch、Prometheus等。

我們使用docker安裝

docker run -d -p 3000:3000 --name grafana grafana/grafana
           

預設登入賬戶和密碼都是admin，進入後界面如下

我們添加一個資料源

把Prometheus的位址填上

導入prometheus的模闆

打開左上角選擇已經導入的模闆會看到已經有各種圖

我們來添加一個自己的圖表

指定自己想看的名額和關鍵字，右上角儲存

看到如下資料

到這裡我們就已經實作了資料的自動收集和展示，下面來說下prometheus如何自動報警

五.安裝AlterManager

Pormetheus的警告由獨立的兩部分組成。

Prometheus服務中的警告規則發送警告到Alertmanager。

然後這個Alertmanager管理這些警告。包括silencing, inhibition, aggregation，以及通過一些方法發送通知，例如：email，PagerDuty和HipChat。

建立警告和通知的主要步驟：

• 建立和配置Alertmanager
• 啟動Prometheus服務時，通過-alertmanager.url标志配置Alermanager位址，以便Prometheus服務能和Alertmanager建立連接配接。

建立和配置Alertmanager

mkdir -p /home/chenqionghe/promethues/alertmanager
cd !$
           

建立配置檔案alertmanager.yml

global:
  resolve_timeout: 5m
route:
  group_by: ['cqh']
  group_wait: 10s #組報警等待時間
  group_interval: 10s #組報警間隔時間
  repeat_interval: 1m #重複報警間隔時間
  receiver: 'web.hook'
receivers:
  - name: 'web.hook'
    webhook_configs:
      - url: 'http://10.211.55.2:8888/open/test'
inhibit_rules:
  - source_match:
      severity: 'critical'
    target_match:
      severity: 'warning'
    equal: ['alertname', 'dev', 'instance']
           

這裡配置成了web.hook的方式，當server通知alertmanager會自動調用webhook http://10.211.55.2:8888/open/test

下面運作altermanager

docker rm -f alertmanager
docker run -d -p 9093:9093 \
--name alertmanager \
-v /home/chenqionghe/promethues/alertmanager/alertmanager.yml:/etc/alertmanager/alertmanager.yml \
prom/alertmanager
           

通路http://10.211.55.25:9093

接下來修改Server端配置報警規則和altermanager位址

修改規則/home/chenqionghe/promethues/server/rules.yml

groups:
  - name: cqh
    rules:
      - alert: cqh測試
        expr: dead_lift > 150
        for: 1m
        labels:
          status: warning
        annotations:
          summary: "{{$labels.instance}}:硬拉超标！lightweight baby!!!"
          description: "{{$labels.instance}}:硬拉超标！lightweight baby!!!"
           

這條規則的意思是，硬拉超過150公斤，持續一分鐘，就報警通知

然後再修改prometheus添加altermanager配置

global:
  scrape_interval:     15s # 預設抓取間隔, 15秒向目标抓取一次資料。
  external_labels:
    monitor: 'codelab-monitor'
rule_files:
  - /etc/prometheus/rules.yml
# 這裡表示抓取對象的配置
scrape_configs:
  #這個配置是表示在這個配置内的時間序例，每一條都會自動添加上這個{job_name:"prometheus"}的标簽  - job_name: 'prometheus'
  - job_name: 'prometheus'
    scrape_interval: 5s # 重寫了全局抓取間隔時間，由15秒重寫成5秒
    static_configs:
      - targets: ['localhost:9090']
      - targets: ['10.211.55.25:8080', '10.211.55.25:8081','10.211.55.25:8082']
        labels:
          group: 'client-golang'
      - targets: ['10.211.55.25:9100']
        labels:
          group: 'client-node-exporter'
      - targets: ['10.211.55.25:9091']
        labels:
          group: 'pushgateway'
alerting:
  alertmanagers:
    - static_configs:
        - targets: ["10.211.55.25:9093"]
           

重載prometheus配置，規則就已經生效

接下來我們觀察grafana中資料的變化

然後我們點選prometheus的Alert子產品，會看到已經由綠->黃-紅，觸發了報警

然後我們再來看看提供的webhook接口，這裡的接口我是用的golang寫的，接到資料後将body内容報警到釘釘

釘釘收到報警内容如下

到這裡，從零開始搭建Prometheus實作自動監控報警就說介紹完了，一條龍服務，自動抓取接口+自動報警+優雅的圖表展示，你還在等什麼，趕緊high起來！