Prometheus+Grafana监控Kafka集群

目录

• 1.安装kafka_exporter
• 2.安装Prometheus
• 3.安装Grafana
• 4.配置Grafana数据源
• 4.下载dashboard
• 5.完成

1.安装kafka_exporter

• 下载安装包：

https://github.com/danielqsj/kafka_exporter/releases/download/v1.2.0/kafka_exporter-1.2.0.linux-amd64.tar.gz

• 或者在线安装：

wget https://github.com/danielqsj/kafka_exporter/releases/download/v1.2.0/kafka_exporter-1.2.0.linux-amd64.tar.gz
           

• 将安装包上传至服务器，并解压：

tar -xvf kafka_exporter-1.2.0.linux-amd64.tar
           

• 后台启动（Kafka默认用9092端口）：

cd kafka_exporter-1.2.0.linux-amd64/
nohup ./kafka_exporter --kafka.server=[Kafka所在服务器IP]:9092 &
           

• 启动成功后，可以用浏览器访问以下地址查看具体数值（默认用9308端口）：

http://[kafka_exporter所在服务器IP]:9308/metrics

2.安装Prometheus

• 进入Prometheus官网，下载安装包：

  

• 将安装包上传至服务器，并解压：

tar -xvf prometheus-2.42.0.linux-amd64.tar.gz
           

• 修改配置文件，增加对Kafka集群的监控配置：

# my global config
global:
  scrape_interval: 15s # Set the scrape interval to every 15 seconds. Default is every 1 minute.
  evaluation_interval: 15s # Evaluate rules every 15 seconds. The default is every 1 minute.
  # scrape_timeout is set to the global default (10s).

# Alertmanager configuration
alerting:
  alertmanagers:
    - static_configs:
        - targets:
          # - alertmanager:9093

# Load rules once and periodically evaluate them according to the global 'evaluation_interval'.
rule_files:
  # - "first_rules.yml"
  # - "second_rules.yml"

# A scrape configuration containing exactly one endpoint to scrape:
# Here it's Prometheus itself.
scrape_configs:
  # The job name is added as a label `job=<job_name>` to any timeseries scraped from this config.
  - job_name: "prometheus"

    # metrics_path defaults to '/metrics'
    # scheme defaults to 'http'.

  - job_name: 'kafka'
    static_configs:
     - targets:
        - [Kafka所在服务器IP]:9308
           

• 后台启动：

cd prometheus-2.42.0.linux-amd64/
nohup ./prometheus --config.file=prometheus.yml &
           

• 启动成功后，可以用浏览器访问以下地址查看状态（Prometheus默认用9090端口），当State为UP时，说明服务正常：

http://[Prometheus所在服务器IP]:9090/targets?search=

3.安装Grafana

• 进入Grafana官网，下载安装包：

  

• 将安装包上传至服务器，并解压：

tar -zxvf grafana-enterprise-9.3.6.linux-amd64.tar.gz
           

• 后台启动：

cd grafana-9.3.6/bin/
nohup ./grafana-server &
           

• 启动成功后，可以用浏览器访问以下地址进入Grafana界面（Grafana默认用3000端口）：

http://[Grafana所在服务器IP]:3000/

4.配置Grafana数据源

4.下载dashboard

• 进入Grafana官网，搜索模板：

  

• 下载模板的JSON文件

  

• 在Grafana中导入JSON文件：

  

5.完成