天天看點
傳回

利用Grafana和Arthas自動抓取異常Java程序的線程堆棧前言k8s-java-debug-daemon

前言

近期發現業務高峰期時刻會出現CPU繁忙導緻的timeout異常，通過監控來看是因為Node上面的一些Pod突發搶占了大量CPU導緻的。

問: 沒有限制CPU嗎？是不是限制的CPU使用值就可以解決了呢？

解: 其實不能根本解決這個問題，因為使用的容器引擎是Docker，而Docker是使用了cgroups技術，這就引入了一個老大難的問題，cgroup的隔離性。當問題發生時并沒有辦法把異常CPU程序直接摁住，而會有短暫的高峰，現象為：限制了CPU為2核，突發時CPU可能是4、5、6等，然後容器會被kill掉，K8S會嘗試重建容器。

那麼該如何解決？

  1. 使用隔離性更好的容器引擎，如 kata(VM級别)。
  2. 優化程式

方案1

我們可以知道方案1解決的比較徹底，而且隻需要全局處理一次即可，但技術比較新穎，不知道會不會帶來其它問題，我們之後準備拿出部分Node嘗試kata container。

方案2

對應用開發者要求比較高，需要對應的開發者針對性介入，短期收益很高，我們先部署了這種。

如何實施？

我們知道程式在運作中，除非特别嚴重的BUG，CPU高峰一般非常短暫，這時候靠人肉抓包基本上是來不及的，也很耗費精力，我們就希望有一個程式能在CPU達到一定門檻值的時候自動抓取線程堆棧來事後針對性優化，并且一定時間内隻允許運作一次防止循環抓包導緻程式不可用。

根據要實作的最終效果我們發現與Grafana、Prometheus的告警機制十分接近，我們要做的就是接收告警的webhook，去對應的容器中擷取線程堆棧就行。

于是我們利用了 Grafana ，寫了一個程式來完成這個功能。

項目資訊

開發語言: Go、Shell

項目位址:

https://github.com/majian159/k8s-java-debug-daemon

k8s-java-debug-daemon

利用了 Grafana 的告警機制，配合阿裡的 arthas，來完成高CPU使用率線程的堆棧抓取。

整體流程如下：

  1. 為 Grafana 添加 webhook 類型的告警通知管道，位址為該程式的 url(預設的hooks路徑為 /hooks)。
  2. 配置Grafana圖表，并設定告警門檻值
  3. 當 webhook 觸發時，程式會自動将

    craw.sh

     腳本拷貝到對應 Pod 的容器中并執行。
  4. 程式将 stdout 儲存到本地檔案。

效果預覽

利用Grafana和Arthas自動抓取異常Java程式的線程堆棧前言k8s-java-debug-daemon
利用Grafana和Arthas自動抓取異常Java程式的線程堆棧前言k8s-java-debug-daemon

預設行為

  • 每 node 同時運作執行數為10

    可以在

    ./internal/defaultvalue.go

     中更改 
    var defaultNodeLockManager = nodelock.NewLockManager(10)
  • 預設使用叢集内的Master配置

    ./internal/defaultvalue.go

     
    func DefaultKubernetesClient(){}

// default
func getConfigByInCluster(){}

func getConfigByOutOfCluster(){}
  • 預設使用并實作了一個基于本地檔案的堆棧存儲器, 路徑位于工作路徑下的

    stacks

     中

    ./internal/defaultvalue.go

     
    func GetDefaultNodeLockManager(){}
  • 預設取最繁忙的前50個線程的堆棧資訊 (可在

    craw.sh

     中修改)
  • 采集樣本時間為2秒 (可在

    craw.sh

如何使用

Docker Image

majian159/java-debug-daemon

為 Grafana 建立一個通知頻道

利用Grafana和Arthas自動抓取異常Java程式的線程堆棧前言k8s-java-debug-daemon

注意點

  1. 需要打開 Send reminders, 不然 Grafana 預設在觸發告警後一直沒有解決不會重複發送告警
  2. Send reminder every 可以控制最快多久告警一次

為 Grafana 建立一個告警圖表

如果嫌麻煩可以直接導入以下配置, 在自行更改

{
  "datasource": "prometheus",
  "alert": {
    "alertRuleTags": {},
    "conditions": [
      {
        "evaluator": {
          "params": [
            1
          ],
          "type": "gt"
        },
        "operator": {
          "type": "and"
        },
        "query": {
          "params": [
            "A",
            "5m",
            "now"
          ]
        },
        "reducer": {
          "params": [],
          "type": "last"
        },
        "type": "query"
      }
    ],
    "executionErrorState": "keep_state",
    "for": "10s",
    "frequency": "30s",
    "handler": 1,
    "name": "Pod 高CPU堆棧抓取",
    "noDataState": "no_data",
    "notifications": [
      {
        "uid": "AGOJRCqWz"
      }
    ]
  },
  "aliasColors": {},
  "bars": false,
  "dashLength": 10,
  "dashes": false,
  "fill": 1,
  "fillGradient": 0,
  "gridPos": {
    "h": 9,
    "w": 24,
    "x": 0,
    "y": 2
  },
  "hiddenSeries": false,
  "id": 14,
  "legend": {
    "alignAsTable": true,
    "avg": true,
    "current": true,
    "max": true,
    "min": false,
    "rightSide": true,
    "show": true,
    "total": false,
    "values": true
  },
  "lines": true,
  "linewidth": 1,
  "nullPointMode": "null",
  "options": {
    "dataLinks": []
  },
  "percentage": false,
  "pointradius": 2,
  "points": false,
  "renderer": "flot",
  "seriesOverrides": [],
  "spaceLength": 10,
  "stack": false,
  "steppedLine": false,
  "targets": [
    {
      "expr": "container_memory_working_set_bytes{job=\"kubelet\", metrics_path=\"/metrics/cadvisor\", image!=\"\", container!=\"POD\"}* on (namespace, pod) group_left(node) max by(namespace, pod, node, container) (kube_pod_info)",
      "legendFormat": "{{node}} - {{namespace}} - {{pod}} - {{container}}",
      "refId": "A"
    }
  ],
  "thresholds": [
    {
      "colorMode": "critical",
      "fill": true,
      "line": true,
      "op": "gt",
      "value": 1
    }
  ],
  "timeFrom": null,
  "timeRegions": [],
  "timeShift": null,
  "title": "Pod CPU",
  "tooltip": {
    "shared": true,
    "sort": 0,
    "value_type": "individual"
  },
  "type": "graph",
  "xaxis": {
    "buckets": null,
    "mode": "time",
    "name": null,
    "show": true,
    "values": []
  },
  "yaxes": [
    {
      "format": "short",
      "label": null,
      "logBase": 1,
      "max": null,
      "min": null,
      "show": true
    },
    {
      "format": "short",
      "label": null,
      "logBase": 1,
      "max": null,
      "min": null,
      "show": true
    }
  ],
  "yaxis": {
    "align": false,
    "alignLevel": null
  }
}

Queries配置

Metrics 中填寫

container_memory_working_set_bytes{job="kubelet", metrics_path="/metrics/cadvisor", image!="", container!="POD"} * on (namespace, pod) group_left(node) max by(namespace, pod, node, container) (kube_pod_info)

Legend 中填寫

{{node}} - {{namespace}} - {{pod}} - {{container}}

配置完如下：

利用Grafana和Arthas自動抓取異常Java程式的線程堆棧前言k8s-java-debug-daemon

Alert配置

IS ABOVE

CPU使用值，這邊配置的是超過1核CPU就報警, 可以根據需要自己調節

Evaluate every

每多久計算一次

For

Pedding時間

配置完應該如下:

利用Grafana和Arthas自動抓取異常Java程式的線程堆棧前言k8s-java-debug-daemon

建構

二進制 

# 為目前系統平台建構
make

# 指定目标系統, GOOS: linux darwin window freebsd
make GOOS=linux

Docker鏡像 

make docker

# 自定義鏡像tag
make docker IMAGE=test
Arthas prometheus cloud native unix 測試技術 Linux 開發者 Docker 容器 perl java程序 使用java程序 java線程名稱 java線程通知 java什麼程序
上一篇: 如何優雅的維護 K8S Worker 節點前言kubectl-safe-drain 項目安裝使用TODO寫在最後
下一篇: 代簽約報錯營業執照不合法

繼續閱讀