ClickVisual: 一款基于 ClickHouse 的輕量級日志可視化分析平台

公衆号關注 「奇妙的 Linux 世界」

設為「星标」，每天帶你玩轉 Linux ！

ClickVisual 是一個輕量級的開源日志查詢、分析、報警的可視化平台，緻力于提供一站式應用可靠性的可視化的解決方案。既可以獨立部署使用，也可作為插件內建到第三方系統。目前是市面上唯一一款支援 ClickHouse 的類 Kibana 的業務日志查詢平台。

ClickVisual 具有如下一些特性：

• 支援可視化的查詢面闆，可查詢命中條數直方圖和原始日志。
• 支援設定日志索引功能，分析不同索引的占比情況。
• 支援可視化的 VS Code 風格配置中心，能夠便捷地将 logagent 配置同步到 Kubernetes 叢集 ConfigMap 中。
• 支援 GitHub 和 GitLab 授權登入。
• 支援 Proxy Auth 功能，能被非常輕松地內建到第三方系統。
• 支援實體機、Docker、Kubernetes 部署。
• 支援基于 ClicHouse 日志的實時報警功能。

架構

日志系統主要分為四個部分：日志采集、日志傳輸、日志存儲、日志管理。

• 日志采集：

  LogCollector

   采用 Daemonset 方式部署，将主控端日志目錄挂載到 

  LogCollector

   的容器内，

  LogCollector

   通過挂載的目錄能夠采集到應用日志、系統日志、K8S 審計日志等
• 日志傳輸：通過不同 

  Logstore

   映射到 Kafka 中不同的 Topic，将不同資料結構的日志做了分離
• 日志存儲：使用 Clickhouse 中的兩種引擎資料表和物化視圖
• 日志管理：開源的 ClickVisual 系統，能夠查詢日志，設定日志索引，設定 LogCollector 配置，設定 Clickhouse 表，設定報警等

安裝

我們可以使用二進制、Docker、Kubernetes 等方式進行安裝，為了簡單這裡我們以 Docker 為例進行說明，Kubernetes 安裝方式可以參考官方文檔 https://clickvisual.gocn.vip/clickvisual/02install/k8s-installation.html。

首先需要提供一個可通路的 MySQL，将配置 https://github.com/clickvisual/clickvisual/tree/master/data/all-in-one/clickvisual/config 中的 

[mysql]

 改成你本地 MySQL 的配置。

然後可以使用下面的指令來啟動 ClickVisual，需要把配置挂載到 docker 容器内：

docker run --name ClickVisual -e EGO_CONFIG_PATH=/ClickVisual/config/docker.toml -e EGO_LOG_WRITER=stderr -p 19001:19001 -d sevennt/ClickVisual:master -v ./config:/ClickVisual/config
           

當然你也可以使用 Docker Compose 來啟動，同樣需要把配置挂載到 docker 容器内：

version: "3"
services:
ClickVisual:
  image: sevennt/ClickVisual:master
  container_name: ClickVisual
  environment:
    EGO_CONFIG_PATH: /ClickVisual/config/docker.toml
    EGO_LOG_WRITER: stderr
  ports:
    - "19001:19001"
  restart: always
  volumes:
  - ./config:/ClickVisual/config
  command: [ '/bin/sh', '-c', './bin/ClickVisual' ]
           

啟動後可以通過 http://localhost:19001 進行通路。

由于 ClickVisual 隻是一個進行資料展示，并不會進行日志收集，是以可以根據自己的實際情況選擇采集工具，比如 fluent-bit，将日志采集後輸出到 Kafka 中，然後通過 Kafka 将日志消費到 Clickhouse 中去，關于 fluent-bit 的配置可以參考文檔 https://clickvisual.gocn.vip/clickvisual/03funcintro/fluent-bit-configuration-reference.html 了解更多資訊。

當 ClickVisual 部署完成後可以在頁面中去添加 Clickhouse 資料源。

預設沒有配置資料源執行個體，是以此處為空，點選 +新增執行個體，增加一個新的 ClickHouse 執行個體作為資料源。配置好資料源後，就可以在日志查詢頁面中使用了。

此外還支援日志的實時報警功能。

更多使用細節請參考官方網站了解更多 https://clickvisual.gocn.vip/。

Git 倉庫：https://github.com/clickvisual/clickvisual

本文轉載自：「Github愛好者」，原文：https://url.hi-linux.com/4kLyG，版權歸原作者所有。歡迎投稿，投稿郵箱: [email protected]。

最近，我們建立了一個技術交流微信群。目前群裡已加入了不少行業内的大神，有興趣的同學可以加入和我們一起交流技術，在 「奇妙的 Linux 世界」 公衆号直接回複 「加群」 邀請你入群。

你可能還喜歡

點選下方圖檔即可閱讀

KubeGems: 一款超強大面向雲原生的通用開源 PaaS 管理平台，支援 Argo CD、Istio 等 30+ 開源服務

點選上方圖檔，『美團|餓了麼』外賣紅包天天免費領

更多有趣的網際網路新鮮事，關注「奇妙的網際網路」視訊号全了解！