天天看點

大資料ClickHouse進階(二十七):ClickHouse服務監控

作者:Lansonli

#頭條創作挑戰賽#

ClickHouse服務監控

大資料ClickHouse進階(二十七):ClickHouse服務監控

一、系統表

在ClickHouse System庫下的系統表中主要有三張表支撐了ClickHouse運作名額的查詢,分别是:metrics、events和asynchronous_metrice。

1、metrics

metrics表用于統計ClickHouse服務在運作時,目前正在執行的概要資訊,包括正在執行的查詢總次數、正在發生的合并操作總次數等,查詢方式如下:

node1 :) select * from system.metrics limit 5;           
大資料ClickHouse進階(二十七):ClickHouse服務監控

2、events

events統計ClickHouse在運作過程中已經執行過的概要資訊,包括總的查詢次數、總的SELECT查詢次數等,該系統表的查詢方法如下:

node1 :) select event,value from system.events limit 5;           
大資料ClickHouse進階(二十七):ClickHouse服務監控

3、asynchronous_metrics

asynchronous_metrics用于統計ClickHouse服務運作過程中目前正在背景異步運作的概要資訊,包括目前配置設定的記憶體、執行隊列中的任務數量等。該系統表的查詢方法如下:

node1 :) select * from system.asynchronous_metrics limit 5;           
大資料ClickHouse進階(二十七):ClickHouse服務監控

二、查詢日志

查詢日志重要的目前有3種類型,分别從不同角度記錄了ClickHouse的操作行為,ClickHouse會為每種類型的查詢日志自動生成相應的系統表以供查詢。

1、query_log

query_log是最常用的查詢日志,記錄了ClickHouse服務中所有已經執行的查詢記錄。查詢方式如下:

node1 :) select type,concat(substr(query,1,20),'...') as query,read_rows,query_duration_ms as duration from system.query_log limit 5;           
大資料ClickHouse進階(二十七):ClickHouse服務監控

2、query_thread_log

query_thread_log系統表記錄了所有線程的執行查詢資訊。查詢方式如下:

node1 :) select thread_name,concat(substr(query,1,20),'...') as query,query_duration_ms as duration,memory_usage as memory from system.query_thread_log limit 6;           
大資料ClickHouse進階(二十七):ClickHouse服務監控

3、part_log

part_log日志記錄了MergeTree系清單引擎的分區記錄檔。查詢方式如下:

node1 :) select event_type as type ,table ,partition_id,event_date from system.part_log desc limit 5;           
大資料ClickHouse進階(二十七):ClickHouse服務監控

除了上面介紹的系統表和查詢日志之外,ClickHouse還能夠與第三方監控系統內建。

繼續閱讀