Lepus搭建企業級資料庫慢查詢分析平台

前言

Lepus的慢查詢分析平台是獨立于監控系統的子產品，該功能需要使用percona-toolkit工具來采集和記錄慢查詢日志，并且需要部署一個我們提供的shell腳本來進行資料采集。該腳本會自動開啟您資料庫的慢查詢日志，并對慢查詢日志進行按小時的切割，并收集慢查詢日志的資料到監控機資料庫。随後您通過Lepus系統就可以分析慢查詢了。

安裝

安裝 percona-toolkit

yum -y install perl perl-devel libaio libaio-devel perl-Time-HiRes perl-IO-Socket-SSL perl-DBI perl-DBD-MySQL

複制

下載下傳位址：https://www.percona.com/downloads/percona-toolkit/LATEST/

## 你也可以選擇其他版本
wget https://www.percona.com/downloads/percona-toolkit/2.2.6/RPM/percona-toolkit-2.2.6-1.noarch.rpm

複制

安裝：

rpm -ivh percona-toolkit-2.2.6-1.noarch.rpm

複制

開啟慢查詢分析

在 MySQL 伺服器管理裡面電擊右側的編輯按鈕，進入伺服器編輯界面，開啟慢查詢日志。

慢查詢腳本

#!/bin/bash
#****************************************************************#
# ScriptName:/usr/local/sbin/lepus_slowquery.sh
# Create Date:2018-11-05
#***************************************************************#

# configlepus database server 監控端
lepus_db_host="192.168.1.180"
lepus_db_port=9002
lepus_db_user="lepus_user"
lepus_db_password="password"
lepus_db_database="lepus"

# configmysql server 被監控端
# 通過 which mysql 指令查詢位置
mysql_client="/usr/local/mysql/bin/mysql"
mysql_host="192.168.1.190"
mysql_port=3306
mysql_user="root"
mysql_password="root"

# configslowqury
# 慢查詢日志存放位址
slowquery_dir="/data/mysql/"
# 慢日志時間1s，可以自行定義
slowquery_long_time=1
# 擷取被監控端慢日志存放位置
slowquery_file=`$mysql_client -h$mysql_host -P$mysql_port -u$mysql_user -p$mysql_password -e "show variables like 'slow_query_log_file';" | grep log | awk '{print $2}'`
# 通過 which pt-query-digest 指令查詢位置
pt_query_digest=`/usr/bin/pt-query-digest`

# config server_id，從監控清單查找ID，必須一緻，否則無法展示資料
lepus_server_id=1

# collect mysqlslowquery log into lepus database;
# 收集慢日志存儲到天兔監控資料庫
$pt_query_digest --user=$lepus_db_user --password=$lepus_db_password --port=$lepus_db_port --charset=utf8 --review h=$lepus_db_host,D=$lepus_db_database,t=mysql_slow_query_review --history h=$lepus_db_host,D=$lepus_db_database,t=mysql_slow_query_review_history --no-report --limit=100% --filter="\$event->{add_column} = length(\$event->{arg}) and\$event->{serverid}=$lepus_server_id " $slowquery_file 2> /dev/null

# set a new slowquery log;
tmp_log=`$mysql_client -h$mysql_host -P$mysql_port -u$mysql_user -p$mysql_password -e "select concat('$slowquery_dir','slow_',date_format(now(),'%Y%m%d%H'),'.log');" | grep log | sed -n -e '2p'`

# config mysqlslowquery;
$mysql_client -h$mysql_host -P$mysql_port -u$mysql_user -p$mysql_password -e "set global slow_query_log=1;set global long_query_time=$slowquery_long_time;" 2> /dev/null
$mysql_client -h$mysql_host -P$mysql_port -u$mysql_user -p$mysql_password -e "set global slow_query_log_file = '$tmp_log';" 2> /dev/null

# delete log before 7days;
cd $slowquery_dir
/usr/bin/find ./ -name 'slow_*' -mtime +7 | xargs rm -rf

複制

配置完成後儲存，并加入計劃任務。因為慢查詢做了按小時的切割，建議計劃任務時間間隔在1小時之内。

将以上腳本加入定時任務：

crontab -e

複制

寫入腳本：

*/5 * * * * sh /usr/local/sbin/lepus_slowquery.sh > /dev/null 2>&1

複制

這裡，我們也可以手動執行看一下效果，登入監控端服務，檢視慢查詢相關參數：

mysql> show variables like 'slow_query%';
+---------------------------+--------------------------------------+
| Variable_name             | Value                                |
+---------------------------+--------------------------------------+
| slow_query_log            | OFF                                  |
| slow_query_log_file       | /data/mysql/slowquery_2018110609.log |
+---------------------------+--------------------------------------+

mysql> show variables like 'long_query_time';
+-----------------+-----------+
| Variable_name   | Value     |
+-----------------+-----------+
| long_query_time | 0.500000 |
+-----------------+-----------+

複制

參數說明

slow_query_log 慢查詢開啟狀态
slow_query_log_file 慢查詢日志存放的位置（這個目錄需要MySQL的運作帳号的可寫權限，一般設定為MySQL的資料存放目錄）
long_query_time 查詢超過多少秒才記錄

展示

配置完成後，稍等片刻，即可在慢查詢分析平台檢視該庫的慢查詢日志。

小結

被監控監控機通過 percona-toolkit 工具和 shell 腳本來采集慢查詢日志并發送到監控機，Lepus的慢查詢分析平台對采集資料進行展示和分析。

參考

http://www.lepus.cc/post/53

https://gitee.com/ruzuojun/Lepus/tree/master/client/mysql