自动记录MySQL慢查询快照脚本特性快速使用配置项说明使用建议配置文件示例

python完成的一个小程序，用于杀掉 mysql 上的异常线程，如慢查询、处于sleep状态的。

写这个脚本的初衷是在使用阿里云rds的过程中，数据库出现异常，需要快速恢复。网上有许多类似的kill脚本，都是通过 mysqladmin 实现的。然而 ali-rds 环境有以下限制：

不提供 super 权限的用户，也就是用户只能 kill 自己的线程

当连接数暴增时，外部用户无法登陆，包括控制台

为了解决上午2大问题，该 python 脚本通过在db实例上，使用多线程的方式，为每个用户保留一个连接，并实时读取指令配置文件 <code>mysqk.ini</code>，发现有 kill 需求时，利用对应用户已有连接找到 <code>information_schema.processlist</code> 中符合条件的线程，并 kill 。

说明：该脚本在9月份做过一次重写，7月份的版本（分支 old_0.5.0）是每实例每用户，对应一个线程，db实例一多线程数也太多，看得始终不太优雅，于是改成了一个db实例一个线程，维护同时维护多个用户的会话。同时新版也加入了更多的功能，如按时间窗口检查，包含或排除特定连接，邮件通知，配置项覆盖。

始终通过 mysql ping 维持一个长连接，并有断开自动重来机制，解决没有连接可用的尴尬局面

每个db实例有自己的线程，避免需要单独登陆个别用户去kill的繁复操作。

如果你具有 super 权限，也可以简化配置做到兼容

能够分开应对需要杀死线程的场景：

长时间运行超过 n 秒的

sleep 状态的事务 （一般不建议，但有时候kill它，可以快速释放连接给管理员使用）

排除一些线程不能kill，如 binlog dump

包含特定关键字的线程要kill

出现符合条件的线程时，会对当时的processlist, engine status，lock_wait 做一个快照，并邮件发出

有试运行dry_run模式，即执行所有的检查过程但不真正kill

支持只在时间窗口内运行，考虑到晚上一些长任务不检查

密码加密

需要pip安装<code>mysql-python</code>和<code>pycrypto</code>两个库，只在python 2.7上有测试。

在 settings.py 里面设置连接的用户名和密码信息。这里假设同一批db的要check的认证信息是一样的，指定的用户既用于登录认证，也用于告知脚本哪些用户需要被检查。

密码要通过 <code>prpcryptec.py</code> 加密，加密的密钥需写入脚本本身的 <code>key_db_auth</code>变量。（担心泄露的话，把mysqk.py编译成 pyc 来跑）

在 mysqk.ini 主配置文件里面

<code>db_info</code> 节设置需要被检查的数据库地址，如 <code>db01=10.0.200.100:3306</code>

可分别 <code>db01</code>等指定需要kill thread的选项。<code>[id_db01]</code> 则默认复用 <code>[db_commkill]</code> 的选项

<code>db_comconfig</code> 节设置 <code>db_puser</code> 为能查看到所有processlist的权限用户，且在 settings.py 的db_auth中已指定

只想执行检查，并不想真正kill异常线程，确认 dry_run不等于0

here we go!

<code>mysqk.ini</code>：

邮件通知相关设置，smtp服务地址和认证信息。

<code>mail_receiver=</code> 设置空，表示不发邮件

设置要检查kill哪些数据库实例.

格式：<code>&lt;dbid&gt;=&lt;host&gt;:&lt;port&gt;</code>，dbid是唯一表示db实例的，后面设置各db需要被kill的选项，小节配置名就是 <code>id_&lt;dbid&gt;</code>；端口必需指定。

在这里出现的db实例都会被执行检查，可用 ; 注释，但需要重启脚本。

检查用公共配置，实时生效。

<code>db_puser</code>：指定一个用户名用于 show processlist，需要的权限：process、information_schema库查看。可以认为是一个代表用户，检查异常thread，把结果提供给有该thread杀掉权限用户。

<code>run_max_count</code>：执行检查的次数，是一个全局控制开关。每次修改这个值都会重新开始检查，即一个 clean start，让刚修改的配置生效。

为 0 表示脚本不进行任何检查，只简单维护与数据库的连接存活。存活检查频率在 settings.py 由 <code>check_config_interval × check_ping_multi</code>决定

为 999 表示会在后台一致检查连接线程（但不一定有符合kill条件的），检查的频率在 settings.py 里面 <code>check_config_interval</code> 指定

为其它值时，表示检查次数满后停止检查

<code>dry_run</code>：是否开启试运行模式，为0表示真实kill，为1或其它值表示试运行。试运行模式可用于监控慢查询并告警。注意同一会话线程id只告警一次

<code>run_time_window</code>：运行的检查的时间窗口，格式如 <code>08:00-22:00</code>，在这个时间以外不执行检查，留空表示不限制。主要考虑晚上一些统计任务可能出现“异常”线程。

kill用公共配置，实时生效，会被 <code>id_&lt;dbid&gt;</code> 节的选项覆盖。

<code>k_user</code>：很关键的一个选项，表示你要检查并kill哪些数据库用户，多个用逗号分隔（不要带引号）。

为 <code>all</code> 时，表示要检查 settings.py 里 db_auth 指定的所有用户

为 <code>none</code> 时，表示不kill任何异常线程，效果与设置了 dry_run 模式相当

<code>k_longtime</code>：执行超过设定值的sql则认为异常。一般大于 check_config_interval

<code>k_sleep</code>：sleep超过设定秒的sql则认为异常，为 0 表示不杀掉sleep状态的线程

<code>k_exclude</code>：排除掉那些特定关键字的线程，比如复制线程、管理员的连接等

<code>k_include</code>：包含这些特定关键字的线程，需要被kill。注意，它作用在满足 k_user 和 k_exclude 的前提之下。

k_exclude与k_include 的值是支持python re模块正则的格式，不要带引号

这部分区域的配置项与 db_commconfig 相同，用于针对个别db的kill选项。

两种组合模式：

设置 <code>dry_run=0</code>，默认 <code>k_user=none</code>，当数据库出现异常时，主动修改对应db的k_user值，动态kill

设置 <code>dry_run=1</code>，默认 <code>k_user=all</code>，相当于运行在daemon模式，有慢查询则邮件通知，并且记录下当时的信息

当然你也可以<code>dry_run=0</code>，<code>k_user=all</code>，让程序一直在后台跑并kill，但生产环境极不推荐。

有日志和快照文件可以查看。

mysqlk.ini :