[问题已处理]-使用Grafana告警解决阿里云日志服务邮件告警上限问题

目前公司使用阿里云的日志服务 取代了原先的efk。但是告警方式邮件的话最多只能给一个用户发50封，CTO希望看邮件平时钉钉不怎么看，下班更不会看。打算使用Grafana的告警 来触发邮件告警。不想自己开发webhook ，有老哥乐意让我白嫖一下代码的话 就谢谢了。

首先在Grafana界面加入 阿里云的LogService

可参考

https://help.aliyun.com/document_detail/60952.html?spm=a2c4g.11186623.6.1205.63384eb1eh4nI1

需要安装sdk 并重启 Grafana服务

下载慢的可以通过百度云下载

链接: https://pan.baidu.com/s/1XwM_jaqGDo0MVfrUOBddDQ 密码: uqnj

把插件放到Grafana的插件路径里 最好看下自己配置文件里插件的路径

cd /var/lib/grafana/plugins/
git clone https://github.com/aliyun/aliyun-log-grafana-datasource-plugin
service grafana-server restart
           

创建一个dashboard

选择添加一个数据源LogService

配置并填写相关信息

相关信息 可以在自己日志服务里看到

上述配置需要的access key 需要手动创建

添加一个logs类型的Panel 可供开发查看日志

1数据源选择自己配置的LogService的project

2 填写自定义Query

select * from prod-error where level='ERROR'
           

因为logs这个图 没有alert 告警的配置 所以需要配置一个可以触发告警的试图。

添加一个Graph

query最好先在日志服务测试一下

配置视图

Query

level:ERROR | SELECT  COUNT(*)    as c ,  __time__ as t  group  by  t order by t limit 1000
           

每分钟查询一次，持续一分钟告警。

保存

告警触发成功

最后dashboard展示

有点遗憾 就是没法把当时发生告警的时间戳随message里的url传出来，当告警发生一段时间之后 点进去看到的告警仍旧是最近15分钟。