天天看点

5分钟搭建网站实时分析:Grafana+日志服务实战

阿里云日志服务 是针对日志类数据一站式服务,用户只需要将精力集中在分析上,过程中数据采集、对接各种存储计算、数据索引和查询等琐碎工作 等都可以交给服务。2017年9月日志服务加强[日志实时分析功能(LogSearch/Analytics)] ,可以使用查询+SQL92语法对日志进行实时分析。

日志从收集到分析的架构如下图:

5分钟搭建网站实时分析:Grafana+日志服务实战

主要分3个步骤:

安装Grafana插件,将实时查询SQL转化为视图

我们主要演示步骤3,在做完1、2步骤后,在查询页面可以看到原始日志:

5分钟搭建网站实时分析:Grafana+日志服务实战

以ubuntu为例,安装命令为:

首先确认grafana的插件目录在哪里, ubuntu的插件地址在 <code>/var/lib/grafana/plugins/</code> ,安装好插件后重启grafana-server。

执行一下命令:

假设是在本机部署,默认是安装在3000端口,在浏览器打开3000端口。

5分钟搭建网站实时分析:Grafana+日志服务实战

在左上角点击grafana的logo,在弹出窗口上选择Data Sources:

5分钟搭建网站实时分析:Grafana+日志服务实战

点击添加新的DataSource 使用grafana和阿里云日志服务进行日志可视化分析

5分钟搭建网站实时分析:Grafana+日志服务实战

各部分配置分别按照如下配置:

datasource名称可以自定义,类型选择[LogService] 。

Http Auth部分,采用默认配置即可。

log service details,日志服务详细配置,分别填写project,logstore,以及具备读取权限的accessKey,accessKey可以是主账号的accessKey,也可以是子帐号的accessKey。

配置完成后点击Add,即可完成添加dataSource。接下来添加dashboard。

在左上角菜单中新加一个dashboard:点击左上角菜单,依次点击Dashboards, New:

5分钟搭建网站实时分析:Grafana+日志服务实战

在grafana中可以配置模板变量,在同一个视图中,通过选择不同的变量值,展示不同的视图,在本文中,我们配置每个时间区间的大小,以及不同域名的访问情况。

5分钟搭建网站实时分析:Grafana+日志服务实战

点击页面上方设置图标,然后点击Templating,

5分钟搭建网站实时分析:Grafana+日志服务实战

在当前页面,会显示出已经配置的模板变量,点击<code>New</code>, 创建新的模板

5分钟搭建网站实时分析:Grafana+日志服务实战

我们首先配置一个时间区间,变量的名称是我们在配置中使用的变量,在这里起名为myinterval, 在查询条件中,要写成<code>$myinterval</code> ,会自动替换成页面选择的模板值。

5分钟搭建网站实时分析:Grafana+日志服务实战

我们再配置一个域名模板,通常我们在一个vps上可以挂载多个域名,那么我们需要查看不同域名的访问情况,在模板值中,我们输入

<code>*,www.host.com,www.host0.com,www.host1.com</code>, 表示我们可以查看所有域名,也可以分别只查看www.host.com或者www.host0.com或者www.host1.com的访问情况。

配置完成后,可以在dashboard页面上方看到刚才配置的模板变量,通过下拉框可以选择任何一个值。例如time interval,所有可选的值如下:

5分钟搭建网站实时分析:Grafana+日志服务实战

配置动态的Query template,可以从查询中动态的获取结果。要使用query template,请参考下图进行配置,数据源选择日志服务的数据源,在query条件中,SQL保证只输出一列结果。

点击左侧ADD ROW,新建一行图表:

5分钟搭建网站实时分析:Grafana+日志服务实战

如果已经有一行row了,可以在左侧的弹出式菜单里选择Add Panel:

5分钟搭建网站实时分析:Grafana+日志服务实战

grafana可以支持多重类型的视图,对于PV,UV数据,在这里我们创建一个Graph视图:

5分钟搭建网站实时分析:Grafana+日志服务实战

点击Pannel Title,在弹出的窗口中点击Edit:

5分钟搭建网站实时分析:Grafana+日志服务实战

在Metrics配置中,选择datasource为<code>logservice</code>,输入Query,Y轴和X轴:

5分钟搭建网站实时分析:Grafana+日志服务实战

dataSource下拉框中选择之前配置的:<code>logService</code>。

Query输入:

上述query中的

5分钟搭建网站实时分析:Grafana+日志服务实战
5分钟搭建网站实时分析:Grafana+日志服务实战

符号,而hostname有一个。

Y-Column输入:

X-Column输入:

UV  PV的值相差比较大,我们需要用两个Y轴来展示,在图标下方,点击uv左侧有颜色的线,可以选择uv是在左Y轴显示,还是在右Y轴显示:

5分钟搭建网站实时分析:Grafana+日志服务实战

标题需要视图,默认是Panel Title,点击General, 可以修改Title:

5分钟搭建网站实时分析:Grafana+日志服务实战

同样的方法,我们添加出入网带宽的流量:

5分钟搭建网站实时分析:Grafana+日志服务实战

输入 query:

输入Y-Column:

输入X-column:

新建一个Row,视图选择<code>Pie Chart</code>:

5分钟搭建网站实时分析:Grafana+日志服务实战

在配置中输入Query, 和x,y轴

5分钟搭建网站实时分析:Grafana+日志服务实战

Y-column输入:

对于所有的饼状图,X-column输入固定值:

同上,新建一个Row,视图选择<code>Pie Chart</code>:

5分钟搭建网站实时分析:Grafana+日志服务实战

X-column输入:

5分钟搭建网站实时分析:Grafana+日志服务实战

为了以表格形式展示url和对应的延时,我们创建时,指定<code>Table</code>这种视图:

5分钟搭建网站实时分析:Grafana+日志服务实战
5分钟搭建网站实时分析:Grafana+日志服务实战

Query 输入:

X-column不填写内容。

同上,新加一个表格视图:

5分钟搭建网站实时分析:Grafana+日志服务实战

X-column保留空

同上,新建一个表格视图:

5分钟搭建网站实时分析:Grafana+日志服务实战

新建一个Graph视图:

5分钟搭建网站实时分析:Grafana+日志服务实战

新建一个饼图:

5分钟搭建网站实时分析:Grafana+日志服务实战
5分钟搭建网站实时分析:Grafana+日志服务实战

选择pie视图:

Y-Column输入:

X-column输入:

点击页面上方的保存按钮,发布dashboard:

5分钟搭建网站实时分析:Grafana+日志服务实战

在页面上方,可以选择统计的时间范围,也可以选择统计的时间粒度,或者选择不同的域名。

5分钟搭建网站实时分析:Grafana+日志服务实战

这样整个nginx访问统计的dashboard就完成了,我们可以从视图中挖掘有价值的信息。

5分钟搭建网站实时分析:Grafana+日志服务实战

<a href="https://1340796328858956.cn-shanghai.fc.aliyuncs.com/2016-08-15/proxy/demo/click/?url=https%3a%2f%2fyq.aliyun.com%2farticles%2f670942&amp;src=grafana&amp;author=%e4%ba%91%e9%9b%b7" target="_blank">十分钟构建双十一交互分析大盘</a>

<a href="https://1340796328858956.cn-shanghai.fc.aliyuncs.com/2016-08-15/proxy/demo/click/?url=https%3a%2f%2fpromotion.aliyun.com%2fntms%2fact%2flogdoclist.html&amp;title=%e6%97%a5%e5%bf%97%e6%9c%8d%e5%8a%a1%e7%94%a8%e6%88%b7%e6%89%8b%e5%86%8c%ef%bc%8c%e6%9c%80%e5%ae%8c%e6%95%b4%e7%9a%84%e8%b5%84%e6%96%99&amp;src=grafana&amp;author=%e4%ba%91%e9%9b%b7" target="_blank">日志服务用户手册,最完整的资料</a>

<a href="https://1340796328858956.cn-shanghai.fc.aliyuncs.com/2016-08-15/proxy/demo/click/?url=https%3a%2f%2flogdemo.oss-cn-beijing.aliyuncs.com%2f%23&amp;title=%e6%97%a5%e5%bf%97%e6%9c%8d%e5%88%86%e6%9e%90Demo%ef%bc%8cNginx%e6%97%a5%e5%bf%97%e3%80%81CDN%e6%97%a5%e5%bf%97%e3%80%81DDOS%e6%97%a5%e5%bf%97%e3%80%81SLB%e6%97%a5%e5%bf%97Demo%ef%bc%8cgrafana%e3%80%81Datav%e5%a4%a7%e5%b1%8fDemo&amp;src=grafana&amp;author=%e4%ba%91%e9%9b%b7" target="_blank">日志服分析Demo,Nginx日志、CDN日志、DDOS日志、SLB日志Demo,grafana、Datav大屏Demo</a>

<a href="https://1340796328858956.cn-shanghai.fc.aliyuncs.com/2016-08-15/proxy/demo/click/?url=https%3a%2f%2fyq.aliyun.com%2farticles%2f213693&amp;title=%e8%87%aa%e5%bb%baELK%e5%92%8c%e6%97%a5%e5%bf%97%e6%9c%8d%e5%8a%a1%e5%85%a8%e6%96%b9%e4%bd%8d%e5%af%b9%e6%af%94&amp;src=grafana&amp;author=%e4%ba%91%e9%9b%b7" target="_blank">自建ELK和日志服务全方位对比</a>

<a href="https://1340796328858956.cn-shanghai.fc.aliyuncs.com/2016-08-15/proxy/demo/click/?url=https%3a%2f%2fyq.aliyun.com%2farticles%2f224431&amp;title=%e9%80%9a%e8%bf%87jdbc%e6%9f%a5%e8%af%a2%e5%92%8c%e5%8f%af%e8%a7%86%e5%8c%96%e6%97%a5%e5%bf%97&amp;src=grafana&amp;author=%e4%ba%91%e9%9b%b7" target="_blank">通过jdbc查询和可视化日志</a>

<a href="https://yq.aliyun.com/articles/222541?spm=5176.100239.0.0.ZUf8jW" target="_blank">10.11杭州Clouder lab 十分钟搭建共享应用 2:如何通过日志服务实现用户的日志收集与分析</a>

<a href="https://1340796328858956.cn-shanghai.fc.aliyuncs.com/2016-08-15/proxy/demo/click/?url=https%3a%2f%2fyq.aliyun.com%2farticles%2f90906&amp;title=10.11%e6%9d%ad%e5%b7%9eClouder+lab+%e5%8d%81%e5%88%86%e9%92%9f%e6%90%ad%e5%bb%ba%e5%85%b1%e4%ba%ab%e5%ba%94%e7%94%a8+2%ef%bc%9a%e5%a6%82%e4%bd%95%e9%80%9a%e8%bf%87%e6%97%a5%e5%bf%97%e6%9c%8d%e5%8a%a1%e5%ae%9e%e7%8e%b0%e7%94%a8%e6%88%b7%e7%9a%84%e6%97%a5%e5%bf%97%e6%94%b6%e9%9b%86%e4%b8%8e%e5%88%86%e6%9e%90&amp;src=grafana&amp;author=%e4%ba%91%e9%9b%b7" target="_blank">10分钟精通Nginx访问日志分析统计</a>

5分钟搭建网站实时分析:Grafana+日志服务实战

继续阅读