阿里云日志服务 是针对日志类数据一站式服务,用户只需要将精力集中在分析上,过程中数据采集、对接各种存储计算、数据索引和查询等琐碎工作 等都可以交给服务。2017年9月日志服务加强[日志实时分析功能(LogSearch/Analytics)] ,可以使用查询+SQL92语法对日志进行实时分析。
日志从收集到分析的架构如下图:
主要分3个步骤:
安装Grafana插件,将实时查询SQL转化为视图
我们主要演示步骤3,在做完1、2步骤后,在查询页面可以看到原始日志:
以ubuntu为例,安装命令为:
首先确认grafana的插件目录在哪里, ubuntu的插件地址在 <code>/var/lib/grafana/plugins/</code> ,安装好插件后重启grafana-server。
执行一下命令:
假设是在本机部署,默认是安装在3000端口,在浏览器打开3000端口。
在左上角点击grafana的logo,在弹出窗口上选择Data Sources:
点击添加新的DataSource 使用grafana和阿里云日志服务进行日志可视化分析
各部分配置分别按照如下配置:
datasource名称可以自定义,类型选择[LogService] 。
Http Auth部分,采用默认配置即可。
log service details,日志服务详细配置,分别填写project,logstore,以及具备读取权限的accessKey,accessKey可以是主账号的accessKey,也可以是子帐号的accessKey。
配置完成后点击Add,即可完成添加dataSource。接下来添加dashboard。
在左上角菜单中新加一个dashboard:点击左上角菜单,依次点击Dashboards, New:
在grafana中可以配置模板变量,在同一个视图中,通过选择不同的变量值,展示不同的视图,在本文中,我们配置每个时间区间的大小,以及不同域名的访问情况。
点击页面上方设置图标,然后点击Templating,
在当前页面,会显示出已经配置的模板变量,点击<code>New</code>, 创建新的模板
我们首先配置一个时间区间,变量的名称是我们在配置中使用的变量,在这里起名为myinterval, 在查询条件中,要写成<code>$myinterval</code> ,会自动替换成页面选择的模板值。
我们再配置一个域名模板,通常我们在一个vps上可以挂载多个域名,那么我们需要查看不同域名的访问情况,在模板值中,我们输入
<code>*,www.host.com,www.host0.com,www.host1.com</code>, 表示我们可以查看所有域名,也可以分别只查看www.host.com或者www.host0.com或者www.host1.com的访问情况。
配置完成后,可以在dashboard页面上方看到刚才配置的模板变量,通过下拉框可以选择任何一个值。例如time interval,所有可选的值如下:
配置动态的Query template,可以从查询中动态的获取结果。要使用query template,请参考下图进行配置,数据源选择日志服务的数据源,在query条件中,SQL保证只输出一列结果。
点击左侧ADD ROW,新建一行图表:
如果已经有一行row了,可以在左侧的弹出式菜单里选择Add Panel:
grafana可以支持多重类型的视图,对于PV,UV数据,在这里我们创建一个Graph视图:
点击Pannel Title,在弹出的窗口中点击Edit:
在Metrics配置中,选择datasource为<code>logservice</code>,输入Query,Y轴和X轴:
dataSource下拉框中选择之前配置的:<code>logService</code>。
Query输入:
上述query中的
符号,而hostname有一个。
Y-Column输入:
X-Column输入:
UV PV的值相差比较大,我们需要用两个Y轴来展示,在图标下方,点击uv左侧有颜色的线,可以选择uv是在左Y轴显示,还是在右Y轴显示:
标题需要视图,默认是Panel Title,点击General, 可以修改Title:
同样的方法,我们添加出入网带宽的流量:
输入 query:
输入Y-Column:
输入X-column:
新建一个Row,视图选择<code>Pie Chart</code>:
在配置中输入Query, 和x,y轴
Y-column输入:
对于所有的饼状图,X-column输入固定值:
同上,新建一个Row,视图选择<code>Pie Chart</code>:
X-column输入:
为了以表格形式展示url和对应的延时,我们创建时,指定<code>Table</code>这种视图:
Query 输入:
X-column不填写内容。
同上,新加一个表格视图:
X-column保留空
同上,新建一个表格视图:
新建一个Graph视图:
新建一个饼图:
选择pie视图:
Y-Column输入:
X-column输入:
点击页面上方的保存按钮,发布dashboard:
在页面上方,可以选择统计的时间范围,也可以选择统计的时间粒度,或者选择不同的域名。
这样整个nginx访问统计的dashboard就完成了,我们可以从视图中挖掘有价值的信息。
<a href="https://1340796328858956.cn-shanghai.fc.aliyuncs.com/2016-08-15/proxy/demo/click/?url=https%3a%2f%2fyq.aliyun.com%2farticles%2f670942&src=grafana&author=%e4%ba%91%e9%9b%b7" target="_blank">十分钟构建双十一交互分析大盘</a>
<a href="https://1340796328858956.cn-shanghai.fc.aliyuncs.com/2016-08-15/proxy/demo/click/?url=https%3a%2f%2fpromotion.aliyun.com%2fntms%2fact%2flogdoclist.html&title=%e6%97%a5%e5%bf%97%e6%9c%8d%e5%8a%a1%e7%94%a8%e6%88%b7%e6%89%8b%e5%86%8c%ef%bc%8c%e6%9c%80%e5%ae%8c%e6%95%b4%e7%9a%84%e8%b5%84%e6%96%99&src=grafana&author=%e4%ba%91%e9%9b%b7" target="_blank">日志服务用户手册,最完整的资料</a>
<a href="https://1340796328858956.cn-shanghai.fc.aliyuncs.com/2016-08-15/proxy/demo/click/?url=https%3a%2f%2flogdemo.oss-cn-beijing.aliyuncs.com%2f%23&title=%e6%97%a5%e5%bf%97%e6%9c%8d%e5%88%86%e6%9e%90Demo%ef%bc%8cNginx%e6%97%a5%e5%bf%97%e3%80%81CDN%e6%97%a5%e5%bf%97%e3%80%81DDOS%e6%97%a5%e5%bf%97%e3%80%81SLB%e6%97%a5%e5%bf%97Demo%ef%bc%8cgrafana%e3%80%81Datav%e5%a4%a7%e5%b1%8fDemo&src=grafana&author=%e4%ba%91%e9%9b%b7" target="_blank">日志服分析Demo,Nginx日志、CDN日志、DDOS日志、SLB日志Demo,grafana、Datav大屏Demo</a>
<a href="https://1340796328858956.cn-shanghai.fc.aliyuncs.com/2016-08-15/proxy/demo/click/?url=https%3a%2f%2fyq.aliyun.com%2farticles%2f213693&title=%e8%87%aa%e5%bb%baELK%e5%92%8c%e6%97%a5%e5%bf%97%e6%9c%8d%e5%8a%a1%e5%85%a8%e6%96%b9%e4%bd%8d%e5%af%b9%e6%af%94&src=grafana&author=%e4%ba%91%e9%9b%b7" target="_blank">自建ELK和日志服务全方位对比</a>
<a href="https://1340796328858956.cn-shanghai.fc.aliyuncs.com/2016-08-15/proxy/demo/click/?url=https%3a%2f%2fyq.aliyun.com%2farticles%2f224431&title=%e9%80%9a%e8%bf%87jdbc%e6%9f%a5%e8%af%a2%e5%92%8c%e5%8f%af%e8%a7%86%e5%8c%96%e6%97%a5%e5%bf%97&src=grafana&author=%e4%ba%91%e9%9b%b7" target="_blank">通过jdbc查询和可视化日志</a>
<a href="https://yq.aliyun.com/articles/222541?spm=5176.100239.0.0.ZUf8jW" target="_blank">10.11杭州Clouder lab 十分钟搭建共享应用 2:如何通过日志服务实现用户的日志收集与分析</a>
<a href="https://1340796328858956.cn-shanghai.fc.aliyuncs.com/2016-08-15/proxy/demo/click/?url=https%3a%2f%2fyq.aliyun.com%2farticles%2f90906&title=10.11%e6%9d%ad%e5%b7%9eClouder+lab+%e5%8d%81%e5%88%86%e9%92%9f%e6%90%ad%e5%bb%ba%e5%85%b1%e4%ba%ab%e5%ba%94%e7%94%a8+2%ef%bc%9a%e5%a6%82%e4%bd%95%e9%80%9a%e8%bf%87%e6%97%a5%e5%bf%97%e6%9c%8d%e5%8a%a1%e5%ae%9e%e7%8e%b0%e7%94%a8%e6%88%b7%e7%9a%84%e6%97%a5%e5%bf%97%e6%94%b6%e9%9b%86%e4%b8%8e%e5%88%86%e6%9e%90&src=grafana&author=%e4%ba%91%e9%9b%b7" target="_blank">10分钟精通Nginx访问日志分析统计</a>