天天看点

日志服务+流计算+RDS 统计网站访问日志

本期分享专家:黄莉娟,具有多年前端开发经验,曾就职于天基,在阿里云从事大数据产品、日志服务、消息产品的技术支持,喜欢研究新技术分享新产品。我的口号“我就爱玩新产品!别叫我停下来”

日志服务+流计算+RDS 统计网站访问日志

众所周知,在阿里云所有的产品里,很多产品不需要写代码也能做出炫酷的demo,操作简单,容易上手。最近流计算开始公测,所谓世间万事万物,我们都要挑点来尝尝,拿它做个什么demo捏,在思考了四分之一柱香之后,我决定写一个先有鸡还是先有蛋的故事。

是的,写个自己统计自己访问日志的网站,是不是为了做demo完全不要节操!

这个demo很适合初学者!

<b>step 1、准备工作日志生成过程</b>

首先把/etc/nginx/nginx.conf 配置一下,搞个跳转

location / {

proxy_pass http://127.0.0.1:3000;

}

一会3000这个端口我们用nodejs起个http server,这样访问根目录就跳转到我的nodejs网站了,为了要个nginx的日志,我不择手段,为什么要统计nginx日志呢,因为有个现成的介绍,不会的请戳这里https://help.aliyun.com/document_detail/28988.html

配置好以后,sls的控制台看,日志长这样

日志服务+流计算+RDS 统计网站访问日志

<b>step 2、在rds建结果表</b>

然后我们用流计算把日志服务的数据挖出来丢到rds,网站读rds搞点图图粗来,刷一下rds变一下,是不是很想给我的脑袋来上一枪!

先给rds建两张表,我们会把结果放在这两张表里,统计日志的网站读这两张表就行了。为了方便简单两张表建一样的格式好了。

<b>step 3、使用流计算计算日志数据并输出到rds表</b>

开通流计算,开通好以后,可以看见控制台长这样:

日志服务+流计算+RDS 统计网站访问日志

把里面sql抠出来放在这:

---------------------------------------我是stream sql的分割线-------------------------------------------------------

<b>--1.首先定义下数据源的表,这里我们用type='loghub',直接就能把loghub中的数据读出来</b>

<b></b>

<b>--2.然后定义个两个rds的表type='mysql' 作为输出结果表</b>

<b>-- 3. 定义下计算逻辑</b>

---------------------------------------我还是stream sql的分割线-------------------------------------------------------

注意下!!!sql里面我用了 prop_get('__time__'),这个是loghub的系统字段时间__time__,必须通过消息属性传递进来,普通的日志服务的key写在数据源的表就可以了,系统字段不用写,配置下任务参数,直接用,可以参考下http://gitlab.alibaba-inc.com/galaxy/galaxy/wikis/prop-functions

任务参数这么写:

galaxy.input.props.keylist=timestamp,__time__

截个图。最后一行红圈圈是我加的:

日志服务+流计算+RDS 统计网站访问日志

然后轻轻的点击下“上线”,上线成功后,再轻轻的点击下“运维”,进去把任务启动起来。

启动好之后,看起来是酱紫滴,输入rps是有东西的。当然之所以有输入,是因为我访问了一下我的网站了~~

日志服务+流计算+RDS 统计网站访问日志

<b>step 4、在网站上的展示效果,刷一刷就会看到变化</b>

来刷刷我们的网站,就是我用nodejs启动的在3000端口,nginx配置了跳转的那一个咯。

-- 先看看网站的pv统计,是流计算的这句sql搞出来的

insert into sls_event select

prop_get('__time__') as time,

'pv' as event_type,

'get' as event_value,

count(1) as value

from source_test_sls_galaxy

group by prop_get('__time__');

日志服务+流计算+RDS 统计网站访问日志

-- 再看看网站的状态码统计,是流计算的这句sql搞出来的

insert into sls_status select

'status' as event_type,

status as event_value,

group by prop_get('__time__'),status;

日志服务+流计算+RDS 统计网站访问日志

当然,刷一下网站,数据就会变一下!

是不是吼神奇!

<b>"我就爱玩新产品!别叫我停下来!"</b>

本期分享结束啦 ,想让云享团分享哪些技术,欢迎大家留言讨论,我们下期再见。<b></b>