对于nginx日志分析,有很多工具,衡量好坏的标准大概就是三快:安装快,解析快,上手快。满足这三点的goaccess确实是居家必备良药。
话说这个标题其实有点委屈goaccess了,它是一个日志分析工具,并不只是为nginx使用的。你也可以用它来分析apache,iis的日志,甚至你自己写的web服务,当然前提是你需要定义好解析的日志格式。诚如见到一个美女,你会一眼喜欢上它的几个功能有:
1 解析速度快
2 使用简单
3 能生成html,json,csv
如果你是centos,使用yum:
yum install goaccess
如果你的yum找不到goaccess,就先安装epel
goaccess有两种使用方法,一种是直接在控制台显示和操作。
当你要立马分析出今天早上10点到12点的ip访问情况的时候,直接在控制台敲命令是最快的。
另外一种就是生成html文件或者数据文件。
如果你希望每天管理的服务器集群能给你发送一个昨天访问日志的情况,这个就是不二选择了。
goaccess的参数:
就是下面的这个窗口
这个窗口有很多可以研究的。
首先,goaccess支持的日志格式有哪些?
common log format (clf)
通用日志格式,例子:
ncsa commbined log format
这个是common log format的扩展,例子:
w3c
iis 4.0和5.0是使用这种格式的,例子如下:
cloudfront
aws上的日志格式
自定义格式
如果开启了-d,goaccess就会使用geoip来进行ip解析。
host模块中不需要被统计的ip,比如可以将爬虫的ip过滤掉
-h和-m带上之后效果为:
指定配置文件,如果你有配置文件,配置文件中又恰巧设置了log-format和date,那么你就不会被强制进入到format对话框了。如果你没有设置的话,默认使用~/.goacessrc。
忽略请求的参数部分
在host模块中是否进行ip的解析。加上-r是禁止ip解析。
输出无颜色标示
展示真实的操作系统。在operation system模块中,是否展示更详细的操作系统信息。
如图:
f1是打开帮助文档
f5是刷新当前窗口
q是退出当前窗口,直到退出程序
o是进入选择条目
0-9 是选择模块
tab和shift+tab是在前后模块之前切换
j和k是在模块内部条目切换
s是模块内部条目排序方式
ps:模块切换在右上角有当前模块的标示
说起goaccess最让你爽的就是能生成html了,然后每天就可以看个统计报表。
下面的命令能生成html页面:
生成的html的截图如下:
也可以生成json:
和csv
正如文章,人无完人,工具无完美工具,goaccess也有几个让人不够爽的地方
它是使用机器自带的geoip,这个自带的77k左右的ip库只能判断出国籍,不能判断到城市。呃,这个就意味着你的报表中有99%的ip统计是来自:china。你可以升级你的geoip,但是,付费。网上有免费的geolitecity.dat库,但是goaccess自身就不支持国籍-城市的分类,也不支持使用外部的ip库。
我能想到还有的办法就是用goaccess生成json,然后自己写python也好,php也好程序来加载城市的ip库来解析地理位置。然后再生成报表。不过,这样,好像就不美了。
好消息是这个功能在issue中有人提了,todo list。
日期只能粒度到天,如果需要统计一天每个小时的访问数据,就没法了。也不是没办法,你可以先grep小时的数据,然后再用goaccess解析。不过,这样,好像很挫。
所以说....todo list真是个好东西,是吧。另外,本文的goaccess使用v0.7.1。