Linux 日志分析工具之awstats详解

一、前言

二、awstats 简介

三、awstats 特点

四、awstats 运行原理

五、awstats 安装与配置详解

六、awstats 执行日志分析

七、awstats 进行多站点日志分析

八、awstats 问题汇总

IP 地址国家、区域显示问题

中文乱码问题

九、awstats 总结

AWStats is a free powerful and featureful server logfile analyzer that shows you all your Web/Mail/FTP statistics including visits, unique visitors, pages, hits, rush hours, os, browsers, search engines, keywords, robots visits, broken links and more Drag screenshots to sort.

AWStats 软件是一个免费的强大的服务器的日志文件分析工具，显示你所有的网页/邮件/ FTP统计包括访问，访问者，页面，点击，高峰时间，操作系统，浏览器，搜索引擎，关键字，机器人访问，断开的链接和更多的阻力截图排序。

Awstats 是在 SourceForge 上发展很快的一个基于 Perl 的 WEB 日志分析工具，一个充分的日志分析让 Awstats 显示您下列资料：

访问次数、独特访客人数,

访问时间和上次访问,

使用者认证、最近认证的访问,

每周的高峰时间(页数,点击率,每小时和一周的千字节),

域名/国家的主机访客(页数,点击率,字节,269域名/国家检测, geoip 检测),

主机名单,最近访问和未解析的 IP 地址名单

大多数看过的进出页面,

档案类型,

网站压缩统计表(mod_gzip 或者 mod_deflate),

使用的操作系统 (每个操作系统的页数,点击率 ,字节, 35 OS detected),

使用的浏览器,

机器人访问(检测 319 个机器人),

蠕虫攻击 (5 个蠕虫家族),

搜索引擎，利用关键词检索找到你的地址,

HTTP 协议错误(最近查阅没有找到的页面),

其他基于 URL 的个性报导,链接参数, 涉及综合行销领域目的.

贵网站被加入"最喜爱的书签".次数.

屏幕大小(需要在索引页补充一些 HTML 标签).

浏览器的支持比例: Java, Flash, RealG2 reader, Quicktime reader, WMA reader, PDF reader.

负载平衡服务器比率集群报告.

Awstats 的运行是需要 PERL 环境的支持，从 awstats 的文档来看，它对 Apache HTTP Server 的支持是非常完美的，而当我们把 Web 服务器换成 Nginx 后，要运行 awstats 变得很麻烦。首先 Nginx 本身对 Perl 的支持是比较弱的，甚至官方也不建议使用；另外在日志格式上有需要修改后才能运行。

(1).工作原理

AWStats的功能很多，我在此主要用它来分析apache服务器的日志。安装使用之前还是说说大致的工作原理，AWStats提供一系列的perl脚本实现：服务配置，日志读取，报表生成等功能。而功能实现的具体执行过程是：首先，当然是apache将访问情况记录到日志中，AWStats每次执行更新时读取这些日志，分析日志数据，将结果存储到数据库中，(这个数据库是AWStats自带的（就是一文本文件），并不需要第三方软件支持。)，最后AWStats提供一个cgi程序通过web页面来显示数据库中所统计的数据。

(2).工作模式

AWStats的工作模式是这样的：

分析日志：运行后将这样的日志统计结果归档到一个AWStats的数据库（纯文本）里；

输出日志：分两种形式

一种是通过cgi程序读取统计结果数据库输出（Linux中）；

一种是运行后台脚本将输出导出成静态文件(Windows中)；

1.环境准备

(1).安装yum源

<code>[root@node6 src]</code><code># wget http://ftp.sjtu.edu.cn/fedora/epel/6/i386/epel-release-6-8.noarch.rpm</code>

<code>[root@node6 src]</code><code># rpm -ivh epel-release-6-8.noarch.rpm</code>

<code>warning: epel-release-6-8.noarch.rpm: Header V3 RSA</code><code>/SHA256</code> <code>Signature, key ID 0608b895: NOKEY</code>

<code>Preparing... </code><code>########################################### [100%]</code>

<code>1:epel-release </code><code>########################################### [100%]</code>

(2).安装cronolog日志切割工具

<code>[root@node6 src]</code><code># wget http://cronolog.org/download/cronolog-1.6.2.tar.gz</code>

<code>[root@node6 src]</code><code># tar xf cronolog-1.6.2.tar.gz</code>

<code>[root@node6 src]</code><code># cd cronolog-1.6.2</code>

<code>[root@node6 cronolog-1.6.2]</code><code># ./configure</code>

<code>[root@node6 cronolog-1.6.2]</code><code># make && make install</code>

<code>[root@localhost ~]</code><code># which cronolog</code>

<code>/usr/local/sbin/cronolog</code>

2.时间同步

<code>[root@node6 src]</code><code># yum install -y ntp</code>

<code>[root@node6 src]</code><code># ntpdate 202.120.2.101</code>

<code>28 Dec 17:59:17 ntpdate[1413]: step </code><code>time</code> <code>server 202.120.2.101 offset -25666.776448 sec</code>

3.安装awstats

(1).yum直接安装

<code>[root@node6 ~]</code><code># yum install -y awstats</code>

(2).源码包安装

首先，我们要下载awstats软件包，并将其放在常规目录（/usr/local）下。

<code>[root@node6 src]</code><code># wget http://jaist.dl.sourceforge.net/project/awstats/AWStats/7.2/awstats-7.2.tar.gz</code>

<code>[root@node6 src]</code><code># tar xf awstats-7.2.tar.gz</code>

<code>[root@node6 src]</code><code># mv awstats-7.2 /usr/local/awstats </code>

<code>[root@node6 src]</code><code># cd /usr/local/awstats </code>

<code>[root@node6 awstats]</code><code># ls </code>

<code>docs README.TXT tools wwwroot</code>

注，由于wget下载下来的包中权限是非root的，所以这里要修改权限，否则稍后*.pl将无法运行。

<code>[root@node6 awstats]</code><code># chown -R root.root /usr/local/awstats </code>

<code>[root@node6 awstats]</code><code># ll </code>

<code>-rw-------. 1 root root 6790 7月 10 03:50 README.TXT </code>

<code>drwx------. 5 root root 4096 7月 10 04:01 tools </code>

<code>drwx------. 7 root root 4096 7月 10 04:01 wwwroot </code>

<code>[root@node6 awstats]</code><code># chmod +x /usr/local/awstats/tools/*.pl </code>

<code>[root@node6 awstats]</code><code># cd tools/ </code>

<code>[root@node6 tools]</code><code># ls </code>

<code>awstats_buildstaticpages.pl awstats_exportlib.pl geoip_generator.pl logresolvemerge.pl nginx webmin </code>

<code>awstats_configure.pl awstats_updateall.pl httpd_conf maillogconvert.pl urlaliasbuilder.pl xslt </code>

<code>[root@node6 tools]</code><code># chmod +x /usr/local/awstats/wwwroot/cgi-bin/*.pl </code>

<code>[root@node6 tools]</code><code># cd .. </code>

<code>[root@node6 awstats]</code><code># cd wwwroot/cgi-bin/ </code>

<code>awdownloadcsv.pl awredir.pl awstats.model.conf awstats.pl lang lib plugins</code>

(3).接下来，我们要执行/usr/local/awstats/tools下的awstats_configure.pl配置向导，用来生成awstats的配置文件，awstats配置文件的命名规则是awstats.website.conf。

<code>[root@node6 ~]</code><code># cd /usr/local/awstats/tools/ </code>

<code>[root@node6 tools]</code><code># ./awstats_configure.pl</code>

<code>此时会出现如下提示，</code>

<code>----- AWStats awstats_configure 1.0 (build 1.9) (c) Laurent Destailleur ----- </code>

<code>This tool will help you to configure AWStats to analyze statistics </code><code>for</code>

<code>one web server. You can try to use it to </code><code>let</code> <code>it </code><code>do</code> <code>all that is possible </code>

<code>in</code> <code>AWStats setup, however following the step by step manual setup </code>

<code>documentation (docs</code><code>/index</code><code>.html) is often a better idea. Above all </code><code>if</code><code>: </code>

<code>- You are not an administrator user, </code>

<code>- You want to analyze downloaded log files without web server, </code>

<code>- You want to analyze mail or </code><code>ftp</code> <code>log files instead of web log files, </code>

<code>- You need to analyze load balanced servers log files, </code>

<code>- You want to </code><code>'understand'</code> <code>all possible ways to use AWStats... </code>

<code>Read the AWStats documentation (docs</code><code>/index</code><code>.html).</code>

<code>-----> Running OS detected: Linux, BSD or Unix</code>

<code>-----> Check </code><code>for</code> <code>web server </code><code>install</code>

<code>Enter full config </code><code>file</code> <code>path of your Web server. </code>

<code>Example: </code><code>/etc/httpd/httpd</code><code>.conf </code>

<code>Example: </code><code>/usr/local/apache2/conf/httpd</code><code>.conf </code>

<code>Example: c:\Program files\apache group\apache\conf\httpd.conf </code>

<code>Config </code><code>file</code> <code>path (</code><code>'none'</code> <code>to skip web server setup):</code>

<code>> </code><code>/usr/local/apache2/conf/httpd</code><code>.conf </code><code>#这里让你输入apache配置文件的目录，我这里的apache是源码安装的，所以我的路径是/usr/local/apache2/conf/httpd.conf </code>

<code>Your web server config </code><code>file</code><code>(s) could not be found. </code>

<code>You will need to setup your web server manually to </code><code>declare</code> <code>AWStats </code>

<code>script as a CGI, </code><code>if</code> <code>you want to build reports dynamically. </code>

<code>See AWStats setup documentation (</code><code>file</code> <code>docs</code><code>/index</code><code>.html)</code>

<code>-----> Update model config </code><code>file</code> <code>'/usr/local/awstats/wwwroot/cgi-bin/awstats.model.conf'</code>

<code> </code><code>File awstats.model.conf updated.</code>

<code>-----> Need to create a new config </code><code>file</code> <code>? </code>

<code>Do you want me to build a new AWStats config</code><code>/profile</code>

<code>file</code> <code>(required </code><code>if</code> <code>first </code><code>install</code><code>) [y</code><code>/N</code><code>] ? y </code><code>#询问是否创建一个新的配置文件，这里填y即可。</code>

<code>-----> Define config </code><code>file</code> <code>name to create </code>

<code>What is the name of your web site or profile analysis ? </code>

<code>Example: www.mysite.com </code>

<code>Example: demo </code>

<code>Your web site, virtual server or profile name: </code>

<code>> www.</code><code>test</code><code>.com </code><code>#这里让填写你的网站域名，虚拟主机名或者随便一个配置名。</code>

<code>-----> Define config </code><code>file</code> <code>path </code>

<code>In </code><code>which</code> <code>directory </code><code>do</code> <code>you plan to store your config </code><code>file</code><code>(s) ? </code>

<code>Default: </code><code>/etc/awstats</code>

<code>Directory path to store config </code><code>file</code><code>(s) (Enter </code><code>for</code> <code>default): </code>

<code>> </code><code>#这里要填写你配置文件存放路径，我们使用它默认的路径/etc/awstats，所以直接回车即可。</code>

<code>-----> Create config </code><code>file</code> <code>'/etc/awstats/awstats.www.test.com.conf'</code>

<code>Config </code><code>file</code> <code>/etc/awstats/awstats</code><code>.www.</code><code>test</code><code>.com.conf created.</code>

<code>-----> Add update process inside a scheduler </code>

<code>Sorry, configure.pl does not support automatic add to </code><code>cron</code> <code>yet. </code>

<code>You can </code><code>do</code> <code>it manually by adding the following </code><code>command</code> <code>to your </code><code>cron</code><code>: </code>

<code>/usr/local/awstats/wwwroot/cgi-bin/awstats</code><code>.pl -update -config=www.</code><code>test</code><code>.com </code>

<code>Or </code><code>if</code> <code>you have several config files and prefer having only one </code><code>command</code><code>: </code>

<code>/usr/local/awstats/tools/awstats_updateall</code><code>.pl now </code>

<code>Press ENTER to </code><code>continue</code><code>... </code><code>#提示不能自动加入crontab定时任务，需要稍后自己添加，我们按回车继续即可。</code>

<code>A SIMPLE config </code><code>file</code> <code>has been created: </code><code>/etc/awstats/awstats</code><code>.www.</code><code>test</code><code>.com.conf </code>

<code>You should have a </code><code>look</code> <code>inside to check and change manually main parameters. </code>

<code>You can </code><code>then</code> <code>manually update your statistics </code><code>for</code> <code>'www.test.com'</code> <code>with </code><code>command</code><code>: </code>

<code>> perl awstats.pl -update -config=www.</code><code>test</code><code>.com </code>

<code>You can also build static report pages </code><code>for</code> <code>'www.test.com'</code> <code>with </code><code>command</code><code>: </code>

<code>> perl awstats.pl -output=pagetype -config=www.</code><code>test</code><code>.com</code>

<code>Press ENTER to finish... </code><code>#提示配置文件创建完成和如何更新配置及建立静态报告页，这里我们回车即可结束这个配置向导。</code>

<code>[root@node6 tools]</code><code># cd /etc/awstats/ </code>

<code>awstats.www.</code><code>test</code><code>.com.conf</code>

<code>[root@node6 awstats]</code><code># vim awstats.www.test.com.conf #这个配置文件有很多配置，我们这里只讲解重点配置。</code>

<code>LogFile=</code><code>"/log/www/access_%YYYY-24%MM-24%DD-24.log"</code> <code>#日志文件存放路径，其中%YYYY-24%MM-24%DD是指年月日模式</code>

<code>DirData=</code><code>"/var/lib/awstats"</code> <code>#创建生成的数据路径</code>

<code>Lang=</code><code>"cn"</code> <code>#默认语言中文</code>

<code>SkipHosts=</code><code>"127.0.0.1 REGEX[^192\.168\.]"</code> <code>#本地及内部的访问不做分析统计</code>

<code>LevelForWormsDetection=2 </code><code>#日志等级，不对警告日志进行统计</code>

好了，到这里我们awstats配置文件就修改完成。

(5).下面我们来修改一下apache配置文件

<code>[root@node6 www]</code><code># vim /usr/local/apache2/conf/httpd.conf</code>

<code>#CustomLog logs/access_log combined </code>

<code>CustomLog </code><code>"|/usr/local/sbin/cronolog /log/www/access_%Y%m%d.log"</code> <code>combined</code>

(6).新建apache日志目录

<code>[root@node6 ~]</code><code># mkdir -pv /log/www/ </code>

<code>mkdir</code><code>: 已创建目录 </code><code>"/log"</code>

<code>mkdir</code><code>: 已创建目录 </code><code>"/log/www/"</code>

<code>[root@node6 www]</code><code># chmod -R 755 /log/www/ </code>

<code>[root@node6 www]</code><code># chown -R daemon /log/www/</code>

(7).重新启动apache服务器

<code>[root@node6 www]</code><code># /usr/local/apache2/bin/apachectl restart</code>

(8).创建awstats的数据存放目录

<code>[root@node6 www]</code><code># mkdir -pv /var/lib/awstats </code>

<code>[root@node6 www]</code><code># chmod 755 /var/lib/awstats</code>

好了，到这里我们的awstats配置就全部完成了，下面我们来执行一下日志分析。

1.现在我们需要用awstats来生成对apache日志的统计分析信息。由于我们用的awstats是支持perl的FCGI动态化访问页面，所以此处我们只需要直接更新数据库即可。FCGI程序会自动将数据库以动态页面的形式展现出来，无须再手动生成静态页面了。

<code>[root@node6 ~]</code><code># /usr/local/awstats/wwwroot/cgi-bin/awstats.pl -update -config=www.test.com</code>

<code>Create</code><code>/Update</code> <code>database </code><code>for</code> <code>config </code><code>"/etc/awstats/awstats.www.test.com.conf"</code> <code>by AWStats version 7.2 (build 1.992) </code>

<code>From data </code><code>in</code> <code>log </code><code>file</code> <code>"/log/www/access_20131228.log"</code><code>... </code>

<code>Phase 1 : First bypass old records, searching new record... </code>

<code>Direct access to last remembered record has fallen on another record. </code>

<code>So searching new records from beginning of log </code><code>file</code><code>... </code>

<code>Phase 2 : Now process new records (Flush </code><code>history</code> <code>on disk after 20000 hosts)... </code>

<code>Jumped lines </code><code>in</code> <code>file</code><code>: 0 </code>

<code>Parsed lines </code><code>in</code> <code>file</code><code>: 155446 </code>

<code>Found 8 dropped records, </code>

<code>Found 0 comments, </code>

<code>Found 0 blank records, </code>

<code>Found 1 corrupted records, </code>

<code>Found 0 old records, </code>

<code>Found 155437 new qualified records.</code>

2.查看一下awstats数据库文件

<code>[root@web ~]</code><code># cd /var/lib/awstats/ </code>

<code>[root@web awstats]</code><code># ls </code>

<code>awstats122013.www.</code><code>test</code><code>.com.txt</code>

3.接下来我们来查看一下分析结果

1.站点说明

club.test.com （论坛）

2.配置多站点监控

<code>> </code><code>/usr/local/apache2/conf/httpd</code><code>.conf </code>

<code>file</code> <code>(required </code><code>if</code> <code>first </code><code>install</code><code>) [y</code><code>/N</code><code>] ? y</code>

<code>> club.</code><code>test</code><code>.com </code><code>#我们这里配置域名就是club.test.com，其它地方与www.test.com没有什么不同。</code>

好了，下面我们看一下我们生成的配置文件。

3.查看一下生成的配置文件

<code>[root@node6 ~]</code><code># cd /etc/awstats/</code>

<code>[root@node6 awstats]</code><code># ls </code>

<code>awstats.club.</code><code>test</code><code>.com.conf awstats.www.</code><code>test</code><code>.com.conf</code>

1.IP 地址国家、区域显示问题

Awstats默认安装之后是不具有识别访问者的国家和地区信息的，所以需要安装插件支持Awstats列出访问者的国家和地区，便于分析GeoIP免费的是国家/IP的数据表，GeoIPCityLite是地区的数据表。

(1).MaxMind目前免费提供了GeoIP和GeoIPCityLite数据包：可以定期每个月从以下地址下载

<code>[root@node6 src]</code><code># wget http://geolite.maxmind.com/download/geoip/database/GeoLiteCountry/GeoIP.dat.gz</code>

<code>[root@node6 src]</code><code># wget http://geolite.maxmind.com/download/geoip/database/GeoLiteCity.dat.gz</code>

<code>GeoIP.dat.gz GeoLiteCity.dat.gz</code>

注，下载下来用gunzip解压即可。

<code>[root@node6 src]</code><code># gunzip GeoIP.dat.gz</code>

<code>[root@node6 src]</code><code># gunzip GeoLiteCity.dat.gz</code>

<code>GeoIP.dat GeoLiteCity.dat</code>

(2).新建的目录，把两个文件移入新建的目录

<code>[root@node6 src]</code><code># mkdir /var/geoip</code>

<code>[root@node6 src]</code><code># mv GeoIP.dat GeoLiteCity.dat /var/geoip</code>

(3).安装GeoIP与GeoIP perl库

<code>[root@node6 src]</code><code># yum install –y GeoIP perl-Geo-IP</code>

(4).修改awstats配置文件

<code>[root@node6 ~]</code><code># vim /etc/awstats/awstats.www.test.com.conf</code>

<code>#LoadPlugin="geoip GEOIP_STANDARD /pathto/GeoIP.dat" #1429行</code>

<code>#LoadPlugin="geoip_city_maxmind GEOIP_STANDARD /pathto/GeoIPCity.dat" #1438行</code>

<code>LoadPlugin=</code><code>"geoip GEOIP_STANDARD /var/geoip/GeoIP.dat"</code>

<code>LoadPlugin=</code><code>"geoip_city_maxmind GEOIP_STANDARD /var/geoip/GeoLiteCity.dat"</code>

(5).删除旧的统计数据库

<code>[root@node6 ~]</code><code># rm -rf /var/lib/awstats/*</code>

(6).重新生成一下数据库

(7).我们再次查看一下造成的分析结果

好了，到这里我们的IP 地址国家、区域显示问题解析，下面我们来解决一下中文乱码问题。

2.中文乱码问题

Awstats是一套非常好用的免费的日志分析软件,他是用perl实现的，支持web log、ftp log和mail log;而且它还能自动根据你浏览器的字符设置来选取语言(支持中文)。但是缺省安装的话有个问题,就是用来搜索的关键字如果是中文的话显示出来是乱码的。之所以搜索的关键字句会变成乱码的原因，主要是因为现在的搜索引擎都是使用UTF8，而Awstats是使用decodeUTFkeys这个plugin来处理搜索引擎的UTF8关键字，默认是没有打开的，所以在显示上会出现乱码。要解决中文乱码问题,方法也很简单，

在配置文件中把decodeutfkeys这个plugin打开就可以了。在配置文件中找到：

#LoadPlugin="decodeutfkeys"

去掉前面的#就可以了。

<code>#LoadPlugin="decodeutfkeys" #1300 行</code>

<code>LoadPlugin=</code><code>"decodeutfkeys"</code>

好了，下面我们来重新访问一下，效果图如下：

这样我们的中文就显示完成了，但是打开LoadPlugin="decodeutfkeys"这个插件在一些机器上会报错，下面我们来演示一下报错的情况。

从上面的报错可以看出这是缺少 Perl 的 URI:Escape模块，下面我们解决一下这个问题：

<code>[root@node6 src]</code><code># wget http://search.cpan.org/CPAN/authors/id/G/GA/GAAS/URI-1.60.tar.gz</code>

<code>[root@node6 src]</code><code># perl Makefile.PL</code>

<code>[root@node6 src]</code><code># make && make install</code>

下面我们再重新访问一下，效果图如下：

好了，到这里我们的awstats中文乱码问题就解决了。下面我们来总结一下awstats日志分析工具!

九、awstats 总结（来自于百度百科）

AWStats是在Sourceforge上发展很快的一个基于Perl的WEB日志分析工具。相对于另外一个非常优秀的开放源代码的日志分析工具Webalizer，AWStats的优势在于：

1.界面友好：可以根据浏览器直接调用相应语言界面（有简体中文版）

3.效率比较高：AWStats输出统计项目比Webalizer丰富了很多，速度仍可以达到Webalizer的1/3左右，对于一个日访问量百万级的站点，这个速度都是足够的；

4.配置/定制方便：系统提供了足够灵活但缺省也很合理的配置规则，需要修改的缺省配置不超过3，4项就可以开始运行，而且修改和扩展的插件还是比较多的；

5.AWStats的设计者是面向精确的"Human visits"设计的，因此很多搜索引擎的机器人访问都被过滤掉了，因此有可能比其他日志统计工具统计的数字要低，来自公司内部的访问也可以通过IP过滤设置过滤掉。

6.提供了很多扩展的参数统计功能：使用ExtraXXXX系列配置生成针对具体应用的参数分析会对产品分析非常有用。

看一看这个比较表在最著名统计工具 (AWStats, Analog, Webalizer,...)之间有何特点和不同的想法。AWStats 是一个在GNU通用公共许可证下发行的免费软件. 你可以看看这个许可证图表而知道你可以/不可以做。由于AWStats工程来自网上信息，但也作为CGI、它可以与允许进入Perl、CGI与日志的大型网站主办提供商一起工作。

好了，今天的博客就到这里吧，最后希望大家有所收获^_^……

本文转自陈明乾51CTO博客，原文链接：http://blog.51cto.com/freeloda/1346412，如需转载请自行联系原作者

Linux 日志分析工具之awstats详解

继续阅读

MySQL的4种隔离级别？出现问题

Apache2.4.x 配置文件详解Apache配置需要了解如下：开始讲解：

配置apache支持PHP（win7）

Ubuntu Linux下Apache的配置文件

XX系统实施过程问题总结

无组件上传图片到数据库中，最完整解决方案

【MySQL数据库】数据库索引事务1.索引2.事务

neo4j之cypher使用文档

NOSQL安全攻击

mybatis_入门程序Mybatis入门

samba服务器的功能

登录plsql 报错 the account is locked --用户被锁

【Linux】UDP广播报文接收速率问题

SequoiaDB巨杉数据库C++驱动概述

Linux设备模型（中）之上层容器

PowerPC平台 Linux移植三