Linux 日志分析工具之awstats詳解

一、前言

二、awstats 簡介

三、awstats 特點

四、awstats 運作原理

五、awstats 安裝與配置詳解

六、awstats 執行日志分析

七、awstats 進行多站點日志分析

八、awstats 問題彙總

IP 位址國家、區域顯示問題

中文亂碼問題

九、awstats 總結

AWStats is a free powerful and featureful server logfile analyzer that shows you all your Web/Mail/FTP statistics including visits, unique visitors, pages, hits, rush hours, os, browsers, search engines, keywords, robots visits, broken links and more Drag screenshots to sort.

AWStats 軟體是一個免費的強大的伺服器的日志檔案分析工具，顯示你所有的網頁/郵件/ FTP統計包括通路，通路者，頁面，點選，高峰時間，作業系統，浏覽器，搜尋引擎，關鍵字，機器人通路，斷開的連結和更多的阻力截圖排序。

Awstats 是在 SourceForge 上發展很快的一個基于 Perl 的 WEB 日志分析工具，一個充分的日志分析讓 Awstats 顯示您下列資料：

通路次數、獨特訪客人數,

通路時間和上次通路,

使用者認證、最近認證的通路,

每周的高峰時間(頁數,點選率,每小時和一周的千位元組),

域名/國家的主機訪客(頁數,點選率,位元組,269域名/國家檢測, geoip 檢測),

主機名單,最近通路和未解析的 IP 位址名單

大多數看過的進出頁面,

檔案類型,

網站壓縮統計表(mod_gzip 或者 mod_deflate),

使用的作業系統 (每個作業系統的頁數,點選率 ,位元組, 35 OS detected),

使用的浏覽器,

機器人通路(檢測 319 個機器人),

蠕蟲攻擊 (5 個蠕蟲家族),

搜尋引擎，利用關鍵詞檢索找到你的位址,

HTTP 協定錯誤(最近查閱沒有找到的頁面),

其他基于 URL 的個性報導,連結參數, 涉及綜合行銷領域目的.

貴網站被加入"最喜愛的書簽".次數.

螢幕大小(需要在索引頁補充一些 HTML 标簽).

浏覽器的支援比例: Java, Flash, RealG2 reader, Quicktime reader, WMA reader, PDF reader.

負載平衡伺服器比率叢集報告.

Awstats 的運作是需要 PERL 環境的支援，從 awstats 的文檔來看，它對 Apache HTTP Server 的支援是非常完美的，而當我們把 Web 伺服器換成 Nginx 後，要運作 awstats 變得很麻煩。首先 Nginx 本身對 Perl 的支援是比較弱的，甚至官方也不建議使用；另外在日志格式上有需要修改後才能運作。

(1).工作原理

AWStats的功能很多，我在此主要用它來分析apache伺服器的日志。安裝使用之前還是說說大緻的工作原理，AWStats提供一系列的perl腳本實作：服務配置，日志讀取，報表生成等功能。而功能實作的具體執行過程是：首先，當然是apache将通路情況記錄到日志中，AWStats每次執行更新時讀取這些日志，分析日志資料，将結果存儲到資料庫中，(這個資料庫是AWStats自帶的（就是一文本檔案），并不需要第三方軟體支援。)，最後AWStats提供一個cgi程式通過web頁面來顯示資料庫中所統計的資料。

(2).工作模式

AWStats的工作模式是這樣的：

分析日志：運作後将這樣的日志統計結果歸檔到一個AWStats的資料庫（純文字）裡；

輸出日志：分兩種形式

一種是通過cgi程式讀取統計結果資料庫輸出（Linux中）；

一種是運作背景腳本将輸出導出成靜态檔案(Windows中)；

1.環境準備

(1).安裝yum源

<code>[root@node6 src]</code><code># wget http://ftp.sjtu.edu.cn/fedora/epel/6/i386/epel-release-6-8.noarch.rpm</code>

<code>[root@node6 src]</code><code># rpm -ivh epel-release-6-8.noarch.rpm</code>

<code>warning: epel-release-6-8.noarch.rpm: Header V3 RSA</code><code>/SHA256</code> <code>Signature, key ID 0608b895: NOKEY</code>

<code>Preparing... </code><code>########################################### [100%]</code>

<code>1:epel-release </code><code>########################################### [100%]</code>

(2).安裝cronolog日志切割工具

<code>[root@node6 src]</code><code># wget http://cronolog.org/download/cronolog-1.6.2.tar.gz</code>

<code>[root@node6 src]</code><code># tar xf cronolog-1.6.2.tar.gz</code>

<code>[root@node6 src]</code><code># cd cronolog-1.6.2</code>

<code>[root@node6 cronolog-1.6.2]</code><code># ./configure</code>

<code>[root@node6 cronolog-1.6.2]</code><code># make && make install</code>

<code>[root@localhost ~]</code><code># which cronolog</code>

<code>/usr/local/sbin/cronolog</code>

2.時間同步

<code>[root@node6 src]</code><code># yum install -y ntp</code>

<code>[root@node6 src]</code><code># ntpdate 202.120.2.101</code>

<code>28 Dec 17:59:17 ntpdate[1413]: step </code><code>time</code> <code>server 202.120.2.101 offset -25666.776448 sec</code>

3.安裝awstats

(1).yum直接安裝

<code>[root@node6 ~]</code><code># yum install -y awstats</code>

(2).源碼包安裝

首先，我們要下載下傳awstats軟體包，并将其放在正常目錄（/usr/local）下。

<code>[root@node6 src]</code><code># wget http://jaist.dl.sourceforge.net/project/awstats/AWStats/7.2/awstats-7.2.tar.gz</code>

<code>[root@node6 src]</code><code># tar xf awstats-7.2.tar.gz</code>

<code>[root@node6 src]</code><code># mv awstats-7.2 /usr/local/awstats </code>

<code>[root@node6 src]</code><code># cd /usr/local/awstats </code>

<code>[root@node6 awstats]</code><code># ls </code>

<code>docs README.TXT tools wwwroot</code>

注，由于wget下載下傳下來的包中權限是非root的，是以這裡要修改權限，否則稍後*.pl将無法運作。

<code>[root@node6 awstats]</code><code># chown -R root.root /usr/local/awstats </code>

<code>[root@node6 awstats]</code><code># ll </code>

<code>-rw-------. 1 root root 6790 7月 10 03:50 README.TXT </code>

<code>drwx------. 5 root root 4096 7月 10 04:01 tools </code>

<code>drwx------. 7 root root 4096 7月 10 04:01 wwwroot </code>

<code>[root@node6 awstats]</code><code># chmod +x /usr/local/awstats/tools/*.pl </code>

<code>[root@node6 awstats]</code><code># cd tools/ </code>

<code>[root@node6 tools]</code><code># ls </code>

<code>awstats_buildstaticpages.pl awstats_exportlib.pl geoip_generator.pl logresolvemerge.pl nginx webmin </code>

<code>awstats_configure.pl awstats_updateall.pl httpd_conf maillogconvert.pl urlaliasbuilder.pl xslt </code>

<code>[root@node6 tools]</code><code># chmod +x /usr/local/awstats/wwwroot/cgi-bin/*.pl </code>

<code>[root@node6 tools]</code><code># cd .. </code>

<code>[root@node6 awstats]</code><code># cd wwwroot/cgi-bin/ </code>

<code>awdownloadcsv.pl awredir.pl awstats.model.conf awstats.pl lang lib plugins</code>

(3).接下來，我們要執行/usr/local/awstats/tools下的awstats_configure.pl配置向導，用來生成awstats的配置檔案，awstats配置檔案的命名規則是awstats.website.conf。

<code>[root@node6 ~]</code><code># cd /usr/local/awstats/tools/ </code>

<code>[root@node6 tools]</code><code># ./awstats_configure.pl</code>

<code>此時會出現如下提示，</code>

<code>----- AWStats awstats_configure 1.0 (build 1.9) (c) Laurent Destailleur ----- </code>

<code>This tool will help you to configure AWStats to analyze statistics </code><code>for</code>

<code>one web server. You can try to use it to </code><code>let</code> <code>it </code><code>do</code> <code>all that is possible </code>

<code>in</code> <code>AWStats setup, however following the step by step manual setup </code>

<code>documentation (docs</code><code>/index</code><code>.html) is often a better idea. Above all </code><code>if</code><code>: </code>

<code>- You are not an administrator user, </code>

<code>- You want to analyze downloaded log files without web server, </code>

<code>- You want to analyze mail or </code><code>ftp</code> <code>log files instead of web log files, </code>

<code>- You need to analyze load balanced servers log files, </code>

<code>- You want to </code><code>'understand'</code> <code>all possible ways to use AWStats... </code>

<code>Read the AWStats documentation (docs</code><code>/index</code><code>.html).</code>

<code>-----> Running OS detected: Linux, BSD or Unix</code>

<code>-----> Check </code><code>for</code> <code>web server </code><code>install</code>

<code>Enter full config </code><code>file</code> <code>path of your Web server. </code>

<code>Example: </code><code>/etc/httpd/httpd</code><code>.conf </code>

<code>Example: </code><code>/usr/local/apache2/conf/httpd</code><code>.conf </code>

<code>Example: c:\Program files\apache group\apache\conf\httpd.conf </code>

<code>Config </code><code>file</code> <code>path (</code><code>'none'</code> <code>to skip web server setup):</code>

<code>> </code><code>/usr/local/apache2/conf/httpd</code><code>.conf </code><code>#這裡讓你輸入apache配置檔案的目錄，我這裡的apache是源碼安裝的，是以我的路徑是/usr/local/apache2/conf/httpd.conf </code>

<code>Your web server config </code><code>file</code><code>(s) could not be found. </code>

<code>You will need to setup your web server manually to </code><code>declare</code> <code>AWStats </code>

<code>script as a CGI, </code><code>if</code> <code>you want to build reports dynamically. </code>

<code>See AWStats setup documentation (</code><code>file</code> <code>docs</code><code>/index</code><code>.html)</code>

<code>-----> Update model config </code><code>file</code> <code>'/usr/local/awstats/wwwroot/cgi-bin/awstats.model.conf'</code>

<code> </code><code>File awstats.model.conf updated.</code>

<code>-----> Need to create a new config </code><code>file</code> <code>? </code>

<code>Do you want me to build a new AWStats config</code><code>/profile</code>

<code>file</code> <code>(required </code><code>if</code> <code>first </code><code>install</code><code>) [y</code><code>/N</code><code>] ? y </code><code>#詢問是否建立一個新的配置檔案，這裡填y即可。</code>

<code>-----> Define config </code><code>file</code> <code>name to create </code>

<code>What is the name of your web site or profile analysis ? </code>

<code>Example: www.mysite.com </code>

<code>Example: demo </code>

<code>Your web site, virtual server or profile name: </code>

<code>> www.</code><code>test</code><code>.com </code><code>#這裡讓填寫你的網站域名，虛拟主機名或者随便一個配置名。</code>

<code>-----> Define config </code><code>file</code> <code>path </code>

<code>In </code><code>which</code> <code>directory </code><code>do</code> <code>you plan to store your config </code><code>file</code><code>(s) ? </code>

<code>Default: </code><code>/etc/awstats</code>

<code>Directory path to store config </code><code>file</code><code>(s) (Enter </code><code>for</code> <code>default): </code>

<code>> </code><code>#這裡要填寫你配置檔案存放路徑，我們使用它預設的路徑/etc/awstats，是以直接回車即可。</code>

<code>-----> Create config </code><code>file</code> <code>'/etc/awstats/awstats.www.test.com.conf'</code>

<code>Config </code><code>file</code> <code>/etc/awstats/awstats</code><code>.www.</code><code>test</code><code>.com.conf created.</code>

<code>-----> Add update process inside a scheduler </code>

<code>Sorry, configure.pl does not support automatic add to </code><code>cron</code> <code>yet. </code>

<code>You can </code><code>do</code> <code>it manually by adding the following </code><code>command</code> <code>to your </code><code>cron</code><code>: </code>

<code>/usr/local/awstats/wwwroot/cgi-bin/awstats</code><code>.pl -update -config=www.</code><code>test</code><code>.com </code>

<code>Or </code><code>if</code> <code>you have several config files and prefer having only one </code><code>command</code><code>: </code>

<code>/usr/local/awstats/tools/awstats_updateall</code><code>.pl now </code>

<code>Press ENTER to </code><code>continue</code><code>... </code><code>#提示不能自動加入crontab定時任務，需要稍後自己添加，我們按回車繼續即可。</code>

<code>A SIMPLE config </code><code>file</code> <code>has been created: </code><code>/etc/awstats/awstats</code><code>.www.</code><code>test</code><code>.com.conf </code>

<code>You should have a </code><code>look</code> <code>inside to check and change manually main parameters. </code>

<code>You can </code><code>then</code> <code>manually update your statistics </code><code>for</code> <code>'www.test.com'</code> <code>with </code><code>command</code><code>: </code>

<code>> perl awstats.pl -update -config=www.</code><code>test</code><code>.com </code>

<code>You can also build static report pages </code><code>for</code> <code>'www.test.com'</code> <code>with </code><code>command</code><code>: </code>

<code>> perl awstats.pl -output=pagetype -config=www.</code><code>test</code><code>.com</code>

<code>Press ENTER to finish... </code><code>#提示配置檔案建立完成和如何更新配置及建立靜态報告頁，這裡我們回車即可結束這個配置向導。</code>

<code>[root@node6 tools]</code><code># cd /etc/awstats/ </code>

<code>awstats.www.</code><code>test</code><code>.com.conf</code>

<code>[root@node6 awstats]</code><code># vim awstats.www.test.com.conf #這個配置檔案有很多配置，我們這裡隻講解重點配置。</code>

<code>LogFile=</code><code>"/log/www/access_%YYYY-24%MM-24%DD-24.log"</code> <code>#日志檔案存放路徑，其中%YYYY-24%MM-24%DD是指年月日模式</code>

<code>DirData=</code><code>"/var/lib/awstats"</code> <code>#建立生成的資料路徑</code>

<code>Lang=</code><code>"cn"</code> <code>#預設語言中文</code>

<code>SkipHosts=</code><code>"127.0.0.1 REGEX[^192\.168\.]"</code> <code>#本地及内部的通路不做分析統計</code>

<code>LevelForWormsDetection=2 </code><code>#日志等級，不對警告日志進行統計</code>

好了，到這裡我們awstats配置檔案就修改完成。

(5).下面我們來修改一下apache配置檔案

<code>[root@node6 www]</code><code># vim /usr/local/apache2/conf/httpd.conf</code>

<code>#CustomLog logs/access_log combined </code>

<code>CustomLog </code><code>"|/usr/local/sbin/cronolog /log/www/access_%Y%m%d.log"</code> <code>combined</code>

(6).建立apache日志目錄

<code>[root@node6 ~]</code><code># mkdir -pv /log/www/ </code>

<code>mkdir</code><code>: 已建立目錄 </code><code>"/log"</code>

<code>mkdir</code><code>: 已建立目錄 </code><code>"/log/www/"</code>

<code>[root@node6 www]</code><code># chmod -R 755 /log/www/ </code>

<code>[root@node6 www]</code><code># chown -R daemon /log/www/</code>

(7).重新啟動apache伺服器

<code>[root@node6 www]</code><code># /usr/local/apache2/bin/apachectl restart</code>

(8).建立awstats的資料存放目錄

<code>[root@node6 www]</code><code># mkdir -pv /var/lib/awstats </code>

<code>[root@node6 www]</code><code># chmod 755 /var/lib/awstats</code>

好了，到這裡我們的awstats配置就全部完成了，下面我們來執行一下日志分析。

1.現在我們需要用awstats來生成對apache日志的統計分析資訊。由于我們用的awstats是支援perl的FCGI動态化通路頁面，是以此處我們隻需要直接更新資料庫即可。FCGI程式會自動将資料庫以動态頁面的形式展現出來，無須再手動生成靜态頁面了。

<code>[root@node6 ~]</code><code># /usr/local/awstats/wwwroot/cgi-bin/awstats.pl -update -config=www.test.com</code>

<code>Create</code><code>/Update</code> <code>database </code><code>for</code> <code>config </code><code>"/etc/awstats/awstats.www.test.com.conf"</code> <code>by AWStats version 7.2 (build 1.992) </code>

<code>From data </code><code>in</code> <code>log </code><code>file</code> <code>"/log/www/access_20131228.log"</code><code>... </code>

<code>Phase 1 : First bypass old records, searching new record... </code>

<code>Direct access to last remembered record has fallen on another record. </code>

<code>So searching new records from beginning of log </code><code>file</code><code>... </code>

<code>Phase 2 : Now process new records (Flush </code><code>history</code> <code>on disk after 20000 hosts)... </code>

<code>Jumped lines </code><code>in</code> <code>file</code><code>: 0 </code>

<code>Parsed lines </code><code>in</code> <code>file</code><code>: 155446 </code>

<code>Found 8 dropped records, </code>

<code>Found 0 comments, </code>

<code>Found 0 blank records, </code>

<code>Found 1 corrupted records, </code>

<code>Found 0 old records, </code>

<code>Found 155437 new qualified records.</code>

2.檢視一下awstats資料庫檔案

<code>[root@web ~]</code><code># cd /var/lib/awstats/ </code>

<code>[root@web awstats]</code><code># ls </code>

<code>awstats122013.www.</code><code>test</code><code>.com.txt</code>

3.接下來我們來檢視一下分析結果

1.站點說明

club.test.com （論壇）

2.配置多站點監控

<code>> </code><code>/usr/local/apache2/conf/httpd</code><code>.conf </code>

<code>file</code> <code>(required </code><code>if</code> <code>first </code><code>install</code><code>) [y</code><code>/N</code><code>] ? y</code>

<code>> club.</code><code>test</code><code>.com </code><code>#我們這裡配置域名就是club.test.com，其它地方與www.test.com沒有什麼不同。</code>

好了，下面我們看一下我們生成的配置檔案。

3.檢視一下生成的配置檔案

<code>[root@node6 ~]</code><code># cd /etc/awstats/</code>

<code>[root@node6 awstats]</code><code># ls </code>

<code>awstats.club.</code><code>test</code><code>.com.conf awstats.www.</code><code>test</code><code>.com.conf</code>

1.IP 位址國家、區域顯示問題

Awstats預設安裝之後是不具有識别通路者的國家和地區資訊的，是以需要安裝插件支援Awstats列出通路者的國家和地區，便于分析GeoIP免費的是國家/IP的資料表，GeoIPCityLite是地區的資料表。

(1).MaxMind目前免費提供了GeoIP和GeoIPCityLite資料包：可以定期每個月從以下位址下載下傳

<code>[root@node6 src]</code><code># wget http://geolite.maxmind.com/download/geoip/database/GeoLiteCountry/GeoIP.dat.gz</code>

<code>[root@node6 src]</code><code># wget http://geolite.maxmind.com/download/geoip/database/GeoLiteCity.dat.gz</code>

<code>GeoIP.dat.gz GeoLiteCity.dat.gz</code>

注，下載下傳下來用gunzip解壓即可。

<code>[root@node6 src]</code><code># gunzip GeoIP.dat.gz</code>

<code>[root@node6 src]</code><code># gunzip GeoLiteCity.dat.gz</code>

<code>GeoIP.dat GeoLiteCity.dat</code>

(2).建立的目錄，把兩個檔案移入建立的目錄

<code>[root@node6 src]</code><code># mkdir /var/geoip</code>

<code>[root@node6 src]</code><code># mv GeoIP.dat GeoLiteCity.dat /var/geoip</code>

(3).安裝GeoIP與GeoIP perl庫

<code>[root@node6 src]</code><code># yum install –y GeoIP perl-Geo-IP</code>

(4).修改awstats配置檔案

<code>[root@node6 ~]</code><code># vim /etc/awstats/awstats.www.test.com.conf</code>

<code>#LoadPlugin="geoip GEOIP_STANDARD /pathto/GeoIP.dat" #1429行</code>

<code>#LoadPlugin="geoip_city_maxmind GEOIP_STANDARD /pathto/GeoIPCity.dat" #1438行</code>

<code>LoadPlugin=</code><code>"geoip GEOIP_STANDARD /var/geoip/GeoIP.dat"</code>

<code>LoadPlugin=</code><code>"geoip_city_maxmind GEOIP_STANDARD /var/geoip/GeoLiteCity.dat"</code>

(5).删除舊的統計資料庫

<code>[root@node6 ~]</code><code># rm -rf /var/lib/awstats/*</code>

(6).重新生成一下資料庫

(7).我們再次檢視一下造成的分析結果

好了，到這裡我們的IP 位址國家、區域顯示問題解析，下面我們來解決一下中文亂碼問題。

2.中文亂碼問題

Awstats是一套非常好用的免費的日志分析軟體,他是用perl實作的，支援web log、ftp log和mail log;而且它還能自動根據你浏覽器的字元設定來選取語言(支援中文)。但是預設安裝的話有個問題,就是用來搜尋的關鍵字如果是中文的話顯示出來是亂碼的。之是以搜尋的關鍵字句會變成亂碼的原因，主要是因為現在的搜尋引擎都是使用UTF8，而Awstats是使用decodeUTFkeys這個plugin來處理搜尋引擎的UTF8關鍵字，預設是沒有打開的，是以在顯示上會出現亂碼。要解決中文亂碼問題,方法也很簡單，

在配置檔案中把decodeutfkeys這個plugin打開就可以了。在配置檔案中找到：

#LoadPlugin="decodeutfkeys"

去掉前面的#就可以了。

<code>#LoadPlugin="decodeutfkeys" #1300 行</code>

<code>LoadPlugin=</code><code>"decodeutfkeys"</code>

好了，下面我們來重新通路一下，效果圖如下：

這樣我們的中文就顯示完成了，但是打開LoadPlugin="decodeutfkeys"這個插件在一些機器上會報錯，下面我們來示範一下報錯的情況。

從上面的報錯可以看出這是缺少 Perl 的 URI:Escape子產品，下面我們解決一下這個問題：

<code>[root@node6 src]</code><code># wget http://search.cpan.org/CPAN/authors/id/G/GA/GAAS/URI-1.60.tar.gz</code>

<code>[root@node6 src]</code><code># perl Makefile.PL</code>

<code>[root@node6 src]</code><code># make && make install</code>

下面我們再重新通路一下，效果圖如下：

好了，到這裡我們的awstats中文亂碼問題就解決了。下面我們來總結一下awstats日志分析工具!

九、awstats 總結（來自于百度百科）

AWStats是在Sourceforge上發展很快的一個基于Perl的WEB日志分析工具。相對于另外一個非常優秀的開放源代碼的日志分析工具Webalizer，AWStats的優勢在于：

1.界面友好：可以根據浏覽器直接調用相應語言界面（有簡體中文版）

3.效率比較高：AWStats輸出統計項目比Webalizer豐富了很多，速度仍可以達到Webalizer的1/3左右，對于一個日通路量百萬級的站點，這個速度都是足夠的；

4.配置/定制友善：系統提供了足夠靈活但預設也很合理的配置規則，需要修改的預設配置不超過3，4項就可以開始運作，而且修改和擴充的插件還是比較多的；

5.AWStats的設計者是面向精确的"Human visits"設計的，是以很多搜尋引擎的機器人通路都被過濾掉了，是以有可能比其他日志統計工具統計的數字要低，來自公司内部的通路也可以通過IP過濾設定過濾掉。

6.提供了很多擴充的參數統計功能：使用ExtraXXXX系列配置生成針對具體應用的參數分析會對産品分析非常有用。

看一看這個比較表在最著名統計工具 (AWStats, Analog, Webalizer,...)之間有何特點和不同的想法。AWStats 是一個在GNU通用公共許可證下發行的免費軟體. 你可以看看這個許可證圖表而知道你可以/不可以做。由于AWStats工程來自網上資訊，但也作為CGI、它可以與允許進入Perl、CGI與日志的大型網站主辦提供商一起工作。

好了，今天的部落格就到這裡吧，最後希望大家有所收獲^_^……

本文轉自陳明乾51CTO部落格，原文連結：http://blog.51cto.com/freeloda/1346412，如需轉載請自行聯系原作者

Linux 日志分析工具之awstats詳解

繼續閱讀

MySQL的4種隔離級别？出現問題

Apache2.4.x 配置檔案詳解Apache配置需要了解如下：開始講解：

配置apache支援PHP（win7）

Ubuntu Linux下Apache的配置檔案

XX系統實施過程問題總結

無元件上傳圖檔到資料庫中，最完整解決方案

【MySQL資料庫】資料庫索引事務1.索引2.事務

neo4j之cypher使用文檔

NOSQL安全攻擊

mybatis_入門程式Mybatis入門

samba伺服器的功能

登入plsql 報錯 the account is locked --使用者被鎖

【Linux】UDP廣播封包接收速率問題

SequoiaDB巨杉資料庫C++驅動概述

Linux裝置模型（中）之上層容器

PowerPC平台 Linux移植三