天天看點

sarg對squid的日志流量分析報表(按小時,天,周生成)

下載下傳位址:http://sourceforge.net/projects/free-sa/?source=recommended

1.SARG介紹

SARG的全稱是:Squid Analysis Report Generator

SARG非常好用的Squid日志分析工具,它輸出html格式,可以詳細列出了每一位使用者通路internet的站點資訊,時間占用資訊,排名,連接配接次數,通路量,通路量等。

軟體的首頁:http://sarg.sourceforge.net/sarg.php 目前最新的版本是sarg-2.2.5

2、安裝

下載下傳了sarg的最新安裝包執行以下的操作進行安裝:

解壓縮安裝軟體包

#tar zxvf sarg-sarg-2.2.5..tar.gz

#cd sarg-sarg-2.2.5

#./configure

#make

#make install

這樣,就完成了sarg的安裝編譯前一定要有相關的開發庫哦,如gcc。

安裝完可執行檔案是/usr/bin/sarg,配置檔案是/usr/local/sarg/sarg.conf,在 /usr/local/sarg目錄下還有一些其他的檔案和目錄。

3、配置

安裝成功後,在/usr/local/sarg/目錄中,有一個配置檔案為sarg.conf,我們通過修改配置檔案的參數,來達到對日志進行有規則的分析。也可以通過指令行參數實作。

我的相關配置如下

language english             指定網頁報告檔案的語言類型,不支援中文網頁。

access_log /var/logs/squid/access.log  指定squid日志檔案絕對路徑。

title "squid user access reports"    指定網頁标題

output_dir /var/www/html/sarg      指定網頁報告檔案輸出路徑

overwrite_report no          是否覆寫報告,當那個日期的報告已經存在時是否覆寫掉

mail_utility mail

topsites_num 100

exclude_codes /usr/local/sarg/exclude_codes

max_elapsed 28800000

charset UTF-8

exclude_hosts /usr/local/sarg/norecords

resolve_ip no

usertab /etc/squid/sarg.usertab     IP和使用者的映射表(報表中可以顯示使用者名哦)

user_ip no                使用使用者名顯示

指定不計入排序的站點清單檔案名為/usr/local/sarg/norecords,對于用戶端 通路的這些站點,将不會被top排序中,norecords檔案樣本:

google.com

microsoft.com

baidu.com

至此,sarg.conf檔案的配置基本可以了

附:

sarg的指令行解釋如下:

# sarg -h

sarg: usage [options...]

-a hostname or ip address    指定不計入排序的主機名稱或位址

-b useragent log          使用者代理日志檔案輸出

-c exclude file           指定不計入排序的站點清單檔案名為/usr/local/sarg/norecords,對于用戶端通路的這

些站點,将不會被top排序中

-d date from-until dd/mm/yyyy-dd/mm/yyyy   指定日期範圍

-e email address to send reports (stdout for console)   指定報告接收者郵件

-f config file (/usr/local/sarg/sarg.conf)  指定配置檔案

-g date format [e=europe -> dd/mm/yy, u=usa -> mm/dd/yy] 指定輸入的日期格式

-i reports by user and ip address          指定用戶端排序采用使用者名或者ip位址

-l input log                指定squid日志檔案絕對路徑。

-o output dir               指定網頁報告檔案輸出路徑,推薦使用webmaster或其他非admin使用者運作

sarg。

-p use ip address instead userid (reports)  使用ip位址作為userid域

-w temporary dir            指定臨時檔案目錄,請确認該目錄所在的分區足夠大先,1g以上。

4、運作

一般來說,我們希望系統可以自動生成日志分析以後的結果。在這裡,我們利用cron來實作,把以下的相應腳本放到cron裡面去執行即可

下面是我寫的一些腳本.

sarg小時生成報表

#vim /root/sarg-hour.sh

-------------------------------------

#!/bin/bash

Date=$(date -d "1 hours ago " +"%y%m%d%H")

/usr/sbin/squid -k rotate

sleep 10

Squiddir='/var/log/squid/'

Access='access.log.*'

/bin/mv  ${Squiddir}${Access}  ${Squiddir}access${Date}.log

/usr/bin/sarg -o /var/www/html/hours  -l  ${Squiddir}access${Date}.log

記的加入上可以執行

#chmod a+x /root/sarg-hour.sh

寫進crontab中吧,我們隻上班時間記錄

0 9,10,11,12,13,14,15,16,17,18,19 * * * /root/sarg-hour.sh

sarg日報表:

#vim /root/sarg-day.sh

#day

Date=$(date -d "1 day ago " +"%y%m%d")

/bin/sort -m -t " " -k 1 -o $Squiddir${Date}log_all.log ${Squiddir}access${Date}*.log

/bin/rm access${Date}*.log -rf

/usr/bin/sarg -o /var/www/html/days  -l  ${Squiddir}${Date}log_all.log

#chmod a+x /root/sarg-day.sh

寫進crontab中吧,每天1點20運作統計昨天的内容

20 1 * * * /root/sarg-day.sh

sarg周報告:

#vim /root/sarg-week.sh

#week

Date=$(date -d "1 week ago " +"%y%m%d")

YESTERDAY=$(date --date "1 week ago" +%d/%m/%Y)

/bin/sort -m -t " " -k 1 -o $Squiddir${Date}weeklog_all.log   ${Squiddir}*log_all.log

/usr/bin/sarg -o /var/www/html/week  -l  ${Squiddir}${Date}weeklog_all.log

#chmod a+x /root/sarg-week.sh

寫進crontab中吧,每周5晚上統計一周的流量

40 * * * 5 /root/sarg-week.sh

3月21日更新:修改天,周統計的路徑問題

http://www.linuxidc.com/Linux/2012-07/65803.htm