Apache日志分割的3種方法

一、rotatelogs(apache 自帶的工具）

    rotatelogs是一個配合Apache管道日志功能使用的簡單程式。舉例：

    CustomLog "|bin/rotatelogs /var/logs/logfile 86400" common

    此配置會建立檔案/var/logs/logfile.nnnn，其中的nnnn是名義上的日志啟動時的系統時間 (此時間總是回卷時間的倍數，可以用于cron腳本的同步)。 在回卷時間到達時(在此例中是24小時以後)，會産生一個新的日志。

    CustomLog "|/opt/apache/bin/rotatelogs /opt/apache/logs/access_log.%d-%m-%y 800M" common 

    此配置會在日志檔案大小增長到800兆位元組時回卷該日志。

 概要

    rotatelogs logfile [ rotationtime [ offset ]] | [ filesizeM ]

選項

    logfile 

    它加上基準名就是日志檔案名。如果logfile中包含'%'，則它會被視為用于的strftime(3)的格式字串；否則，它會被自動加上以秒為機關的.nnnnnnnnnn字尾。這兩種格式都表示新的日志開始使用的時間。 

rotationtime 

日志檔案回卷的以秒為機關的間隔時間 

offset 

相對于UTC的時差的分鐘數。如果省略，則假定為0，并使用UTC時間。比如，要指定UTC時差為-5小時的地區的當地時間，則此參數應為-300。 

filesizeM 

指定回卷時以兆位元組為機關的字尾字母M的檔案大小，而不是指定回卷時間或時差。

可移植性：下列日志檔案格式字串可以為所有的strftime(3)實作所支援，見各種擴充庫對應的strftime(3)的手冊。

%A 星期名全稱(本地的) 

%a 3個字元的星期名(本地的) 

%B 月份名的全稱(本地的) 

%b 3個字元的月份名(本地的) 

%c 日期和時間(本地的) 

%d 2位數的一個月中的日期數 

%H 2位數的小時數(24小時制) 

%I 2位數的小時數(12小時制) 

%j 3位數的一年中的日期數 

%M 2位數的分鐘數 

%m 2位數的月份數 

%p am/pm 12小時制的上下午(本地的) 

%S 2位數的秒數 

%U 2位數的一年中的星期數(星期天為一周的第一天) 

%W 2位數的一年中的星期數(星期一為一周的第一天) 

%w 1位數的星期幾(星期天為一周的第一天) 

%X 時間 (本地的) 

%x 日期 (本地的) 

%Y 4位數的年份 

%y 2位數的年份 

%Z 時區名 

%% 符号`%'本身

二、cronolog

在apache的FAQ中，推薦了經過近2年發展已經比較成熟的一個工具cronolog：安裝很簡單：configure=> make=> make install

他的一個配置的例子會讓你了解它有多麼适合日志按天輪循：對httpd.conf做一個很小的修改就能實作：

TransferLog "|/usr/sbin/cronolog /var/log/%Y%m%d.log"

ErrorLog "|/usr/sbin/cronolog /var/%Y%m%d-errors.log"

然後：日志将寫入

/var/log/20090901.log

/var/log/20090901-errors.log

目錄如果不存在的話，将自動建立

#!/usr/bin/perl

my (%month,%date_log);

BEGIN{

  $month{Jan}="01";$month{Feb}="02";$month{Mar}="03";

  $month{Apr}="04";$month{May}="05";$month{Jun}="06";

  $month{Jul}="07";$month{Aug}="08";$month{Sep}="09";

  $month{Oct}="10";$month{Nov}="11";$month{Dec}="12";

} 

my $hostip=GetIp();

my ($hostname)=$hostip=~/\.(\d+)$/;

my $localt;

#print "$hostip\t$hostname\n";

my ($file,$flag)=('',0);

my $tmpfile="";

while(1){

 system("mkdir /var/apache_log") unless(-e '/var/apache_log');

 system("mkdir /var/tmp") unless(-e '/var/tmp'); 

 my ($sec,$min,$hour,$day,$mon,$year) = localtime();

  $mon++;$year -= 100;

  $year="0$year" if($year<10);

  $mon="0$mon" if($mon<10);

  $day="0$day" if($day<10);

 $tmpfile=$hostname.'_'.$year.$mon.$day.".log";

 if($hour>0 && $hour<2){

  if($flag==0){

   $file='';

   my $back_file="_$year$mon$day";

   system("cp /usr/local/apache2/logs/access_log /var/tmp/$back_file");

   split_apache_log($hostname,'/usr/local/apache2/logs/access_log');

   $flag=1;

  }

 }else{

  #print $flag,"\n";

  $flag=0 if($flag==1);

 }

 sleep(1800);

}

#----------------------------------------------------------------------------------------------------------------

sub split_apache_log{

 my ($hostid,$access_log)=@_;

 my %hash=();

 my $flag_new_log=0;

 my $localt = localtime();

 printlog("\nsplit apapche log at $localt\n\n");

 open(LIST,"$access_log")||die "$!";  

 while(<LIST>){

  chomp;                                                                          

  my (@array)=$_=~/^(\S+)\s+\S+\s+\S+\s+\[(\S+).+\]\s+\"(.+)\"\s+(\d+)\s+\S+/;

  next if($array[3] eq '404');

  my $time_str=$array[1];

  $time_str=~s/\//\t/g;

  $time_str=~s/:/\t/g;

  my @t_s=split(/\t/,$time_str);

  next if(not exists $t_s[2]);  

  $t_s[2]=substr($t_s[2],2,2);

  my $date_tmp="$t_s[2]$month{$t_s[1]}$t_s[0]";

  $file=$hostid.'_'."$date_tmp.log";

  push(@{$hash{$file}},$_);

  if(scalar(@{$hash{$file}})>=20000){

    my @arraytmp=splice(@{$hash{$file}}, 0, 20000);

    my $line=join("\n",@arraytmp);     

    if(-e "/var/log/apache/$file"){

     open(OUT,">>/var/log/apache/$file");

     print OUT "$line\n"; 

     close (OUT);      

     }else{

      $flag_new_log=1 if($flag_new_log==0);

     open(OUT,">>/var/apache_log/$file");

     }

  }  

 close(LIST);

 foreach $file(sort {$a cmp $b} keys %hash){

  next if(not exists ${$hash{$file}}[0]);

  my $line=join("\n",@{$hash{$file}});

  if(-e "/var/log/apache/$file"){

  }else{

     close (OUT);

 if($flag_new_log==1){ 

  system("cat /var/apache_log/$tmpfile>$access_log");

  system("rm -fr /var/apache_log/$tmpfile");

  system("mv /var/apache_log/* /var/log/apache/");

 $localt = localtime();

 printlog("\nFinished split apapche log at $localt\n\n"); 

#-----------------------------------------------------------------------------------------------------------------

sub GetIp{

 my $ifc=`ifconfig`;

 my ($ip,$ip1,$ip2); 

 if($ifc=~/eth0/){

  my $str=`ifconfig eth0` ;

  ($ip1)=$str=~/inet addr:(\S+)/ ;

  $ip=$ip1;

 if($ifc=~/eth1/){

  my $str=`ifconfig eth1` ;

  ($ip2)=$str=~/inet addr:(\S+)/ ;

  if($ip1 && ($ip1 ne $ip2)){

   $ip="$ip1 $ip2" ;

   $ip=$ip2;

 return $ip;

#-------------------------------------------------------------------------------------------------------------------

sub printlog{

 my $str=shift;

 open(LOGOUT,">>/var/lib/SplitApacheLog.log");

 print LOGOUT "$str";

 close LOGOUT; 

本文轉自 holy2009 51CTO部落格，原文連結:http://blog.51cto.com/holy2010/426346