天天看點

郵件告警系統

需求: 使用shell定制各種個性化告警工具,但需要統一化管理、規範化管理。

思路:指定一個腳本包,包含主程式、子程式、配置檔案、郵件引擎、輸出日志等。

主程式:作為整個腳本的入口,是整個系統的命脈。

配置檔案:是一個控制中心,用它來開關各個子程式,指定各個相關聯的日志檔案。

子程式:這個才是真正的監控腳本,用來監控各個名額。

郵件引擎:是由一個php程式來實作,它可以定義發郵件的伺服器、發郵件人以及收郵件人。

輸出日志:整個監控系統要有日志輸出。

要求:我們的機器角色多種多樣,但是所有機器上都要部署同樣的監控系統,也就說所有機器不管什麼角色,整個程式架構都是一緻的,不同的地方在于根據不同的角色,定制不同的配置檔案。

程式架構:   

                                         (主目錄 mon)

                 ____________________|_______________________________

                |              |                    |                       |                             |

               bin          conf            shares                  mail                         log

           [main.sh] [ mon.conf] [load.sh 502.sh]  [mail.php mail.sh] [  mon.log  err.log ]

bin下是主程式

conf下是配置檔案

shares下是各個監控腳本

mail下是郵件引擎

log下是日志。

1. main.sh

  1. #!/bin/bash
  2. #Written by aming.
  3. # 是否發送郵件的開關
  4. export send=1     //對send進行環境變量指派:1為開,0為關。如果關閉則郵件不會發送,當你已經知道并着手時可以将此設定為0
  5. # 過濾ip位址
  6. export addr=`/sbin/ifconfig |grep -A1 'eth0' |grep addr: |awk '{print $2}'|awk -F: '{print $2}'`      //對addr進行環境變量指派:addr=本機IP
  7. dir=`pwd`        //dir為目前目錄路徑
  8. # 隻需要最後一級目錄名
  9. last_dir=`echo $dir|awk -F'/' '{print $NF}'`  //awk出最後一段内容即目前目錄
  10. # 下面的判斷目的是,保證執行腳本的時候,我們在bin目錄裡,不然監控腳本、郵件和日志很有可能找不(但是我覺得這裡有bug,萬一main.sh的bin目錄是在其它路徑下呢)
  11. if [ $last_dir == "bin" ] || [ $last_dir == "bin/" ]; then
  12.     conf_file="../conf/mon.conf"    //如果目錄存在則進行變量指派(這裡我們需要将各個配置和腳本放在指定的目錄下
  13. else
  14.     echo "you shoud cd bin dir //如果目錄不對則在視窗列印出提示,退出主程
  15.     exit
  16. fi
  17. #目錄正确條件下
  18. exec 1>>../log/mon.log 2>>../log/err.log //标準輸出追加重定向到mon.log;錯誤追加到err.lo
  19. echo "`date +"%F %T"` load average"  //列印出 時間 ,執行load.sh腳
  20. /bin/bash ../shares/load.sh
  21. #先檢查配置檔案中是否需要監控502
  22. if grep -q 'to_mon_502=1' $conf_file; then  //grep -q 隻作為判斷條件,若1則對log進行環境變量指派,即mon.conf中的/data/log/xxx.xxx.com/access.log,執行502.sh腳本
  23.     export log=`grep 'logfile=' $conf_file |awk -F '=' '{print $2}' |sed 's/ //g'`
  24.     /bin/bash  ../shares/502.sh

主程式隻添加了502監控,根據需求我們可以在mon.conf和main.sh中按模闆添加監控項目。但是需要将整個告警系統copy過去,保證系統的完整性。

2.  配置檔案   mon.conf

  1. ## to config the options if to monitor
  2. ## cdb  主要定義mysql的伺服器位址、端口以及user、password
  3. to_mon_cdb=0   ##0 or 1, default 0,0 not monitor, 1 monitor
  4. cdb_ip=10.20.3.13
  5. cdb_port=3315
  6. cdb_user=username
  7. cdb_pass=passwd
  8. ## httpd   如果是1則監控,為0不監控
  9. to_mon_httpd=0
  10. ## php 如果是1則監控,為0不監控
  11. to_mon_php_socket=0
  12. ## http_code_502  需要定義通路日志的路徑
  13. to_mon_502=1
  14. logfile=/data/log/xxx.xxx.com/access.log
  15. ## request_count   定義日志路徑以及域名
  16. to_mon_request_count=0
  17. req_log=/data/log/www.discuz.net/access.log
  18. domainname=www.discuz.net

mon.conf配置檔案還是很好了解的。

3. load.sh

  1. #! /bin/bash
  2. ##Writen by aming##
  3. load=`uptime |awk -F 'average:' '{print $2}'|cut -d',' -f1|sed 's/ //g' |cut -d. -f1`   //load是1分鐘負載的整數部分數值
  4. if [ $load -gt 20 ] && [ $send -eq "1" ]   //如果負載大于20(具體看自己系統硬體條件)且開啟發送郵件則将“時間+負載”重定向到load.tmp,執行發送郵件腳本“$1 $2” $3,“$1 $2”是主題,$3是内容,跟mail.sh格式相同
  5.     echo "$addr `date +%T` load is $load" >../log/load.tmp
  6.     /bin/bash ../mail/mail.sh $addr\_load $load ../log/load.tmp
  7. echo "`date +%T` load is $load"    //列印“時間+負載”

4. 502.sh

  1. d=`date -d "-1 min" +%H:%M`     //将一分鐘前的時間指派給d
  2. c_502=`grep :$d:  $log  |grep ' 502 '|wc -l`   //過濾統計/data/log/xxx.xxx.com/access.log中502的次數
  3. if [ $c_502 -gt 10 ] && [ $send == 1 ]; then       //如果一分鐘前日志中502的次數超過10次,且郵件開,則将“IP+時間+502次數”重定向到502.tmp,發送郵件
  4.      echo "$addr $d 502 count is $c_502">../log/502.tmp
  5.      /bin/bash ../mail/mail.sh $addr\_502 $c_502  ../log/502.tmp
  6. echo "`date +%T` 502 $c_502"    //列印“時間+502次數”

*擴充disk.sh

  1. rm -f ../log/disk.tmp
  2. for r in `df -h |awk -F '[ %]+' '{print $5}'|grep -v Use`   //過濾出磁盤Use的三個資料
  3. do
  4.     if [ $r -gt 90 ] && [ $send -eq "1" ]      //如果有資料大于90,且郵件開,則将“時間+Use值追加重定向到disk.tmp(遺憾的是不清楚是哪個盤Use大于90)
  5. then
  6.     echo "$addr `date +%T` disk useage is $r" >>../log/disk.tmp
  7. if [ -f ../log/disk.tmp ]
  8.     df -h >> ../log/disk.tmp
  9.     /bin/bash ../mail/mail.sh $addr\_disk $r ../log/disk.tmp
  10.     echo "`date +%T` disk useage is nook"
  11.     echo "`date +%T` disk useage is ok"

5. mail.php

  1. <?php
  2. class Smtp
  3. {
  4.     /* Public Variables */
  5.     var $smtp_port;
  6.     var $time_out;
  7.     var $host_name;
  8.     var $log_file;
  9.     var $relay_host;
  10.     var $debug;
  11.     var $auth;
  12.     var $user;
  13.     var $pass;
  14.     /* Private Variables */
  15.     var $sock;
  16.     /* Constractor */
  17.     function Smtp($relay_host = "", $smtp_port = 25,$auth = false,$user,$pass)
  18.     {
  19.         $this->debug = FALSE;
  20.         $this->smtp_port = $smtp_port;
  21.         $this->relay_host = $relay_host;
  22.         $this->time_out = 30; //is used in fsockopen()
  23.         #
  24.         $this->auth = $auth;//auth
  25.         $this->user = $user;
  26.         $this->pass = $pass;
  27.         $this->host_name = "localhost"; //is used in HELO command
  28.         $this->log_file = "";
  29.         $this->sock = FALSE;
  30.     }
  31.     /* Main Function */
  32.     function sendmail($to, $from, $subject = "", $body = "", $mailtype, $cc = "", $bcc = "", $additional_headers = "")
  33.         $mail_from = $this->get_address($this->strip_comment($from));
  34.         $body = ereg_replace("(^|(\r\n))(\.)", "\1.\3", $body);
  35.         $header = "MIME-Version:1.0\r\n";
  36.         if($mailtype=="HTML"){
  37.             $header .= "Content-Type:text/html\r\n";
  38.         }
  39.         $header .= "To: ".$to."\r\n";
  40.         if ($cc != "") {
  41.             $header .= "Cc: ".$cc."\r\n";
  42.         $header .= "From: $from<".$from.">\r\n";
  43.         $header .= "Subject: ".$subject."\r\n";
  44.         $header .= $additional_headers;
  45.         $header .= "Date: ".date("r")."\r\n";
  46.         $header .= "X-Mailer:By Redhat (PHP/".phpversion().")\r\n";
  47.         list($msec, $sec) = explode(" ", microtime());
  48.         $header .= "Message-ID: <".date("YmdHis", $sec).".".($msec*1000000).".".$mail_from.">\r\n";
  49.         $TO = explode(",", $this->strip_comment($to));
  50.             $TO = array_merge($TO, explode(",", $this->strip_comment($cc)));
  51.         if ($bcc != "") {
  52.             $TO = array_merge($TO, explode(",", $this->strip_comment($bcc)));
  53.         $sent = TRUE;
  54.         foreach ($TO as $rcpt_to) {
  55.             $rcpt_to = $this->get_address($rcpt_to);
  56.             if (!$this->smtp_sockopen($rcpt_to)) {
  57.                 $this->log_write("Error: Cannot send email to ".$rcpt_to."\n");
  58.                 $sent = FALSE;
  59.                 continue;
  60.             }
  61.             if ($this->smtp_send($this->host_name, $mail_from, $rcpt_to, $header, $body)) {
  62.                 $this->log_write("E-mail has been sent to <".$rcpt_to.">\n");
  63.             } else {
  64.                 $this->log_write("Error: Cannot send email to <".$rcpt_to.">\n");
  65.             fclose($this->sock);
  66.             $this->log_write("Disconnected from remote host\n");
  67.         return $sent;
  68. /* Private Functions */
  69.    function smtp_send($helo, $from, $to, $header, $body = "")
  70.         if (!$this->smtp_putcmd("HELO", $helo)) {
  71.             return $this->smtp_error("sending HELO command");
  72.         #auth
  73.         if($this->auth){
  74.             if (!$this->smtp_putcmd("AUTH LOGIN", base64_encode($this->user))) {
  75.                 return $this->smtp_error("sending HELO command");
  76.             if (!$this->smtp_putcmd("", base64_encode($this->pass))) {
  77.         if (!$this->smtp_putcmd("MAIL", "FROM:<".$from.">")) {
  78.             return $this->smtp_error("sending MAIL FROM command");
  79.         if (!$this->smtp_putcmd("RCPT", "TO:<".$to.">")) {
  80.             return $this->smtp_error("sending RCPT TO command");
  81.         if (!$this->smtp_putcmd("DATA")) {
  82.             return $this->smtp_error("sending DATA command");
  83.         if (!$this->smtp_message($header, $body)) {
  84.             return $this->smtp_error("sending message");
  85.         if (!$this->smtp_eom()) {
  86.             return $this->smtp_error("sending . [EOM]");
  87.         if (!$this->smtp_putcmd("QUIT")) {
  88.             return $this->smtp_error("sending QUIT command");
  89.         return TRUE;
  90.     function smtp_sockopen($address)
  91.         if ($this->relay_host == "") {
  92.             return $this->smtp_sockopen_mx($address);
  93.         } else {
  94.             return $this->smtp_sockopen_relay();
  95.     function smtp_sockopen_relay()
  96.         $this->log_write("Trying to ".$this->relay_host.":".$this->smtp_port."\n");
  97.         $this->sock = @fsockopen($this->relay_host, $this->smtp_port, $errno, $errstr, $this->time_out);
  98.         if (!($this->sock && $this->smtp_ok())) {
  99.             $this->log_write("Error: Cannot connenct to relay host ".$this->relay_host."\n");
  100.             $this->log_write("Error: ".$errstr." (".$errno.")\n");
  101.             return FALSE;
  102.         $this->log_write("Connected to relay host ".$this->relay_host."\n");
  103.     function smtp_sockopen_mx($address)
  104.         $domain = ereg_replace("^.+@([^@]+)[        DISCUZ_CODE_5        ]quot;, "\1", $address);
  105.         if (!@getmxrr($domain, $MXHOSTS)) {
  106.             $this->log_write("Error: Cannot resolve MX \"".$domain."\"\n");
  107.         foreach ($MXHOSTS as $host) {
  108.             $this->log_write("Trying to ".$host.":".$this->smtp_port."\n");
  109.            $this->sock = @fsockopen($host, $this->smtp_port, $errno, $errstr, $this->time_out);
  110.             if (!($this->sock && $this->smtp_ok())) {
  111.                 $this->log_write("Warning: Cannot connect to mx host ".$host."\n");
  112.                 $this->log_write("Error: ".$errstr." (".$errno.")\n");
  113.                continue;
  114.             $this->log_write("Connected to mx host ".$host."\n");
  115.             return TRUE;
  116.         $this->log_write("Error: Cannot connect to any mx hosts (".implode(", ", $MXHOSTS).")\n");
  117.        return FALSE;
  118.     function smtp_message($header, $body)
  119.       fputs($this->sock, $header."\r\n".$body);
  120.         $this->smtp_debug("> ".str_replace("\r\n", "\n"."> ", $header."\n> ".$body."\n> "));
  121.     function smtp_eom()
  122.    {
  123.         fputs($this->sock, "\r\n.\r\n");
  124.         $this->smtp_debug(". [EOM]\n");
  125.         return $this->smtp_ok();
  126.     function smtp_ok()
  127.         $response = str_replace("\r\n", "", fgets($this->sock, 512));
  128.         $this->smtp_debug($response."\n");
  129.         if (!ereg("^[23]", $response)) {
  130.             fputs($this->sock, "QUIT\r\n");
  131.             fgets($this->sock, 512);
  132.             $this->log_write("Error: Remote host returned \"".$response."\"\n");
  133.     function smtp_putcmd($cmd, $arg = "")
  134.         if ($arg != "") {
  135.            if($cmd=="") $cmd = $arg;
  136.             else $cmd = $cmd." ".$arg;
  137.         fputs($this->sock, $cmd."\r\n");
  138.         $this->smtp_debug("> ".$cmd."\n");
  139.     function smtp_error($string)
  140.         $this->log_write("Error: Error occurred while ".$string.".\n");
  141.         return FALSE;
  142.     function log_write($message)
  143.         $this->smtp_debug($message);
  144.         if ($this->log_file == "") {
  145.                 return TRUE;
  146.         $message = date("M d H:i:s ").get_current_user()."[".getmypid()."]: ".$message;
  147.         if (!@file_exists($this->log_file) || !($fp = @fopen($this->log_file, "a"))) {
  148.             $this->smtp_debug("Warning: Cannot open log file \"".$this->log_file."\"\n");
  149.             return FALSE;;
  150.         flock($fp, LOCK_EX);
  151.         fputs($fp, $message);
  152.         fclose($fp);
  153.     function strip_comment($address)
  154.         $comment = "\([^()]*\)";
  155.        while (ereg($comment, $address)) {
  156.             $address = ereg_replace($comment, "", $address);
  157.         return $address;
  158.     function get_address($address)
  159.         $address = ereg_replace("([ \t\r\n])+", "", $address);
  160.         $address = ereg_replace("^.*<(.+)>.*[        DISCUZ_CODE_5        ]quot;, "\1", $address);
  161.     function smtp_debug($message)
  162.         if ($this->debug) {
  163.         echo $message;
  164. }
  165. $file = $argv[2];
  166. $smtpserver = "smtp.qq.com";//SMTP伺服器
  167. $smtpserverport = "25";//SMTP伺服器端口
  168. $smtpusermail = "[email protected]";//SMTP伺服器的使用者郵箱
  169. $smtpemailto = "[email protected]";//發送給誰
  170. $smtpuser = "1198658";//SMTP伺服器的使用者帳号
  171. $smtppass = "1212lss";//SMTP伺服器的使用者密碼   (注意的是:這個密碼是郵箱的獨立秘密,而不是郵箱的登陸密碼)
  172. $mailsubject = $argv[1];//郵件主題
  173. $mailbody = file_get_contents($file);//郵件内容
  174. $mailtype = "HTML";//郵件格式(HTML/TXT),TXT為文本郵件
  175. $smtp = new smtp($smtpserver,$smtpserverport,true,$smtpuser,$smtppass);//這裡面的一個true是表示使用身份驗證,否則不使用身份驗證.
  176. //$smtp->debug = TRUE;//是否顯示發送的調試資訊
  177. $smtp->sendmail($smtpemailto, $smtpusermail, $mailsubject, $mailbody, $mailtype);
  178. ?>

好吧,不懂php,隻能将參數理一理。

要想發郵件的話,首先要有php支援,若你沒有安裝過lamp或者lnmp,則需要運作yum install -y php 安裝。

然後運作  php  mail.php  "郵箱主題寫在這裡" "/tmp/test.txt"   。其中,/tmp/test.txt 内容為郵件内容。

6. mail.sh

  1. log=$1   //$1是發送郵件時的$1,比如502.sh中的$addr\_502
  2.     t_s=`date +%s`   //記錄目前時間
  3.     t_s2=`date -d "2 hours ago" +%s`   //記錄2個小時之前的時間
  4.     if [ ! -f /tmp/$log ]    //如果檔案不存在,則将2個小時之前的時間重定向到這個檔案
  5.     then
  6.         echo $t_s2 > /tmp/$log
  7.     fi
  8.     t_s2=`tail -1 /tmp/$log|awk '{print $1}'`   //如果檔案存在,将這個檔案最後一個時間指派給ts_2
  9.     echo $t_s>>/tmp/$log   //将目前時間追加重定向到這個檔案中
  10.     v=$[$t_s-$t_s2]           //記錄倆次時間的間隔
  11.         echo $v
  12.     if [ $v -gt 3600 ]     //第一次執行這個腳本時,因為/tmp/$log的最後一個時間是2個小時之前,相當于7200,肯定是大于3600的,是以會先發送一份郵件;但如果後面一直報警(要注意的是我們在crontab任務計劃中是1分鐘執行一次main.sh),$v會小于3600也就是1小時,則腳本會不發送郵件,而對$log.txt裡的數值從0進行累加,直到大于10,再發送一封郵件,并重新将0重定向到$log.txt,等待下一輪10
  13.     then   
  14.         /dir/to/php ../mail/mail.php "$1 $2" "$3"
  15.         echo "0" > /tmp/$log.txt
  16.     else   
  17.         if [ ! -f /tmp/$log.txt ]
  18.         then
  19.             echo "0" > /tmp/$log.txt
  20.         fi
  21.         nu=`cat /tmp/$log.txt`
  22.         nu2=$[$nu+1]
  23.         echo $nu2>/tmp/$log.txt
  24.         if [ $nu2 -gt 10 ]
  25.         then   
  26.             /dir/to/php ../mail/mail.php "trouble continue 10 min $1  $2 " "$3"
  27.              echo "0" > /tmp/$log.txt

繼續閱讀