Nginx狀态監控及日志分析

【轉載請注明出處】： https://www.jianshu.com/p/59ed801213ca

1、Nginx狀态監控

Nginx提供了一個内置的狀态資訊監控頁面可用于監控Nginx的整體通路情況，這個功能由

ngx_http_stub_status_module

子產品進行實作。

使用

nginx -V 2>&1 | grep -o with-http_stub_status_module

指令檢測目前Nginx是否有status功能，如果輸出

ngx_http_stub_status_module

則說明是有的，如果沒有可以在編譯時加上此子產品。

預設情況下，status是關閉的，我們需要開啟，并指定uri來通路資料。

server {
    listen 80;
    server_name default_server;
    location /status {
       stub_status on; 
       allow 114.247.125.227;
    }
}           

allow配置隻允許指定的Ip才能通路nginx status功能，去掉就是不限制。

重新開機Nginx之後，浏覽器通路

http://{IP}/status

檢視狀态監控資訊

• Active connections：目前的用戶端活動連接配接數(包含正在等待的用戶端連接配接),相當于TCP連接配接狀态處于Established和SYN_ACK
• accepts: 已接受的用戶端連接配接總數，即已被worker程序接收的連接配接
• handled: 已被處理的連接配接總數
• requests: 用戶端的http請求總數
• Reading: 目前正在讀取的http請求數（讀取到http請求首部）
• Writing: 目前準備響應的連接配接數（寫入到http響應首部）
• Waiting: 目前處于等待的空閑用戶端請求數, 等待的時間為Reading和Writing之間的間隔

采集到Nginx資料之後就可以用監控工具給監控起來了。

2、日志分析

Nginx預設的日志格式配置可以在

/etc/nginx/nginx.conf

中找到

log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
                      '$status $body_bytes_sent "$http_referer" '
                      '"$http_user_agent" "$http_x_forwarded_for" $request_time $upstream_response_time';
           

列印的日志執行個體

39.105.66.117 - mp [11/Sep/2019:19:03:01 +0800] "POST /salesplatform-gateway/users HTTP/1.1" 200 575 "-" "Apache-HttpClient/4.5.5 (Java/1.8.0_161)" "-" 0.040 0.040
39.105.66.117 - mp [11/Sep/2019:19:03:08 +0800] "POST /salesplatform-gateway/users HTTP/1.1" 200 575 "-" "Apache-HttpClient/4.5.5 (Java/1.8.0_161)" "-" 0.008 0.008           

• $remote_addr: 用戶端的ip位址
• $remote_user: 用于記錄遠端用戶端的使用者名稱
• $time_local: 用于記錄通路時間和時區
• $request: 用于記錄請求的url以及請求方法
• $status: 響應狀态碼
• $body_bytes_sent: 給用戶端發送的檔案主體内容位元組數
• $http_referer: 可以記錄使用者是從哪個連結通路過來的
• $http_user_agent: 使用者所使用的浏覽器資訊
• $http_x_forwarded_for: 可以記錄用戶端IP，通過代理伺服器來記錄用戶端的ip位址
• $request_time: 指的是從接受使用者請求的第一個位元組到發送完響應資料的時間，即$request_time包括接收用戶端請求資料的時間、後端程式響應的時間、發送響應資料給用戶端的時間
• $upstream_response_time: 用于接收來自上遊伺服器的響應的時間

常用分析指令

1、根據通路IP統計UV

awk '{print $1}' paycenteraccess.log | sort -n | uniq | wc -l           

2、查詢通路最頻繁的IP(前10)

awk '{print $1}' /var/log/nginx/access.log | sort -n |uniq -c | sort -rn | head -n 10           

3、檢視某一時間段的IP通路量(1-8點)

awk '$4 >="[25/Mar/2020:01:00:00" && $4 <="[25/Mar/2020:08:00:00"' /var/log/nginx/access.log | awk '{print $1}' | sort | uniq -c| sort -nr |wc -l           

4、檢視通路100次以上的IP

awk '{print $1}' /var/log/nginx/access.log | sort -n |uniq -c |awk '{if($1 >100) print $0}'|sort -rn           

5、檢視指定ip通路過的url和通路次數

grep "39.105.67.140" /var/log/nginx/access.log|awk '{print $7}' |sort |uniq -c |sort -n -k 1 -r           

6、根據通路URL統計PV

cat /var/log/nginx/access.log |awk '{print $7}' |wc -l           

7、查詢通路最頻繁的URL(前10)

awk '{print $7}' /var/log/nginx/access.log | sort |uniq -c | sort -rn | head -n 10           

8、檢視通路最頻的URL([排除/api/appid])(前10)

grep -v '/api/appid' /var/log/nginx/access.log|awk '{print $7}' | sort |uniq -c | sort -rn | head -n 10           

9、檢視頁面通路次數超過100次的頁面

cat /var/log/nginx/access.log | cut -d ' ' -f 7 | sort |uniq -c | awk '{if ($1 > 100) print $0}' | less           

10、檢視最近1000條記錄，通路量最高的頁面

tail -1000 /var/log/nginx/access.log |awk '{print $7}'|sort|uniq -c|sort -nr|less           

11、統計每小時的請求數,top10的時間點(精确到小時)

awk '{print $4}' /var/log/nginx/access.log |cut -c 14-15|sort|uniq -c|sort -nr|head -n 10           

12、統計每分鐘的請求數,top10的時間點(精确到分鐘)

awk '{print $4}' /var/log/nginx/access.log |cut -c 14-18|sort|uniq -c|sort -nr|head -n 10           

13、統計每秒的請求數,top10的時間點(精确到秒)

awk '{print $4}' /var/log/nginx/access.log |cut -c 14-21|sort|uniq -c|sort -nr|head -n 10           

14、查找指定時間段的日志

awk '$4 >="[25/Mar/2020:01:00:00" && $4 <="[25/Mar/2020:08:00:00"' /var/log/nginx/access.log            

15、列出傳輸時間超過 0.6 秒的url，顯示前10條

cat /var/log/nginx/access.log |awk '(substr($NF,2,5) > 0.6){print $4,$7,substr($NF,2,5)}' | awk -F '"' '{print $1,$2,$3}' |sort -k3 -rn | head -10           

16、列出/api/appid請求時間超過0.6秒的時間點

cat /var/log/nginx/access.log |awk '(substr($NF,2,5) > 0.6 && $7~/\/api\/appid/){print $4,$7,substr($NF,2,5)}' | awk -F '"' '{print $1,$2,$3}' |sort -k3 -rn | head -10           

17、擷取前10條最耗時的請求時間、url、耗時

cat /var/log/nginx/access.log |awk '{print $4,$7,substr($NF,2,5)}' | awk -F '"' '{print $1,$2,$3}' | sort -k3 -rn | head -10