awk指令詳解_netstat指令詳解

它主要的用法和詳解！

(netstat -na 指令)，本文主要是說Linux下的netstat工具，然後詳細說明一下各種網絡連接配接狀态。

netstat -nat |awk ‘{print $6}’|sort|uniq -c|sort -nr

1.netstat指令詳解

其實我常用的是 netstat -tnl | grep 443 (檢視443端口是否被占用)，如果有目前是root使用者，我喜歡用netstat -pnl | grep 443 (還可顯示出占用本機443端口的程序PID)。

netstat

功能說明：顯示網絡狀态。

語　　法：netstat [-acCeFghilMnNoprstuvVwx] [-A][--ip]

補充說明：利用netstat指令可讓你得知整個Linux系統的網絡情況。

參　　數：

-a 或–all 顯示所有連線中的Socket。

-A 或– 列出該網絡類型連線中的相關位址。

-c 或–continuous 持續列出網絡狀态。

-C 或–cache 顯示路由器配置的快取資訊。

-e 或–extend 顯示網絡其他相關資訊。

-F 或 –fib 顯示FIB。

-g 或–groups 顯示多重廣播功能群組組員名單。

-h 或–help 線上幫助。

-i 或–interfaces 顯示網絡界面資訊表單。

-l 或–listening 顯示監控中的伺服器的Socket。

-M 或–masquerade 顯示僞裝的網絡連線。

-n 或–numeric 直接使用IP位址，而不通過域名伺服器。

-N 或–netlink或–symbolic 顯示網絡硬體外圍裝置的符号連接配接名稱。

-o 或–timers 顯示計時器。

-p 或–programs 顯示正在使用Socket的程式識别碼和程式名稱。

-r 或–route 顯示 Routing Table。

-s 或–statistice 顯示網絡工作資訊統計表。

-t 或–tcp 顯示TCP 傳輸協定的連線狀況。

-u或–udp 顯示UDP傳輸協定的連線狀況。

-v或–verbose 顯示指令執行過程。

-V 或–version 顯示版本資訊。

-w或–raw 顯示RAW傳輸協定的連線狀況。

-x或–unix 此參數的效果和指定”-A unix”參數相同。

–ip或–inet 此參數的效果和指定”-A inet”參數相同。

2.網絡連接配接狀态詳解

共有12中可能的狀态，前面11種是按照TCP連接配接建立的三次握手和TCP連接配接斷開的四次揮手過程來描述的。

1)、LISTEN:首先服務端需要打開一個socket進行監聽，狀态為LISTEN.

2)、 SYN_SENT:用戶端通過應用程式調用connect進行active open.于是用戶端tcp發送一個SYN以請求建立一個連接配接.之後狀态置為SYN_SENT.

3)、 SYN_RECV:服務端應發出ACK确認用戶端的 SYN,同時自己向用戶端發送一個SYN. 之後狀态置為SYN_RECV

4)、ESTABLISHED: 代表一個打開的連接配接，雙方可以進行或已經在資料互動了。

5)、 FIN_WAIT1:主動關閉(active close)端應用程式調用close，于是其TCP發出FIN請求主動關閉連接配接，之後進入FIN_WAIT1狀态.

6)、CLOSE_WAIT:被動關閉(passive close)端TCP接到FIN後，就發出ACK以回應FIN請求(它的接收也作為檔案結束符傳遞給上層應用程式),并進入CLOSE_WAIT.

7)、FIN_WAIT2:主動關閉端接到ACK後，就進入了 FIN-WAIT-2 .

8)、LAST_ACK:被動關閉端一段時間後，接收到檔案結束符的應用程 序将調用CLOSE關閉連接配接。這導緻它的TCP也發送一個 FIN,等待對方的ACK.就進入了LAST-ACK .

9)、TIME_WAIT:在主動關閉端接收到FIN後，TCP 就發送ACK包，并進入TIME-WAIT狀态。

10)、CLOSING: 比較少見.

11)、CLOSED: 被動關閉端在接受到ACK包後，就進入了closed的狀态。連接配接結束.

12)、UNKNOWN: 未知的Socket狀态。

SYN: (同步序列編号,Synchronize Sequence Numbers)該标志僅在三次握手建立TCP連接配接時有效。表示一個新的TCP連接配接請求。

ACK: (确認編号,Acknowledgement Number)是對TCP請求的确認标志,同時提示對端系統已經成功接收所有資料。

FIN: (結束标志,FINish)用來結束一個TCP回話.但對應端口仍處于開放狀态,準備接收後續資料。

PS： 在windows下有個小工具挺好的，TCPView is a Windows program that will show you detailed listings of all TCP and UDP endpoints on your system, including the local and remote addresses and state of TCP connections.見 http://technet.microsoft.com/en-us/sysinternals/bb897437 ； 當然如果要詳細分析資料包，可選用sniffer、Wireshark等更強大的工具。

參考資料：

http://linux.sheup.com/linux/4/31225.html

http://hi.baidu.com/mqbest_come_on/blog/item/18526dcef73d791a00e928e5.html

http://www.daxigua.com/archives/1355

系統連接配接狀态篇：

1.檢視TCP連接配接狀态

netstat -nat |awk ‘{print $6}’|sort|uniq -c|sort -rn

netstat -n | awk ‘/^tcp/ {++S[$NF]};END {for(a in S) print a, S[a]}’ 或

netstat -n | awk ‘/^tcp/ {++state[$NF]}; END {for(key in state) print key,””,state[key]}’

netstat -n | awk ‘/^tcp/ {++arr[$NF]};END {for(k in arr) print k,””,arr[k]}’

netstat -n |awk ‘/^tcp/ {print $NF}’|sort|uniq -c|sort -rn

netstat -ant | awk ‘{print $NF}’ | grep -v ‘[a-z]‘ | sort | uniq -c

2.查找請求數請20個IP(常用于查找攻來源)：

netstat -anlp|grep 80|grep tcp|awk ‘{print $5}’|awk -F: ‘{print $1}’|sort|uniq -c|sort -nr|head -n20

netstat -ant |awk ‘/:80/{split($5,ip,”:”);++A[ip[1]]}END{for(i in A) print A[i],i}’ |sort -rn|head -n20

3.用tcpdump嗅探80端口的通路看看誰最高

tcpdump -i eth0 -tnn dst port 80 -c 1000 | awk -F”.” ‘{print $1″.”$2″.”$3″.”$4}’ | sort | uniq -c | sort -nr |head -20

4.查找較多time_wait連接配接

netstat -n|grep TIME_WAIT|awk ‘{print $5}’|sort|uniq -c|sort -rn|head -n20

5.找查較多的SYN連接配接

netstat -an | grep SYN | awk ‘{print $5}’ | awk -F: ‘{print $1}’ | sort | uniq -c | sort -nr | more

6.根據端口列程序

netstat -ntlp | grep 80 | awk ‘{print $7}’ | cut -d/ -f1

網站日志分析篇1(Apache)：

1.獲得通路前10位的ip位址

cat access.log|awk ‘{print $1}’|sort|uniq -c|sort -nr|head -10

cat access.log|awk ‘{counts[$(11)]+=1}; END {for(url in counts) print counts[url], url}’

2.通路次數最多的檔案或頁面,取前20

cat access.log|awk ‘{print $11}’|sort|uniq -c|sort -nr|head -20

3.列出傳輸最大的幾個exe檔案(分析下載下傳站的時候常用)

cat access.log |awk ‘($7~/.exe/){print $10 ” ” $1 ” ” $4 ” ” $7}’|sort -nr|head -20

4.列出輸出大于200000byte(約200kb)的exe檔案以及對應檔案發生次數

cat access.log |awk ‘($10 > 200000 && $7~/.exe/){print $7}’|sort -n|uniq -c|sort -nr|head -100

5.如果日志最後一列記錄的是頁面檔案傳輸時間，則有列出到用戶端最耗時的頁面

cat access.log |awk ‘($7~/.php/){print $NF ” ” $1 ” ” $4 ” ” $7}’|sort -nr|head -100

6.列出最最耗時的頁面(超過60秒的)的以及對應頁面發生次數

cat access.log |awk ‘($NF > 60 && $7~/.php/){print $7}’|sort -n|uniq -c|sort -nr|head -100

7.列出傳輸時間超過 30 秒的檔案

cat access.log |awk ‘($NF > 30){print $7}’|sort -n|uniq -c|sort -nr|head -20

8.統計網站流量(G)

cat access.log |awk ‘{sum+=$10} END {print sum/1024/1024/1024}’

9.統計404的連接配接

awk ‘($9 ~/404/)’ access.log | awk ‘{print $9,$7}’ | sort

10. 統計http status.

cat access.log |awk ‘{counts[$(9)]+=1}; END {for(code in counts) print code, counts[code]}'

cat access.log |awk '{print $9}'|sort|uniq -c|sort -rn

10.蜘蛛分析

檢視是哪些蜘蛛在抓取内容。

/usr/sbin/tcpdump -i eth0 -l -s 0 -w - dst port 80 | strings | grep -i user-agent | grep -i -E 'bot|crawler|slurp|spider'

網站日分析2(Squid篇)

2.按域統計流量

zcat squid_access.log.tar.gz| awk '{print $10,$7}' |awk 'BEGIN{FS="[ /]"}{trfc[$4]+=$1}END{for(domain in trfc){printf "%s%d",domain,trfc[domain]}}'

效率更高的perl版本請到此下載下傳:http://docs.linuxtone.org/soft/tools/tr.pl

資料庫篇

1.檢視資料庫執行的sql

/usr/sbin/tcpdump -i eth0 -s 0 -l -w - dst port 3306 | strings | egrep -i 'SELECT|UPDATE|DELETE|INSERT|SET|COMMIT|ROLLBACK|CREATE|DROP|ALTER|CALL'

系統Debug分析篇

1.調試指令

strace -p pid

2.跟蹤指定程序的PID

gdb -p pid