AWK一些常用的操作
awk介紹
awk基本用法
awk變量
awk格式化
awk操作符
awk條件判斷
awk循環
awk數組
awk函數
Awk介紹：
awk：Aho, Weinberger, Kernighan，報告生成器，格式化文本輸出、處理文本檔案時，對文檔中對字段有條件對執行，有條件顯示
有多種版本：New awk（nawk），GNU awk（ gawk）
基本文法：
awk [options] ‘program’ var=value file…
awk [options] -f programfile var=value file…
awk [options] 'BEGIN{ action;… } pattern{ action;… } END{ action;… }' file ...
awk 程式通常由：BEGIN語句塊、能夠使用模式比對的通用語句塊、END語句塊，共3部分組成
program通常是被單引号或雙引号中
選項：
-F：指明輸入時用到的字段分隔符
-v var=value：自定義變量
awk工作原理簡要說明
第一步：執行BEGIN{action;… }語句塊中的語句
第二步：從檔案或标準輸入(stdin)讀取一行，然後執行pattern{ action;… }語句塊，它逐行掃描檔案，從第一行到最後一行重複這個過程，直到檔案全部被讀取完畢。
第三步：當讀至輸入流末尾時，執行END{action;…}語句塊
說明：
BEGIN語句塊在awk開始從輸入流中讀取行之前被執行，這是一個可選的語句塊，比如變量初始化、列印輸出表格的表頭等語句通常可以寫在BEGIN語句塊中
END語句塊在awk從輸入流中讀取完所有的行之後即被執行，比如列印所有行的分析結果這類資訊彙總都是在END語句塊中完成，它也是一個可選語句塊
pattern語句塊中的通用指令是最重要的部分，也是可選的。如果沒有提供pattern語句塊，則預設執行{ print }，即列印每一個讀取到的行，awk讀取的每一行都會執行該語句塊
1、print
print item1，item2
要點：
1、逗号分隔符
2、輸出的各item可以字元串，也可以是數值；目前記錄的字段、變量或awk的表達式：
3、如果省略item，相當于print $0；列印整行字元
示例： 2、變量
2.1 内建變量
FS: input field seperator，預設為空白字元；
[root@node1 ~]#awk -v FS=":" '{print $1}' /etc/passwd
OFS: output field seperator，預設為空白字元；
[root@node1 ~]#awk -v FS=":" -v OFS=":" '{print $1,$3}' /etc/passwd
RS：input record seperator，輸入時的換行符；
[root@node1 ~]#awk -v RS=' ' '{print}' /etc/passwd
ORS：output record seperator，輸出時的換行符；
[root@node1 ~]#awk -v RS=' ' -v ORS="#" '{print $1,$3}' /etc/passwd
NF: number of field，字段數量
{print NF},{print $NF}
[root@node1 ~]#awk '{print NF}' /etc/passwd
}
NR：number of record，行數
[root@node1 ~]#awk '{print NR}' /etc/fstab
FNR：各檔案分别計數；行數；
[root@node1 ~]#awk '{print FNR}' /etc/fstab /etc/issue
FILENAME：目前檔案名；
[root@node1 ~]#awk '{print FILENAME}' /etc/fstab /etc/issue
ARGC：指令行參數的個數
[root@node1 ~]#awk '{print ARGC}' /etc/fstab /etc/issue
ARGV：數組，儲存的是指令行所給定的各參數；
[root@node1 ~]#awk 'BEGIN{print ARGV[0]}' /etc/fstab /etc/issue
awk
[root@node1 ~]#awk 'BEGIN{print ARGV[1]}' /etc/fstab /etc/issue
/etc/fstab
[root@node1 ~]#awk 'BEGIN{print ARGV[2]}' /etc/fstab /etc/issue
/etc/issue
2.2 自定義變量
變量名區分字元大小寫；
1、-v var=value
[root@node1 ~]#awk -v test='hello gawk' '{print test}' /etc/fstab
[root@node1 ~]#awk -v test='hello gawk' 'BEGIN{print test}'
2、在program中直接定義
[root@node1 ~]#awk 'BEGIN{ test="hello gawk"; print test}' 3、printf指令
格式化輸出；printf FORMAT, item1, item2,.....
1、FORMAT是必須給出；
2、不會自動換行，需要顯示給出換行控制符, \n
3、FORMAT中需要分别為後面的每個item指定一個格式化符号；
格式符：
%c：顯示字元的ASCII碼；
%d,%i：顯示十進制整數；
[root@node1 ~]#awk -F: '{printf "Username: %s, UID: %d\n",$1,$3}' /etc/passwd
%e,%E：科學計數法數值顯示；
%f；顯示為浮點數
%g,%G；以科學計數法或浮點形式顯示數值；
%s；顯示字元串；
[root@node1 ~]#awk -F: '{printf "Username: %s\n",$1}' /etc/passwd
%u；無符号整數；
%%：顯示%自身；
修飾符：
#[.#]：第一個數字控制顯示的寬度；第二個#表示小數點後的精度；
%3.1f
[root@node1 ~]#awk -F: '{printf "Username: %-15s, UID: %d\n",$1,$3}' /etc/passwd
-:左對齊
[root@node1 ~]#awk -F: '{printf "Username: %-15s, UID: %d\n",$1,$3}' /etc/passwd
+：顯示數值的正負符号 %+d 4、操作符
算術操作符；
x+y, x-y, x*y, x/y, x^y, x%y
-x：轉換為負數
+x：轉換為數值；
字元串操作符；沒有符号的操作符，字元串連接配接
指派操作符；
=，+=，-=，*=，/=，%=，^=
++，--，
比較操作符：
> >= < <= != ==
模式比對符；
~ 是否比對
!~ 是否不比對
邏輯操作符：
&&
||
！
函數調用；
function_name(argu1, argu2, ...)
條件表達式；
selector?if-true-expression; if-false-expression
[root@node1 ~]#awk -F: '{$3>=1000?usertype="Common User": usertpye="Sysadmin or SysUser";printf "%15s:%-s\n",$1,usertype}' /etc/passwd 5、PATTERN
1、empty；空模式，比對每一行；
2、/regular expression/：僅處理能夠被此處的模式比對到的行
僅取以UUID開頭的行
[root@node1 ~]#awk '/^UUID/{print $1}' /etc/fstab
UUID=3d4ae911-238f-4436-82eb-5bb4660c38c7
對UUID開頭的行取反
[root@node1 ~]#awk '!/^UUID/{print $1}' /etc/fstab
3、relational expression：關系表達式；結果有“真”有“假”，結果為真才會被處理
真：結果為非0值，
非空字元串：
空字元串表示為假；
[root@node1 ~]#awk -F: '$3>=1000{print $1,$3}' /etc/passwd
nfsnobody 65534
it 1000
[root@node1 ~]#awk -F: '$3<=1000{print $1,$3}' /etc/passwd
[root@node1 ~]#awk -F: '$NF~/bash$/{print $1,$NF}' /etc/passwd
root /bin/bash
it /bin/bash
4、line ranges位址定界： 行範圍：
startline,endline
/pat1/,/pat2/
[root@node1 ~]#awk -F: '/^rpcuser/,/^sshd/{print $1}' /etc/passwd
注意；不支援直接給出數字的格式；
[root@node1 ~]#awk -F: '(NR>=2&&NR<=10){print $1}' /etc/passwd
5、BEGIN/END模式
BEGIN{}：僅在開始處理檔案中的文本之前執行一次；
[root@node1 ~]#awk -F: 'BEGIN{print " username uid \n------------------\n"}{print $1,$3}' /etc/passwd
END{}：僅在文本處理完成之後指令結束之前執行一次；
[root@node1 ~]#awk -F: 'BEGIN{print " username uid \n-----------------\n"}{print $1,$3}END{print "======\n end "}' /etc/passwd 6、常用的action
1、experssions表達式：
2、Control statements 控制語句；if, while 等
3、Compound statements；組合語句；
4、input statements 輸入語句
5、output statements 輸出語句 7、控制語句
if (condition) {statements}
if(condition) {statements} else {statements}
while(condition) {statements}
do {statements} while(condition)
for (expr1;expr2;expr3) {statements}
break
continue
delete array[index]
delete array
exit
{ statements }
7.1 if-else
文法：if(condition) statements [else statements]
[root@node2 ~]#awk -F: '{if($3>=1000) print $1,$3}' /etc/passwd
nfsnobody 65534
luo 1000
[root@node3 ~]#awk -F: '{if($3>=1000) {printf "Common user: %s\n",$1} else {printf "root or Sysuser: %s\n",$1}}' /etc/passwd
使用場景：對awk取得的整行或某個字段做條件判斷；
[root@node1 ~]#awk -F: '{if($NF=="/bin/bash") print $1}' /etc/passwd
[root@node1 ~]#awk '{if(NF>5) print $0}' /etc/passwd
[root@node1 ~]#df -h | awk -F"[%]" '/^\/dev/{print $1}'| awk '{if($NF>=15) print $1}'
7.2 while 循環
文法：while(condition) statements
條件“真”，進入循環；條件“假”，退出循環
使用場景；對一行内的多個字段逐一類似處理時使用；對數組中的各元素逐一處理時使用；
length()
對每個字段單獨做統計
[root@node1 ~]#awk '/^[[:space:]]*linux16/{i=1;while(i<=NF) {print $i,length($i);i++}}'
/etc/grub2.cfg
對每個字段單獨做統計，并且字元數要>=7 給予顯示
[root@node1 ~]#awk '/^[[:space:]]*linux16/{i=1;while(i<=NF) {if(length($i)>=7) {print $i,length($i)};i++}}' /etc/grub2.cfg
7.3 do-while循環
文法：
do statements while(condition)
意義：至少執行一次循環體
7.4 for循環
文法：for(expr1;expr2;expr3) statements
for (variable assignment; condition; iteration process) {for-body}
[root@node1 ~]#awk '/^[[:space:]]*linux16/{for(i=1;i<=NF;i++) {print $i,length($i)}}' /etc/grub2.cfg
特殊用法：
能夠周遊數組中的元素；
文法： for (var in array) {for-body}
7.5 switch語句
文法：switch(expression) {case VALUE1 or /regexp/: statements;
case VALUE2 or /regexp2/: statements; .....; default: statements}
7.6 break和continue
break[n]
continue
7.7 next
提前結束對本行的處理而直接進入下一行；
列印ID号為偶數的行
[root@node1 ~]#awk -F: '{if($3%2!=0) next;print $1,$3}' /etc/passwd 關聯數組：array[index-expression]
index-expression:
1、可使用任意字元串,字元串要使用雙引号
2、如果某數組元素事先不存在，在引用時，awk會自動建立此元素，并将其值初始化為“空串”
若要判斷數組中是否存在某元素，要使用“index in array” 格式進行；
weekdays [mon] =“moday”
[root@node1 ~]#awk 'BEGIN{weekdays["mon"]="Monday";weekdays["tue"]="Tuesday";print weekdays["tue"]}'
Tuesday
若要周遊數組中的每個元素，要使用for循環
for (var in array) {for-body}
[root@node1 ~]#awk 'BEGIN{weekdays["mon"]="Monday";weekdays["tue"]="Tuesday";for(i in weekdays) {print weekdays[i]}}'
注意：var會周遊array的每個索引；
state["LISTEN"]++
state["ESTABLISHED"]++
統計出現的次數
[root@node1 ~]#netstat -tan | awk '/^tcp\>/{state[$NF]++} END{for(i in state) {print i,state[i]}}'
統計各IP出現的次數
[root@node1 ~]#awk '{ip[$1]++}END{for(i in ip) {print i,ip[i]}}' /var/log/httpd/access_log 9.1 内置函數
數值處理：
rand()：傳回0和1之間一個随機數
字元串處理：
length([s])：傳回指定字元串的長度；
sub(r,s,[t])：以r表示的模式來查找t所表示的字元中的比對的内容，
并将其第一次出現替換為s所表示的内容；
gsub(r,s,[t])：以r表示的模式來查找t所表示的字元中的比對的内容，
并将其所有出現均替換為s所表示的内容；
split(s,a,[,r])：以r為分隔符切歌字元s，并将切歌後的結果儲存至a所表示的數組中；
[root@node1 ~]#netstat -tan| awk '/^tcp\>/{split($5,ip,":");print ip[1]}'
[root@node1 ~]#netstat -tan| awk '/^tcp\>/{split($5,ip,":");count[ip[1]]++} END{for (i in count) {print i,count[i]}}' 統計/etc/fstab檔案中每個檔案系統出現的次數
awk '/^UUID/{fs[$3]++}END{for(i in fs) {print i,fs[i]}}' /etc/fstab
統計指定檔案中每個單詞出現的次數；
[root@node3 ~]#awk '{for(i=1;i<=NF;i++) {count[$i]++}}END{for(i in count) {print i,count[i]}}' /etc/passwd
取磁盤使用率
[root@node3 ~]#df |awk '$0 ~ /\/dev\/sd/{print $5}'| awk -F% '{print $1}'
[root@node3 ~]#df | awk -F"[[:space:]]+" '$0 ~ /^\/dev\/sd/{print $5}'
找出ID号大于等500的并且列印
[root@node3 ~]#awk -F: '$3>=500{print $1,$3}' /etc/passwd
![linux-svn解除安裝與安裝[圖]](data:image/gif;base64,R0lGODlhAQABAIAAAP///wAAACwAAAAAAQABAAACAkQBADs=)