Linux系統指令三劍客之 awk

指令名稱：awk

作用：

     對文本和資料進行處理

詳細說明：

     awk 是一種程式設計語言，用于在linux/unix下對文本和資料進行處理。

 資料可以來自标準輸入(stdin)、一個或多個檔案，或其它指令的輸出。

 它在指令行中使用，但更多是作為腳本來使用。awk有很多内建的功能，

 比如數組、函數等，這是它和C語言的相同之處，靈活性是awk最大的優勢。

文法格式：

     awk [options] 'scripts' var=value filename

常用參數：

     -F 指定分隔符（可以是字元串或正規表達式）

 -f 從腳本檔案中讀取awk指令

 -v var=value 指派一個使用者定義變量，将外部變量傳遞給awk

awk 腳本基本結構：

awk 'BEGIN{ print "start" } pattern{ commands } END{ print "end" }' filename

 一個awk 腳本通常由BEGIN語句+模式比對+END語句三部分組成,這三部分都是可選項

工作原理:

第一步執行BEGIN 語句

第二步從檔案或标準輸入讀取一行，然後再執行pattern語句，逐行掃描檔案到檔案全部被讀取

第三步執行END語句

         echo "hello world" | awk 'BEGIN{ print "welcome" } END{ print "2017-08-08" }'

         welcome

         2017-08-08

         echo -e  "hello world" | awk 'BEGIN{ print "welcome" } {print} END{ print "2017-08-08" }'

         hello world

         #不加print參數時預設隻列印目前的行

         [root@mingongge ~]# echo |awk '{ a="hello"; b="nihao"; c="mingongge"; print a,b,c; }'

         hello nihao mingongge

        #使用print以逗号分隔時，列印則是以空格分界

         echo |awk '{ a="mgg"; b="mingg"; c="mingongge"; print a" is "b" or "c; }'

         mgg is mingg or mingongge

        #awk的print語句中雙引号其實就是個拼接作用

awk 的變量使用：

     内置變量

 $0       #目前記錄

 $1~$n    #目前記錄的第N個字段

 FS       #輸入字段分隔符（-F相同作用）預設空格

 RS       #輸入記錄分割符，預設換行符

 NF       #字段個數就是列    

 NR       #記錄數，就是行号，預設從1開始

 OFS      #輸出字段分隔符，預設空格

 ORS      #輸出記錄分割符，預設換行符     

 外部變量傳入

 [mingongge@ ~]#a=100

         [mingongge@ ~]#b=100

         [mingongge@ ~]#echo |awk '{print v1*v2 }' v1=$a v2=$b

         10000

awk 運算與判斷：

     算術運算符

         + -  加減

 * / & 乘 除 求餘

        ^ *  求幂

++ -- 增加或減少，作為字首或字尾

[mingongge@ ~]#awk 'BEGIN{a="b";print a,a++,a--,++a;}'

         b 0 1 1

[mingongge@ ~]#awk 'BEGIN{a="0";print a,a++,a--,++a;}'

         0 0 1 1

[mingongge@ ~]#awk 'BEGIN{a="0";print a,a++,--a,++a;}'

         0 0 0 1

#和其它程式設計語言一樣，所有用作算術運算符進行操作，操作數自動轉為數值，所有非數值都變為0

     指派運算符

 = += -= *= /= %= ^= **=

 正則運算符

     ~ !~  比對正規表達式/不比對正規表達式

     邏輯運算符  

      ||  &&  邏輯或  邏輯與

 關系運算符

  < <= > >= != = 

 其它運算符

 $      字段引用 

 空格   字元串連結符

 ?:     三目運算符

 ln     數組中是否存在某鍵值

awk 正則：

     ^    行首定位符

 $    行尾定位符

 .    比對任意單個字元

 *    比對0個或多個前導字元（包括回車）

 +    比對1個或多個前導字元

 ?    比對0個或1個前導字元   

 []   比對指定字元組内的任意一個字元/^[ab]

 [^]  比對不在指定字元組内的任意一個字元

 ()   子表達式

 |    或者

 \    轉義符

 ~,!~ 比對或不比對的條件語句

 x{m}  x字元重複m次

 x{m,} x字元至少重複m次

 X{m,n} x字元至少重複m次但不起過n次（需指定參數-posix或--re-interval）

本文轉自 民工哥 51CTO部落格，原文連結:http://blog.51cto.com/mingongge/1981142