linux之awk用法

awk 用法：awk ' pattern {action} '  

變量名    含義 

ARGC   指令行變元個數 

ARGV   指令行變元數組 

FILENAME   目前輸入檔案名 

FNR   目前檔案中的記錄号 

FS   輸入域分隔符，預設為一個空格 

RS   輸入記錄分隔符 

NF   目前記錄裡域個數 

NR   到目前為止記錄數 

OFS   輸出域分隔符 

ORS   輸出記錄分隔符 

awk是一個非常棒的數字處理工具。相比于sed常常作用于一整行的處理，awk則比較傾向于将一行分為數個“字段”來處理。運作效率高，而且代碼簡單，對格式化的文本處理能力超強。先來一個例子：

檔案a，統計檔案a的第一列中是浮點數的行的浮點數的平均值。用awk來實作隻需要一句話就可以搞定

$cat a

1.021 33

1#.ll   44

2.53 6

ss    7

awk 'BEGIN{total = 0;len = 0} {if($1~/^[0-9]+\.[0-9]*/){total += $1; len++}} END{print total/len}' a

（分析：$1~/^[0-9]+\.[0-9]*/表示$1與“/ /”裡面的正規表達式進行比對，若比對，則total加上$1，且len自增，即數目加1.“^[0-9]+\.[0-9]*”是個正規表達式，“^[0-9]”表示以數字開頭，“\.”是轉義的意思，表示“.”為小數點的意思。“[0-9]*”表示0個或多個數字）

awk的一般文法格式為：

awk [-參數 變量] 'BEGIN{初始化}條件類型1{動作1}條件類型2{動作2}。。。。END{後處理}'

其中：BEGIN和END中的語句分别在開始讀取檔案（in_file）之前和讀取完檔案之後發揮作用，可以了解為初始化和掃尾。

（1）參數說明：

 -F re：允許awk更改其字段分隔符

      -v var=$v 把v值指派給var，如果有多個變量要指派，那麼就寫多個-v，每個變量指派對應一個-v

e.g. 要列印檔案a的第num行到num+num1行之間的行， 

awk -v num=$num -v num1=$num1 'NR==num,NR==num+num1{print}' a 

-f progfile：允許awk調用并執行progfile程式檔案，當然progfile必須是一個符合awk文法的程式檔案。

（2）awk内置變量：

ARGC    指令行參數的個數

ARGV    指令行參數數組

ARGIND 目前被處理檔案的ARGV标志符

e.g 有兩個檔案a 和b 

awk '{if(ARGIND==1){print "處理a檔案"} if(ARGIND==2){print "處理b檔案"}}' a b

檔案處理的順序是先掃描完a檔案，再掃描b檔案

NR 　　已經讀出的記錄數

FNR   　目前檔案的記錄數

上面的例子也可以寫成這樣：

awk 'NR==FNR{print "處理檔案a"} NR > FNR{print "處理檔案b"}' a b

輸入檔案a和b，由于先掃描a，是以掃描a的時候必然有NR==FNR，然後掃描b的時候，FNR從1開始計數，而NR則接着a的行數繼續計數，是以NR > FNR

e.g 要顯示檔案的第10行至第15行

awk 'NR==10,NR==15{print}' a

FS 　　輸入字段分隔符（預設為:space:），相當于-F選項

awk -F ':' '{print}' a    和   awk 'BEGIN{FS=":"}{print}' a 是一樣的

OFS輸出字段分隔符（預設為:space:）

awk -F ':' 'BEGIN{OFS=";"}{print $1,$2,$3}' b

如果cat b為

1:2:3

4:5:6

那麼把OFS設定成";"後就會輸出

1;2;3

4;5;6

（小注釋：awk把分割後的第1、2、3個字段用$1,$2,$3...表示，$0表示整個記錄（一般就是一整行））

NF：目前記錄中的字段個數

awk -F ':' '{print NF}' b的輸出為

3

表明b的每一行用分隔符":"分割後都3個字段

可以用NF來控制輸出符合要求的字段數的行，這樣可以處理掉一些異常的行

awk -F ':' '{if (NF == 3)print}' b

RS：輸入記錄分隔符，預設為"\n"

預設情況下，awk把一行看作一個記錄；如果設定了RS，那麼awk按照RS來分割記錄

例如，如果檔案c，cat c為

hello world; I want to go swimming tomorrow;hiahia

運作 awk 'BEGIN{ RS = ";" } {print}' c 的結果為

hello world

I want to go swimming tomorrow

hiahia

合理的使用RS和FS可以使得awk處理更多模式的文檔，例如可以一次處理多行，例如文檔d cat d的輸出為

1 2

3 4 5

6 7

8 9 10

11 12

hello

每個記錄使用空行分割，每個字段使用換行符分割，這樣的awk也很好寫

awk 'BEGIN{ FS = "\n"; RS = ""} {print NF}' d 輸出

2

1

ORS：輸出記錄分隔符，預設為換行符，控制每個print語句後的輸出符号

awk 'BEGIN{ FS = "\n"; RS = ""; ORS = ";"} {print NF}' d 輸出

2;3;1

（3）awk讀取shell中的變量

可以使用-v選項實作功能

     $b=1

     $cat f

     apple

$awk -v var=$b '{print var, $var}' f

1 apple

至于有沒有辦法把awk中的變量傳給shell呢，這個問題我是這樣了解的。shell調用awk實際上是fork一個子程序出來，而子程序是無法向父程序傳遞變量的，除非用重定向（包括管道）

a=$(awk '{print $b, '$b'}' f)

$echo $a

apple 1

（4）輸出重定向

awk的輸出重定向類似于shell的重定向。重定向的目标檔案名必須用雙引号引用起來。

$awk '$4 >=70 {print $1,$2 > "destfile" }' filename

$awk '$4 >=70 {print $1,$2 >> "destfile" }' filename

（5）awk中調用shell指令：

1)使用管道

awk中的管道概念和shell的管道類似，都是使用"|"符号。如果在awk程式中打開了管道，必須先關閉該管道才能打開另一個管道。也就是說一次隻能打開一個管道。shell指令必須被雙引号引用起來。“如果打算再次在awk程式中使用某個檔案或管道進行讀寫，則可能要先關閉程式，因為其中的管道會保持打開狀态直至腳本運作結束。注意，管道一旦被打開，就會保持打開狀态直至awk退出。是以END塊中的語句也會收到管道的影響。（可以在END的第一行關閉管道）”

awk中使用管道有兩種文法，分别是：

awk output | shell input

shell output | awk input

對于awk output | shell input來說，shell接收awk的輸出，并進行處理。需要注意的是，awk的output是先緩存在pipe中，等輸出完畢後再調用shell指令 處理，shell指令隻處理一次，而且處理的時機是“awk程式結束時，或者管道關閉時（需要顯式的關閉管道）”

$awk '/west/{count++} {printf "%s %s\t\t%-15s\n", $3,$4,$1 | "sort +1"} END{close "sort +1"; printf "The number of sales pers in the western"; printf "region is " count "." }' datafile （解釋：/west/{count++}表示與“wes”t進行比對，若比對，則count自增）

printf函數用于将輸出格式化并發送給管道。所有輸出集齊後，被一同發送給sort指令。必須用與打開時完全相同的指令來關閉管道(sort +1)，否則END塊中的語句将與前面的輸出一起被排序。此處的sort指令隻執行一次。

在shell output | awk input中awk的input隻能是getline函數。shell執行的結果緩存于pipe中，再傳送給awk處理，如果有多行資料，awk的getline指令可能調用多次。

$awk 'BEGIN{ while(("ls" | getline d) > 0) print d}' f

（5）awk結合match使用，提取比對字元串：

檔案内容：

<key>hostname</key>

<value>0.0.0.0</key>

要求提取0.0.0.0

指令：

 cat filename | grep -A 1 "hostname" |awk 'match($0, "<value>(.*)</value>", a) {print a[1]}'

其中 grep -A n,表示多往下輸出n行

轉自：http://www.cnblogs.com/dong008259/archive/2011/12/06/2277287.html

本文轉自奔跑在路上部落格51CTO部落格，原文連結http://blog.51cto.com/qiangsh/1855110如需轉載請自行聯系原作者

qianghong000