awk是一種程式設計語言，用于在linux/unix下對文本和資料進行處理。資料可以來自标準輸入、一個或多個檔案，或其它指令的輸出。它支援使用者自定義函數和動态正規表達式等先進功能，是linux/unix下的一個強大程式設計工具。它在指令行中使用，但更多是作為腳本來使用。awk的處理文本和資料的方式是這樣的，它逐行掃描檔案，從第一行到最後一行，尋找比對的特定模式的行，并在這些行上進行你想要的操作。如果沒有指定處理動作，則把比對的行顯示到标準輸出(螢幕)，如果沒有指定模式，則所有被操作所指定的行都被處理。awk分别代表其作者姓氏的第一個字母。因為它的作者是三個人，分别是Alfred Aho、Brian Kernighan、Peter Weinberger。gawk是awk的GNU版本，它提供了Bell實驗室和GNU的一些擴充。下面介紹的awk是以GUN的gawk為例的，在linux系統中已把awk連結到gawk，是以下面全部以awk進行介紹。
awk [options] 'script' var=value file(s)
awk [options] -f scriptfile var=value file(s)
<dl></dl>
<dt></dt>
-F fs or --field-separator fs
<dd></dd>
指定輸入檔案折分隔符，fs是一個字元串或者是一個正規表達式，如-F:。
-v var=value or --asign var=value
指派一個使用者定義變量。
-f scripfile or --file scriptfile
從腳本檔案中讀取awk指令。
-mf nnn and -mr nnn
對nnn值設定内在限制，-mf選項限制配置設定給nnn的最大塊數目；-mr選項限制記錄的最大數目。這兩個功能是Bell實驗室版awk的擴充功能，在标準awk中不适用。
-W compact or --compat, -W traditional or --traditional
在相容模式下運作awk。是以gawk的行為和标準的awk完全一樣，所有的awk擴充都被忽略。
-W copyleft or --copyleft, -W copyright or --copyright
列印簡短的版權資訊。
-W help or --help, -W usage or --usage
列印全部awk選項和每個選項的簡短說明。
-W lint or --lint
列印不能向傳統unix平台移植的結構的警告。
-W lint-old or --lint-old
列印關于不能向傳統unix平台移植的結構的警告。
-W posix
打開相容模式。但有以下限制，不識别：\x、函數關鍵字、func、換碼序列以及當fs是一個空格時，将新行作為一個域分隔符；操作符**和**=不能代替^和^=；fflush無效。
-W re-interval or --re-inerval
允許間隔正規表達式的使用，參考(grep中的Posix字元類)，如括号表達式[[:alpha:]]。
-W source program-text or --source program-text
使用program-text作為源代碼，可與-f指令混用。
-W version or --version
列印bug報告資訊的版本。
awk腳本是由模式和操作組成的：
pattern {action} 如$ awk '/root/' test，或$ awk '$3 < 100' test。
兩者是可選的，如果沒有模式，則action應用到全部記錄，如果沒有action，則輸出比對全部記錄。預設情況下，每一個輸入行都是一條記錄，但使用者可通過RS變量指定不同的分隔符進行分隔。
模式可以是以下任意一個：
/正規表達式/：使用通配符的擴充集。
關系表達式：可以用下面運算符表中的關系運算符進行操作，可以是字元串或數字的比較，如$2>%1選擇第二個字段比第一個字段長的行。
模式比對表達式：用運算符~(比對)和~!(不比對)。
模式，模式：指定一個行的範圍。該文法不能包括BEGIN和END模式。
BEGIN：讓使用者指定在第一條輸入記錄被處理之前所發生的動作，通常可在這裡設定全局變量。
END：讓使用者在最後一條輸入記錄被讀取之後發生的動作。
操作由一人或多個指令、函數、表達式組成，之間由換行符或分号隔開，并位于大括号内。主要有四部份：
變量或數組指派
輸出指令
内置函數
控制流指令
<b>Table 1. awk的環境變量</b>
<col>
變量
描述
$n
目前記錄的第n個字段，字段間由FS分隔。
$0
完整的輸入記錄。
ARGC
指令行參數的數目。
ARGIND
指令行中目前檔案的位置(從0開始算)。
ARGV
包含指令行參數的數組。
CONVFMT
數字轉換格式(預設值為%.6g)
ENVIRON
環境變量關聯數組。
ERRNO
最後一個系統錯誤的描述。
FIELDWIDTHS
字段寬度清單(用空格鍵分隔)。
FILENAME
目前檔案名。
FNR
同NR，但相對于目前檔案。
FS
字段分隔符(預設是任何空格)。
IGNORECASE
如果為真，則進行忽略大小寫的比對。
NF
目前記錄中的字段數。
NR
目前記錄數。
OFMT
數字的輸出格式(預設值是%.6g)。
OFS
輸出字段分隔符(預設值是一個空格)。
ORS
輸出記錄分隔符(預設值是一個換行符)。
RLENGTH
由match函數所比對的字元串的長度。
RS
記錄分隔符(預設是一個換行符)。
RSTART
由match函數所比對的字元串的第一個位置。
SUBSEP
數組下标分隔符(預設值是\034)。
<b>Table 2. 運算符</b>
運算符
= += -= *= /= %= ^= **=
指派
?:
C條件表達式
||
邏輯或
&&
邏輯與
~ ~!
比對正規表達式和不比對正規表達式
< <= > >= != ==
關系運算符
空格
連接配接
+ -
加，減
* / &
乘，除與求餘
+ - !
一進制加，減和邏輯非
^ ***
求幂
++ --
增加或減少，作為字首或字尾
$
字段引用
in
數組成員
awk把每一個以換行符結束的行稱為一個記錄。
記錄分隔符：預設的輸入和輸出的分隔符都是回車，儲存在内建變量ORS和RS中。
$0變量：它指的是整條記錄。如$ awk '{print $0}' test将輸出test檔案中的所有記錄。
變量NR：一個計數器，每處理完一條記錄，NR的值就增加1。如$ awk '{print NR,$0}' test将輸出test檔案中所有記錄，并在記錄前顯示記錄号。
記錄中每個單詞稱做“域”，預設情況下以空格或tab分隔。awk可跟蹤域的個數，并在内建變量NF中儲存該值。如$ awk '{print $1,$3}' test将列印test檔案中第一和第三個以空格分開的列(域)。
内建變量FS儲存輸入域分隔符的值，預設是空格或tab。我們可以通過-F指令行選項修改FS的值。如$ awk -F: '{print $1,$5}' test将列印以冒号為分隔符的第一，第五列的内容。
可以同時使用多個域分隔符，這時應該把分隔符寫成放到方括号中，如$awk -F'[:\t]' '{print $1,$3}' test，表示以空格、冒号和tab作為分隔符。
輸出域的分隔符預設是一個空格，儲存在OFS中。如$ awk -F: '{print $1,$5}' test，$1和$5間的逗号就是OFS的值。
一般通用的元字元集就不講了，可參考我的Sed和Grep學習筆記。以下幾個是gawk專用的，不适合unix版本的awk。
\Y
比對一個單詞開頭或者末尾的空字元串。
\B
比對單詞内的空字元串。
\<
比對一個單詞的開頭的空字元串，錨定開始。
\>
比對一個單詞的末尾的空字元串，錨定末尾。
\w
比對一個字母數字組成的單詞。
\W
比對一個非字母數字組成的單詞。
\‘
比對字元串開頭的一個空字元串。
\'
比對字元串末尾的一個空字元串。
可參考我的Grep學習筆記
用來在記錄或者域内比對正規表達式。如$ awk '$1 ~/^root/' test将顯示test檔案第一列中以root開頭的行。
conditional expression1 ? expression2: expression3，例如：$ awk '{max = {$1 > $3} ? $1: $3: print max}' test。如果第一個域大于第三個域，$1就指派給max，否則$3就指派給max。
$ awk '$1 + $2 < 100' test。如果第一和第二個域相加大于100，則列印這些行。
$ awk '$1 > 5 && $2 < 10' test,如果第一個域大于5，并且第二個域小于10，則列印這些行。
範圍模闆比對從第一個模闆的第一次出現到第二個模闆的第一次出現之間所有行。如果有一個模闆沒出現，則比對到開頭或末尾。如$ awk '/root/,/mysql/' test将顯示root第一次出現到mysql第一次出現之間的所有行。
cat把結果輸出給awk，awk把域之間的分隔符設為冒号。
如果域的數量(NF)不等于7，就執行下面的程式。
printf列印字元串"line ?? does not have 7 fields"，并顯示該條記錄。
如果第一個域沒有包含任何字母和數字，printf列印“no alpha and numeric user id" ，并顯示記錄數和記錄。
如果第二個域是一個星号，就列印字元串“no passwd”，緊跟着顯示記錄數和記錄本身。
$ awk '/^(no|so)/' test-----列印所有以模式no或so開頭的行。
$ awk '/^[ns]/{print $1}' test-----如果記錄以n或s開頭，就列印這個記錄。
$ awk '$1 ~/[0-9][0-9]$/(print $1}' test-----如果第一個域以兩個數字結束就列印這個記錄。
$ awk '$1 == 100 || $2 < 50' test-----如果第一個或等于100或者第二個域小于50，則列印該行。
$ awk '$1 != 10' test-----如果第一個域不等于10就列印該行。
$ awk '/test/{print $1 + 10}' test-----如果記錄包含正規表達式test，則第一個域加10并列印出來。
$ awk '{print ($1 > 5 ? "ok "$1: "error"$1)}' test-----如果第一個域大于5則列印問号後面的表達式值，否則列印冒号後面的表達式值。
$ awk '/^root/,/^mysql/' test----列印以正規表達式root開頭的記錄到以正規表達式mysql開頭的記錄範圍内的所有記錄。如果找到一個新的正規表達式root開頭的記錄，則繼續列印直到下一個以正規表達式mysql開頭的記錄為止，或到檔案末尾。
在awk中，變量不需要定義就可以直接使用，變量類型可以是數字或字元串。
指派格式：Variable = expression，如$ awk '$1 ~/test/{count = $2 + $3; print count}' test,上式的作用是,awk先掃描第一個域，一旦test比對，就把第二個域的值加上第三個域的值，并把結果指派給變量count，最後列印出來。
awk可以在指令行中給變量指派，然後将這個變量傳輸給awk腳本。如$ awk -F: -f awkscript month=4 year=2004 test，上式的month和year都是自定義變量，分别被指派為4和2004。在awk腳本中，這些變量使用起來就象是在腳本中建立的一樣。注意，如果參數前面出現test，那麼在BEGIN語句中的變量就不能被使用。
域變量也可被指派和修改，如$ awk '{$2 = 100 + $1; print }' test,上式表示，如果第二個域不存在，awk将計算表達式100加$1的值，并将其指派給$2，如果第二個域存在，則用表達式的值覆寫$2原來的值。再例如：$ awk '$1 == "root"{$1 ="test";print}' test，如果第一個域的值是“root”，則把它指派為“test”，注意，字元串一定要用雙引号。
内建變量的使用。變量清單在前面已列出，現在舉個例子說明一下。$ awk -F: '{IGNORECASE=1; $1 == "MARY"{print NR,$1,$2,$NF}'test，把IGNORECASE設為1代表忽略大小寫，列印第一個域是mary的記錄數、第一個域、第二個域和最後一個域。
BEGIN子產品後緊跟着動作塊，這個動作塊在awk處理任何輸入檔案之前執行。是以它可以在沒有任何輸入的情況下進行測試。它通常用來改變内建變量的值，如OFS,RS和FS等，以及列印标題。如：$ awk 'BEGIN{FS=":"; OFS="\t"; ORS="\n\n"}{print $1,$2,$3} test。上式表示，在處理輸入檔案以前，域分隔符(FS)被設為冒号，輸出檔案分隔符(OFS)被設定為制表符，輸出記錄分隔符(ORS)被設定為兩個換行符。$ awk 'BEGIN{print "TITLE TEST"}隻列印标題。
END不比對任何的輸入檔案，但是執行動作塊中的所有動作，它在整個輸入檔案處理完成後被執行。如$ awk 'END{print "The number of records is" NR}' test，上式将列印所有被處理的記錄數。
awk可使用shell的重定向符進行重定向輸出，如：$ awk '$1 = 100 {print $1 > "output_file" }' test。上式表示如果第一個域的值等于100，則把它輸出到output_file中。也可以用>>來重定向輸出，但不清空檔案，隻做追加操作。
輸出重定向需用到getline函數。getline從标準輸入、管道或者目前正在處理的檔案之外的其他輸入檔案獲得輸入。它負責從輸入獲得下一行的内容，并給NF,NR和FNR等内建變量指派。如果得到一條記錄，getline函數傳回1，如果到達檔案的末尾就傳回0，如果出現錯誤，例如打開檔案失敗，就傳回-1。如：
$ awk 'BEGIN{ "date" | getline d; print d}' test。執行linux的date指令，并通過管道輸出給getline，然後再把輸出指派給自定義變量d，并列印它。
$ awk 'BEGIN{"date" | getline d; split(d,mon); print mon[2]}' test。執行shell的date指令，并通過管道輸出給getline，然後getline從管道中讀取并将輸入指派給d，split函數把變量d轉化成數組mon，然後列印數組mon的第二個元素。
$ awk 'BEGIN{while( "ls" | getline) print}'，指令ls的輸出傳遞給geline作為輸入，循環使getline從ls的輸出中讀取一行，并把它列印到螢幕。這裡沒有輸入檔案，因為BEGIN塊在打開輸入檔案前執行，是以可以忽略輸入檔案。
$ awk 'BEGIN{printf "What is your name?"; getline name < "/dev/tty" } $1 ~name {print "Found" name on line ", NR "."} END{print "See you," name "."} test。在螢幕上列印”What is your name?",并等待使用者應答。當一行輸入完畢後，getline函數從終端接收該行輸入，并把它儲存在自定義變量name中。如果第一個域比對變量name的值，print函數就被執行，END塊列印See you和name的值。
$ awk 'BEGIN{while (getline < "/etc/passwd" > 0) lc++; print lc}'。awk将逐行讀取檔案/etc/passwd的内容，在到達檔案末尾前，計數器lc一直增加，當到末尾時，列印lc的值。注意，如果檔案不存在，getline傳回-1，如果到達檔案的末尾就傳回0，如果讀到一行，就傳回1，是以指令 while (getline < "/etc/passwd")在檔案不存在的情況下将陷入無限循環，因為傳回-1表示邏輯真。
可以在awk中打開一個管道，且同一時刻隻能有一個管道存在。通過close()可關閉管道。如：$ awk '{print $1, $2 | "sort" }' test END {close("sort")}。awd把print語句的輸出通過管道作為linux指令sort的輸入,END塊執行關閉管道操作。
system函數可以在awk中執行linux的指令。如：$ awk 'BEGIN{system("clear")'。
fflush函數用以重新整理輸出緩沖區，如果沒有參數，就重新整理标準輸出的緩沖區，如果以空字元串為參數，如fflush(""),則重新整理所有檔案和管道的輸出緩沖區。
awk中的條件語句是從C語言中借鑒過來的，可控制程式的流程。
$ awk '{if ($1 <$2) print $2 "too high"}' test。如果第一個域小于第二個域則列印。
$ awk '{if ($1 < $2) {count++; print "ok"}}' test.如果第一個域小于第二個域，則count加一，并列印ok。
$ awk '{if ($1 > 100) print $1 "bad" ; else print "ok"}' test。如果$1大于100則列印$1 bad,否則列印ok。
$ awk '{if ($1 > 100){ count++; print $1} else {count--; print $2}' test。如果$1大于100，則count加一，并列印$1，否則count減一，并列印$1。
awk有三種循環:while循環；for循環；special for循環。
$ awk '{ i = 1; while ( i <= NF ) { print NF,$i; i++}}' test。變量的初始值為1，若i小于可等于NF(記錄中域的個數),則執行列印語句，且i增加1。直到i的值大于NF.
$ awk '{for (i = 1; i<NF; i++) print NF,$i}' test。作用同上。
breadkcontinue語句。break用于在滿足條件的情況下跳出循環；continue用于在滿足條件的情況下忽略後面的語句，直接傳回循環的頂端。如：
next語句從輸入檔案中讀取一行，然後從頭開始執行awk腳本。如：
exit語句用于結束awk程式，但不會略過END塊。退出狀态為0代表成功，非零值表示出錯。
awk中的數組的下标可以是數字和字母，稱為關聯數組。
用變量作為數組下标。如：$ awk {name[x++]=$2};END{for(i=0;i<NR;i++) print i,name[i]}' test。數組name中的下标是一個自定義變量x，awk初始化x的值為0，在每次使用後增加1。第二個域的值被賦給name數組的各個元素。在END子產品中，for循環被用于循環整個數組，從下标為0的元素開始，列印那些存儲在數組中的值。因為下标是關健字，是以它不一定從0開始，可以從任何值開始。
special for循環用于讀取關聯數組中的元素。格式如下：
$ awk '/^tom/{name[NR]=$1}; END{for(i in name){print name[i]}}' test。列印有值的數組元素。列印的順序是随機的。
用字元串作為下标。如：count["test"]
用域值作為數組的下标。一種新的for循環方式，for (index_value in array) statement。如:$ awk '{count[$1]++} END{for(name in count) print name,count[name]}' test。該語句将列印$1中字元串出現的次數。它首先以第一個域作數組count的下标，第一個域變化，索引就變化。
delete函數用于删除數組元素。如：$ awk '{line[x++]=$1} END{for(x in line) delete(line[x])}' test。配置設定給數組line的是第一個域的值，所有記錄處理完成後，special for循環将删除每一個元素。
sub函數比對記錄中最大、最靠左邊的子字元串的正規表達式，并用替換字元串替換這些字元串。如果沒有指定目标字元串就預設使用整個記錄。替換隻發生在第一次比對的時候。格式如下：
執行個體：
第一個例子在整個記錄中比對，替換隻發生在第一次比對發生的時候。如要在整個檔案中進行比對需要用到gsub
第二個例子在整個記錄的第一個域中進行比對，替換隻發生在第一次比對發生的時候。
gsub函數作用如sub，但它在整個文檔中進行比對。格式如下：
第一個例子在整個文檔中比對test，比對的都被替換成mytest。
第二個例子在整個文檔的第一個域中比對，所有比對的都被替換成mytest。
index函數傳回子字元串第一次被比對的位置，偏移量從位置1開始。格式如下：
執行個體傳回test在mytest的位置，結果應該是3。
length函數傳回記錄的字元數。格式如下：
第一個執行個體傳回test字元串的長度。
第二個執行個體傳回testfile檔案中第條記錄的字元數。
substr函數傳回從位置1開始的子字元串，如果指定長度超過實際長度，就傳回整個字元串。格式如下：
上例截取了world子字元串。
match函數傳回在字元串中正規表達式位置的索引，如果找不到指定的正規表達式則傳回0。match函數會設定内建變量RSTART為字元串中子字元串的開始位置，RLENGTH為到子字元串末尾的字元個數。substr可利于這些變量來截取字元串。函數格式如下：
第一個執行個體列印以連續小寫字元結尾的開始位置，這裡是11。
第二個執行個體還列印RSTART和RLENGTH變量，這裡是11(start)，11(RSTART)，4(RLENGTH)。
toupper和tolower函數可用于字元串大小間的轉換，該功能隻在gawk中有效。格式如下：
split函數可按給定的分隔符把字元串分割為一個數組。如果分隔符沒提供，則按目前FS值進行分割。格式如下：
上例把時間按冒号分割到time數組内，并顯示第二個數組元素18。
systime函數傳回從1970年1月1日開始到目前時間(不計閏年)的整秒數。格式如下：
strftime函數使用C庫中的strftime函數格式化時間。格式如下：
<b>Table 3. 日期和時間格式說明符</b>
格式
%a
星期幾的縮寫(Sun)
%A
星期幾的完整寫法(Sunday)
%b
月名的縮寫(Oct)
%B
月名的完整寫法(October)
%c
本地日期和時間
%d
十進制日期
%D
日期 08/20/99
%e
日期，如果隻有一位會補上一個空格
%H
用十進制表示24小時格式的小時
%I
用十進制表示12小時格式的小時
%j
從1月1日起一年中的第幾天
%m
十進制表示的月份
%M
十進制表示的分鐘
%p
12小時表示法(AM/PM)
%S
十進制表示的秒
%U
十進制表示的一年中的第幾個星期(星期天作為一個星期的開始)
%w
十進制表示的星期幾(星期天是0)
%W
十進制表示的一年中的第幾個星期(星期一作為一個星期的開始)
%x
重新設定本地日期(08/20/99)
%X
重新設定本地時間(12：00：00)
%y
兩位數字表示的年(99)
%Y
目前月份
%Z
時區(PDT)
%%
百分号(%)
<b>Table 4. </b>
函數名稱
傳回值
atan2(x,y)
y,x範圍内的餘切
cos(x)
餘弦函數
exp(x)
int(x)
取整
log(x)
自然對數
rand()
随機數
sin(x)
正弦
sqrt(x)
平方根
srand(x)
x是rand()函數的種子
取整，過程沒有舍入
産生一個大于等于0而小于1的随機數
在awk中還可自定義函數，格式如下：
如何把一行豎排的資料轉換成橫排？
awk '{printf("%s,",$1)}' filename
![linux-svn解除安裝與安裝[圖]](data:image/gif;base64,R0lGODlhAQABAIAAAP///wAAACwAAAAAAQABAAACAkQBADs=)