天天看点

linux 命令详解 九

  <b>十一</b><b>.  awk编程:</b>

 <b>   1.  </b><b>变量:</b>

    在awk中变量无须定义即可使用,变量在赋值时即已经完成了定义。变量的类型可以是数字、字符串。根据使用的不同,未初始化变量的值为0或空白字符串" ",这主要取决于变量应用的上下文。下面为变量的赋值负号列表:

<b>符号</b>

<b>含义</b>

<b>等价形式</b>

=

a = 5

+=

a = a + 5

a += 5

-=

a = a - 5

a -= 5

*=

a = a * 5

a *= 5

/=

a = a / 5

a /= 5

%=

a = a % 5

a %= 5

^=

a = a ^ 5

a ^= 5

    /&gt; awk '$1 ~ /Tom/ {Wage = $2 * $3; print Wage}' filename

    该命令将从文件中读取,并查找第一个域字段匹配Tom的记录,再将其第二和第三个字段的乘积赋值给自定义的Wage变量,最后通过print命令将该变量打印输出。

    /&gt; awk ' {$5 = 1000 * $3 / $2; print}' filename

    在上面的命令中,如果$5不存在,awk将计算表达式1000 * $3 / $2的值,并将其赋值给$5。如果第五个域存在,则用表达式覆盖$5原来的值。

    我们同样也可以在命令行中定义自定义的变量,用法如下:

    /&gt; awk -F: -f awkscript month=4 year=2011 filename

    这里的month和year都是自定义变量,且分别被赋值为4和2000,在awk的脚本中这些变量将可以被直接使用,他们和脚本中定义的变量在使用上没有任何区别。

    除此之外,awk还提供了一组内建变量(变量名全部大写),见如下列表:

<b>变量名</b>

<b>变量内容</b>

ARGC

命令行参数的数量。

ARGIND

命令行正在处理的当前文件的AGV的索引。

ARGV

命令行参数数组。

CONVFMT

转换数字格式。

ENVIRON

从shell中传递来的包含当前环境变量的数组。

ERRNO

当使用close函数或者通过getline函数读取的时候,发生的重新定向错误的描述信息就保存在这个变量中。

FIELDWIDTHS

在对记录进行固定域宽的分割时,可以替代FS的分隔符的列表。

FILENAME

当前的输入文件名。

FNR

当前文件的记录号。

FS

输入分隔符,默认是空格。

IGNORECASE

在正则表达式和字符串操作中关闭大小写敏感。

NF

当前文件域的数量。

NR

当前文件记录数。

OFMT

数字输出格式。

OFS

输出域分隔符。

ORS

输出记录分隔符。

RLENGTH

通过match函数匹配的字符串的长度。

RS

输入记录分隔符。

RSTART

通过match函数匹配的字符串的偏移量。

SUBSEP

下标分隔符。

    /&gt; cat employees2

    Tom Jones:4424:5/12/66:543354

    Mary Adams:5346:11/4/63:28765

    Sally Chang:1654:7/22/54:650000

    Mary Black:1683:9/23/44:336500

    /&gt; awk -F: '{IGNORECASE = 1}; $1 == "mary adams" { print NR, $1, $2, $NF}' employees2

    2 Mary Adams 5346 28765

    /&gt; awk -F: ' $1 == "mary adams" { print NR, $1, $2, $NF}' employees2

    没有输出结果。

    当IGNORECASE内置变量的值为非0时,表示在进行字符串操作和处理正则表达式时关闭大小写敏感。这里的"mary adams"将匹配文件中的"Mary Admams"记录。最后print打印出第一、第二和最后一个域。需要说明的是NF表示当前记录域的数量,因此$NF将表示最后一个域的值。

    awk在动作部分还提供了BEGIN块和END块。其中BEGIN动作块在awk处理任何输入文件行之前执行。事实上,BEGIN块可以在没有任何输入文件的条件下测试。因为在BEGIN块执行完毕以前awk将不读取任何输入文件。BEGIN块通常被用来改变内建变量的值,如OFS、RS或FS等。也可以用于初始化自定义变量值,或打印输出标题。

    /&gt; awk 'BEGIN {FS = ":"; OFS = "\t"; ORS = "\n\n"} { print $1,$2,$3} filename

    上例中awk在处理文件之前,已经将域分隔符(FS)设置为冒号,输出文件域分隔符(OFS)设置为制表符,输出记录分隔符(ORS)被设置为两个换行符。BEGIN之后的动作模块中如果有多个语句,他们之间用分号分隔。

    和BEGIN恰恰相反,END模块中的动作是在整个文件处理完毕之后被执行的。

    /&gt; awk 'END {print "The number of the records is " NR }' filename

    awk在处理输入文件之后,执行END模块中的动作,上例中NR的值是读入的最后一个记录的记录号。

    /&gt; awk '/Mary/{count++} END{print "Mary was found " count " times." }' employees2

    Mary was found 2 times.

    /&gt; cat testfile

    northwest       NW      Charles Main                3.0     .98     3       34

    western          WE      Sharon Gray                5.3     .97     5       23

    southwest       SW      Lewis Dalsass              2.7     .8      2       18

    southern         SO      Suan Chin                   5.1     .95     4       15

    southeast        SE      Patricia Hemenway        4.0     .7      4       17

    eastern           EA      TB Savage                   4.4     .84     5       20

    northeast        NE      AM Main Jr.                  5.1     .94     3       13

    north             NO       Margot Weber             4.5     .89     5       9

    central           CT       Ann Stephens              5.7     .94     5       13

    /&gt; awk '/^north/{count += 1; print count}' testfile     #如记录以正则north开头,则创建变量count同时增一,再输出其值。

    1

    2

    3

    #这里只是输出前三个字段,其中第七个域先被赋值给变量x,在自减一,最后再同时打印出他们。

    /&gt; awk 'NR &lt;= 3 {x = $7--; print "x = " x ", $7 = " $7}' testfile

    x = 3, $7 = 2

    x = 5, $7 = 4

    x = 2, $7 = 1    

    #打印NR(记录号)的值在2--5之间的记录。

    /&gt; awk 'NR == 2,NR == 5 {print "The record number is " NR}' testfile

    The record number is 2

    The record number is 3

    The record number is 4

    The record number is 5

    #打印环境变量USER和HOME的值。环境变量的值由父进程shell传递给awk程序的。

    /&gt; awk 'BEGIN { print ENVIRON["USER"],ENVIRON["HOME"]}' 

    root /root

    #BEGIN块儿中对OFS内置变量重新赋值了,因此后面的输出域分隔符改为了\t。

    /&gt; awk 'BEGIN { OFS = "\t"}; /^Sharon/{ print $1,$2,$7}' testfile

    western WE      5

    #从输入文件中找到以north开头的记录count就加一,最后在END块中输出该变量。

    /&gt; awk '/^north/{count++}; END{print count}' testfile

<b>    2.  重新定向:</b>

    在动作语句中使用shell通用的重定向输出符号"&gt;"就可以完成awk的重定向操作,当使用&gt;的时候,原有文件将被清空,同时文件持续打开,直到文件被明确的关闭或者awk程序终止。来自后面的打印语句的输出会追加到前面内容的后面。符号"&gt;&gt;"用来打开一个文件但是不清空原有文件的内容,重定向的输出只是被追加到这个文件的末尾。

    /&gt; awk '$4 &gt;= 70 {print $1,$2 &gt; "passing_file"}' filename  #注意这里的文件名需要用双引号括起来。

    #通过两次cat的结果可以看出&gt;和&gt;&gt;的区别。

    /&gt; awk '/north/{print $1,$3,$4 &gt; "districts" }' testfile

    /&gt; cat districts

    northwest Joel Craig

    northeast TJ Nichols

    north Val Shultz

    /&gt; awk '/south/{print $1,$3,$4 &gt;&gt; "districts" }' testfile

    southwest Chris Foster

    southern May Chin

    southeast Derek Jonhson

    awk中对于输入重定向是通过getline函数来完成的。getline函数的作用是从标准输入、管道或者当前正在处理的文件之外的其他输入文件获得输入。他负责从输入获得下一行的内容,并给NF、NR和FNR等内建变量赋值。如果得到一个记录,getline就返回1,如果达到文件末尾就返回0。如果出现错误,如打开文件失败,就返回-1。

    /&gt; awk 'BEGIN { "date" | getline d; print d}'

    Tue Nov 15 15:31:42 CST 2011

    上例中的BEGIN动作模块中,先执行shell命令date,并通过管道输出给getline,然后再把输出赋值给自定义变量d并打印输出它。

    /&gt; awk 'BEGIN { "date" | getline d; split(d,mon); print mon[2]}'

    Nov

    上例中date命令通过管道输出给getline并赋值给d变量,再通过内置函数split将d拆分为mon数组,最后print出mon数组的第二个元素。

    /&gt; awk 'BEGIN { while("ls" | getline) print}'

    employees

    employees2

    testfile

    命令ls的输出传递给getline作为输入,循环的每个反复,getline都从ls的结果中读取一行输入,并把他打印到屏幕。

    /&gt; awk 'BEGIN { printf "What is your name? "; \

        getline name &lt; "/dev/tty"}\

        $1 ~ name {print "Found" name " on line ", NR "."}\

        END {print "See ya, " name "."}' employees2

    What is your name? Mary

    Found Mary on line  2.

    See ya, Mary.    

    上例先是打印出BEGIN块中的"What is your name? ",然后等待用户从/dev/tty输入,并将读入的数据赋值给name变量,之后再从输入文件中读取记录,并找到匹配输入变量的记录并打印出来,最后在END块中输出结尾信息。

    /&gt; awk 'BEGIN { while(getline &lt; "/etc/passwd" &gt; 0) lc++; print lc}'

    32

    awk将逐行读取/etc/passwd文件中的内容,在达到文件末尾之前,计数器lc一直自增1,当到了末尾后打印lc的值。lc的值为/etc/passwd文件的行数。

    由于awk中同时打开的管道只有一个,那么在打开下一个管道之前必须关闭它,管道符号右边可以通过可以通过双引号关闭管道。如果不关闭,它将始终保持打开状态,直到awk退出。

    /&gt; awk {print $1,$2,$3 | "sort -4 +1 -2 +0 -1"} END {close("sort -4 +1 -2 +0 -1") } filename

    上例中END模块中的close显示关闭了sort的管道,需要注意的是close中关闭的命令必须和当初打开时的完全匹配,否则END模块产生的输出会和以前的输出一起被sort分类。<b>  3.  条件语句:</b>

    awk中的条件语句是从C语言中借鉴来的,见如下声明方式:

    if (expression) {

        statement;

        ... ...

    }

    /&gt; awk '{if ($6 &gt; 50) print $1 "Too hign"}' filename

    /&gt; awk '{if ($6 &gt; 20 &amp;&amp; $6 &lt;= 50) { safe++; print "OK}}' filename

    } else {

        statement2;

    /&gt; awk '{if ($6 &gt; 50) print $1 " Too high"; else print "Range is OK" }' filename

    /&gt; awk '{if ($6 &gt; 50) { count++; print $3 } else { x = 5; print $5 }' filename

        statement1;

    } else if (expression1) {

        statement3;

    /&gt; awk '{if ($6 &gt; 50) print "$6 &gt; 50" else if ($6 &gt; 30) print "$6 &gt; 30" else print "other"}' filename

<b>   4.  循环语句:</b>

    awk中的循环语句同样借鉴于C语言,支持while、do/while、for、break、continue,这些关键字的语义和C语言中的语义完全相同。

<b>    5.  流程控制语句:</b>

    next语句是从文件中读取下一行,然后从头开始执行awk脚本。

    exit语句用于结束awk程序。它终止对记录的处理。但是不会略过END模块,如果exit()语句被赋值0--255之间的参数,如exit(1),这个参数就被打印到命令行,以判断退出成功还是失败。

继续阅读