正则表达式的整理grep,sed,awk

首先，什么是正则表达式。

 简单的说，正则表达式就是处理字符串的方法，它是以行为单位来进行字符串的处理行为，正则表达式通过一些特殊符号的辅助，可以让用户轻易达到查找、删除、替换某特定字符串的处理程序

正则表达式 REGEXP:REGular EXPression

 basic REGEXP：基本

 Extended REGEXP:扩展

grep的用法：

  功能：进行字符串数据的对比，然后将符合用户需求的字符串打印出来，以整行为单位来进行选取的，选取的结果丢弃不符号标准的行

#grep

   -i ：忽略大小写

   --color

   -v ：显示没有被模式匹配到的行

   -o ：只显示被模式匹配的字符串

    -E:使用扩展正则表达式

 -A #：（#为数字）附带显示后2行

 -B #：（#为数字）附带显示前2行

 -C #：（#为数字）附带显示前后2行

 *：任意长度的任意字符

 ？：任意单个字符

 []：以内

 [^]：以外

 正则表达式：REGular EXPression ,REGEXP

 元字符：

 . :任意单个字符

 []：匹配指定范围内的任意单个字符

 [^]:匹配指定范围外的任意单个字符

        字符集合

 [:digit:]：代表数字，既0-9

 [:alnum:]：代表代表英文大小写字符及数字，即a-z,A-Z,0-9

 [:blank:]：代表空格和[tab]键

 [:alpha:]：代表代表英文大小写字符a-z,A-Z

 [:cntrl:]：代表键盘上的控制按键，

 [:graph:]：除了空格符（空格和[tab]键）以外的所有

 [:lower:]：小写字符即a-z

 [:print:]：代表任何可以打印出来的字符

 [:punct:]：代表标点符号

 [:upper:]：代表大写字符即A-Z

 [:space:]：代表可以产生空白的字符

 [:xdigit:]：代表16进制的数字类型，包括0-9，A-F,a-f

---------------------------------基础正则表达式字符

 匹配次数（贪婪模式）：

 *  ：匹配其前面的字符任意次 

 .* ：任意长度的任意字符

 \  ：转义字符，将有特殊意义的字符特殊意义除去

 \？：匹配其前面的字符1次或0次

 \{m,n\}：匹配其前面的字符至少m次，至多n次

 位置锚定：

 ^ ：锚定行首，此字符后边的任意内容必须出现在行首

 $：锚定行尾，此字符前边的任意内容必须出现在行尾

 ^$：空白行

 \<或\b ：锚定词首，其后面的任意字符必须作为单词的首部出现

 \>或\b ：锚定词尾，其前边的任意字符必须作为单词的尾部出现

 分组：

 \(\) 

    \(ab\)*  ab可以出现0次或任意次

     后向引用

      \1:引用第一个左括号以及与之对应的右括号所包括的所有内容

      \2:

      \3:

sed用法：可将数据进行选取，删除，替换，新增等功能。

 sed：Stream EDitor

 行编辑器（全屏编辑器：vi）

sed [] 'AddressCommand' file ...

 -n：静默模式，不在默认显示模式空间中的内容

 -i：直接修改原文件

 -e SCRIPT -e SCRIPT：可以同时执行多个脚本

 -f /PATH/TO/SED_SCRIPT

  sed -f /path/to/scripts file

 -r：表示使用扩展正则表达式

Address：

1、StartLine , EndLine

  比如1,100

  $:最后一行

2、/RegExp/

 /^root/

3、/pattern1/,/pattern2/

 第一次被pattern1匹配到的行开始，至第一次被pattern2匹配到的行结束，这中间的所有行

4、LineNumber

 指定的行

5、StartLine,+N

 从startline开始，向后的N行；

Command

 d：删除符合条件的行；

 p：显示符合条件的行；

 a \string：在指定的行后面追加新行，内容为string

  \n：可以用户换行

 i \string：在指定的行前面添加新行，内容为string

 r FILE：将指定的文件的内容添加至符合条件的行处

 w FILE：将地址指定范围内的内容另至指定的文件夹中；

 s/pattern/string/修饰符：查找并替换,默认只替换每行中第一次被模式匹配到的字符串

  加修饰符

  g：全局替换

  i：忽略字符大小写

 s///：s###  s@@@

  \(\),\1,\2

 &：引用模式匹配整个串

---------------------扩展正则表达式

 + ：重复1个或多个前一个字符

 ？：0个或1个前一个字符

 | ：用或（or）的方式找出数个字符串

 （）：分组

 （）+：同上

#printf 格式化打印

 \a  警告声音输出

 \b  退格键

 \f  清除屏幕

 \n  输出新的一行

 \r  即Enter按键

 \t  水平的tab键

 \v  垂直的tab键

 \xNN  NN为两位数字，可以转换数字成为字符

 %ns  那个n是数字，s代表string ，即多少个字符，

 %ni  那个n是数字，i代表integer ，即多少个整体数字，

 %N.nf 那个n与N都是数字，f代表floating，如果有10位数，但小数点有2位，则%10.2f

#awk：

 以行为处理单位，以字段为最小的处理单位。

 awk的处理流程

  1.读入第一行，并将第一行的数据填入$0,$1,$2等变量中

  2.一如条件类型的限制，判断是否需要进行后面的操作；

  3.做完所有的动作与条件类型；

  4.若还有后续的“行”的数据，则重复上边1~3的步骤，直到所有的数据都读完为止。

  变量名称

   NF：每一行（$0）用于的字段总数

   NR：目前awk所处理的是“第几行”数据

   FS：目前的分隔字符，默认是空格键 

  注意：awk后续的所有动作都是以单引号''扩住的

    awk'{pattern + action}' {filename}

    pattern表示awk在数据中查找的内容，支持正则表达式

    action 是在找到匹配内容的时候执行的一系列命令

    {}不需要在命令中始终出现，他们需要在特定模式对一系列指令进行分组

 awk的运算逻辑符

  >

  <

  >=

  <=

  ==

  !=

#dill cmp

 #dill ：以行为单位来进行比较，

 #cmp  ：以字符为单位来进行比较

本文转自 陈延宗 51CTO博客，原文链接：http://blog.51cto.com/407711169/1148239，如需转载请自行联系原作者