RHCSA&RHCE（RHCE7）學習知識點--Linux正規表示法與檔案格式化處理

正規表示法 (Regular Expression, RE, 或稱為正常表示法)是透過一些特殊字元的排列，用以『搜尋/取代/删除』一行或多行文字字元串，正規表示法就是用在字元串的處理上面的一項『表示式』。正規表示法并不是一個工具程式，而是一個字元串處理的标準依據，如果您想要以正規表示法的方式處理字元串，就得要使用支援正規表示法的工具程式才行，這類的工具程式很多，例如 vi, sed, awk 等等。

正規表示法就是處理字元串的方法，他是以行為機關來進行字元串的處理行為， 正規表示法透過一些特殊符号的輔助，可以讓使用者輕易的達到『搜尋/删除/取代』某特定字元串的處理程式

『正規表示法與通配符是完全不一樣的東西』,『通配符 (wildcard)代表的是 bash 操作接口的一個功能』，但正規表示法則是一種字元串處理的表示方式

基礎正規表示法

正規表示法的字元串表示方式依照不同的嚴謹度而分為：基礎正規表示法與延伸正規表示法。延伸型正規表示法除了簡單的一組字元串處理之外，還可以作群組的字元串處理

語言對正規表示法的影響

使用正規表示法時，需要特别留意當時環境的語言為何，否則可能會發現與别人不相同的撷取結果

特殊符号	代表意義
[:alnum:]	代表英文大小寫字元及數字，亦即 0-9, A-Z, a-z
[:alpha:]	代表任何英文大小寫字元，亦即 A-Z, a-z
[:blank:]	代表空格鍵與 [Tab] 按鍵兩者
[:cntrl:]	代表鍵盤上面的控制按鍵，亦即包括 CR, LF, Tab, Del.. 等等
[:digit:]	代表數字而已，亦即 0-9
[:graph:]	除了空格符 (空格鍵與 [Tab] 按鍵) 外的其他所有按鍵
[:lower:]	代表小寫字元，亦即 a-z
[:print:]	代表任何可以被列印出來的字元
[:punct:]	代表标點符号 (punctuation symbol)，亦即：" ' ? ! ; : # $...
[:upper:]	代表大寫字元，亦即 A-Z
[:space:]	任何會産生空白的字元，包括空格鍵, [Tab], CR 等等
[:xdigit:]	代表 16 進位的數字類型，是以包括： 0-9, A-F, a-f 的數字與字元

grep 的一些進階選項

$ grep [-A] [-B] [--color=auto] '搜尋字元串' filename

選項與參數：

-A ：後面可加數字，為 after 的意思，除了列出該行外，後續的 n 行也列出來；

-B ：後面可加數字，為 befer 的意思，除了列出該行外，前面的 n 行也列出來；

--color=auto 可将正确的那個撷取資料列出顔色

基礎正規表示法練習

• 例題一、搜尋特定字元串

取得 the 這個特定字元串

$ grep -n 'the' regular_express.txt

想要『反向選擇』the

$ grep -vn 'the' regular_express.txt

• 例題二、利用中括号 [] 來搜尋集合字元

搜尋 test 或 taste 這兩個單字

$ grep -n 't[ae]st' regular_express.txt

不想要 oo 前面有 g

$ grep -n '[^g]oo' regular_express.txt

oo 前面不想要有小寫字元

$ grep -n '[^a-z]oo' regular_express.txt

$ grep -n '[^[:lower:]]oo' regular_express.txt

有數字的那一行

$ grep -n '[0-9]' regular_express.txt

$ grep -n '[[:digit:]]' regular_express.txt

• 例題三、行首與行尾字元 ^ $

the 隻在行首列出

$ grep -n '^the' regular_express.txt

開頭是小寫字元的那一行就列出

$ grep -n '^[a-z]' regular_express.txt

第一個字元都不是大寫的

$ grep -n '^[[:lower:]]' regular_express.txt

不想要開頭是英文字母

$ grep -n '^[^a-zA-Z]' regular_express.txt

$ grep -n '^[^[:alpha:]]' regular_express.txt

注意：那個 ^ 符号，在字元集合符号(括号[])之内與之外是不同的，在 [] 内代表『反向選擇』，在 [] 之外則代表定位在行首的意義

行尾結束為小數點 (.) 的那一行

$ grep -n '\.$' regular_express.txt

因為小數點具有其他意義，是以必須要使用轉義字元(\)來加以解除其特殊意義

哪一行是『空白行』

$ grep -n '^$' regular_express.txt

• 例題四、任意一個字元 . 與重複字元 *

這兩個符号在正規表示法的意義如下：

• . (小數點)：代表『一定有一個任意字元』的意思；
• * (星号)：代表『重複前一個字元，0到無窮多次』的意思，為組合形态

找出 g??d 的字元串，亦即共有四個字元，起頭是 g 而結束是 d

$ grep -n 'g..d' regular_express.txt

注意：因為 * 代表的是『重複 0 個或多個前面的 RE 字元』的意義，是以，『o*』代表的是：『擁有空字元或一個 o 以上的字元』，特别注意，因為允許空字元(就是有沒有字元都可以的意思)，是以，『grep -n 'o*' regular_express.txt 』将會把所有的資料都列印出來螢幕上

要找出 g 開頭與 g 結尾的字元串，當中的字元可有可無

$ grep -n 'g.*g' regular_express.txt

$ grep -n 'g*g' regular_express.txt  ##錯誤

因為 g*g 裡面的 g* 代表『空字元或一個以上的 g』 在加上後面的 g ，是以，整個 RE 的内容就是 g, gg, ggg, gggg ，是以，隻要該行當中擁有一個以上的 g 就符合所需

• 例題五、限定連續 RE 字元範圍 {}

限定範圍的字元{}在shell是有特殊意義的，是以，我們必須要使用轉義字元 \ 來讓他失去特殊意義才行。

要找到兩個 o 的字元串：

$ grep -n 'o\{2\}' regular_express.txt

要找出 g 後面接 2 到 5 個 o ，然後再接一個 g 的字元串

$ grep -n 'go\{2,5\}g' regular_express.txt

要的是 2 個 o 以上的 goooo....g

$ grep -n 'go\{2,\}g' regular_express.txt

基礎正規表示法字元彙總 (characters)

RE 字元	意義與範例
^word	意義：待搜尋的字元串(word)在行首！ 範例：搜尋行首為 # 開始的那一行，并列出行号 grep -n '^#' regular_express.txt
word$	意義：待搜尋的字元串(word)在行尾！ 範例：将行尾為 ! 的那一行列印出來，并列出行号 grep -n '!$' regular_express.txt
.	意義：代表『一定有一個任意字元』的字元！ 範例：搜尋的字元串可以是 (eve) (eae) (eee) (e e)， 但不能僅有 (ee) ！亦即 e 與 e 中間『一定』僅有一個字元，而空格符也是字元！ grep -n 'e.e' regular_express.txt
\	意義：轉義字元，将特殊符号的特殊意義去除！ 範例：搜尋含有單引号 ' 的那一行！ grep -n \' regular_express.txt
*	意義：重複零個到無窮多個的前一個 RE 字元 範例：找出含有 (es) (ess) (esss) 等等的字元串，注意，因為 * 可以是 0 個，是以 es 也是符合帶搜尋字元串。另外，因為 * 為重複『前一個 RE 字元』的符号， 是以，在 * 之前必須要緊接着一個 RE 字元喔！例如任意字元則為 『.*』 ！ grep -n 'ess*' regular_express.txt
[list]	意義：字元集合的 RE 字元，裡面列出想要撷取的字元！ 範例：搜尋含有 (gl) 或 (gd) 的那一行，需要特别留意的是，在 [] 當中『謹代表一個待搜尋的字元』， 例如『 a[afl]y 』代表搜尋的字元串可以是 aay, afy, aly 即 [afl] 代表 a 或 f 或 l 的意思！ grep -n 'g[ld]' regular_express.txt
[n1-n2]	意義：字元集合的 RE 字元，裡面列出想要撷取的字元範圍！ 範例：搜尋含有任意數字的那一行！需特别留意，在字元集合 [] 中的減号 - 是有特殊意義的，他代表兩個字元之間的所有連續字元！但這個連續與否與 ASCII 編碼有關，是以，你的編碼需要設定正确(在 bash 當中，需要确定 LANG 與 LANGUAGE 的變量是否正确！) 例如所有大寫字元則為 [A-Z] grep -n '[A-Z]' regular_express.txt
[^list]	意義：字元集合的 RE 字元，裡面列出不要的字元串或範圍！ 範例：搜尋的字元串可以是 (oog) (ood) 但不能是 (oot) ，那個 ^ 在 [] 内時，代表的意義是『反向選擇』的意思。 例如，我不要大寫字元，則為 [^A-Z]。但是，需要特别注意的是，如果以 grep -n [^A-Z] regular_express.txt 來搜尋，卻發現該檔案内的所有行都被列出，為什麼？因為這個 [^A-Z] 是『非大寫字元』的意思， 因為每一行均有非大寫字元，例如第一行的 "Open Source" 就有 p,e,n,o.... 等等的小寫字 grep -n 'oo[^t]' regular_express.txt
\{n,m\}	意義：連續 n 到 m 個的『前一個 RE 字元』 意義：若為 \{n\} 則是連續 n 個的前一個 RE 字元， 意義：若是 \{n,\} 則是連續 n 個以上的前一個 RE 字元！ 範例：在 g 與 g 之間有 2 個到 3 個的 o 存在的字元串，亦即 (goog)(gooog) grep -n 'go\{2,3\}g' regular_express.txt

sed 工具

sed 本身也是一個管道指令，可以分析 standard input 的，而且 sed 還可以将資料進行取代、删除、新增、撷取特定行等等的功能

$ sed [-nefr] [動作]

選項與參數：

-n  ：使用安靜(silent)模式。在一般 sed 的用法中，所有來自 STDIN 的資料一般都會被列出到螢幕上。

      但如果加上 -n 參數後，則隻有經過 sed 特殊處理的那一行(或者動作)才會被列出來。

-e  ：直接在指令行模式上進行sed 的動作編輯；

-f  ：直接将 sed 的動作寫在一個檔案内， -f filename 則可以執行 filename 内的 sed 動作；

-r  ：sed 的動作支援的是延伸型正規表示法的文法。(預設是基礎正規表示法文法)

-i  ：直接修改讀取的檔案内容，而不是由螢幕輸出。

動作說明：  [n1[,n2]]function

n1, n2 ：不見得會存在，一般代表『選擇進行動作的行數』，舉例來說，如果我的動作是需要在 10 到 20 行之間進行的，則『10,20[動作行為]』

function 有下面這些咚咚：

a   ：新增， a 的後面可以接字元串，而這些字元串會在新的一行出現(目前的下一行)

c   ：取代， c 的後面可以接字元串，這些字元串可以取代 n1,n2 之間的行

d   ：删除，因為是删除啊，是以 d 後面通常不接任何咚咚；

i   ：插入， i 的後面可以接字元串，而這些字元串會在新的一行出現(目前的上一行)；

p   ：列印，亦即将某個選擇的資料印出。通常 p 會與參數 sed -n 一起運作

s   ：取代，可以直接進行取代的工作，通常這個s的動作可以搭配正規表示法

• 以行為機關的新增/删除功能

将 /etc/passwd 的内容列出并且列印行号，同時，請将第 2~5 行删除！

$ nl /etc/passwd | sed '2,5d'

隻要删除第 2 行，可以使用『 nl /etc/passwd | sed '2d' 』,要删除第 3 到最後一行，則是『 nl /etc/passwd | sed '3,$d' 』的啦，那個『 $ 』代表最後一行

在第二行後(亦即是加在第三行)加上『drink tea?』字樣！

$ nl /etc/passwd | sed '2a drink tea'

在第二行後面加入兩行字，例如『Drink tea or .....』與『drink beer?』

$ nl /etc/passwd | sed '2a Drink tea or ......\

> drink beer ?'

• 以行為機關的取代與顯示功能

将第2-5行的内容取代成為『No 2-5 number』

$ nl /etc/passwd | sed '2,5c No 2-5 number'

僅列出 /etc/passwd 檔案内的第 5-7 行

$ nl /etc/passwd | sed -n '5,7p'

• 部分資料的搜尋并取代的功能

sed 's/要被取代的字元串/新的字元串/g'

取IP位址：

$ /sbin/ifconfig eth0 | grep 'inet ' | sed 's/^.*inet //g' \

>   | sed 's/ *netmask.*$//g'

隻要 MAN 存在的那幾行資料，但是含有 # 在内的批注我不想要，而且空白行我也不要

$ cat /etc/man_db.conf | grep 'MAN'| sed 's/#.*$//g' | sed '/^$/d'

• 直接修改檔案内容(危險動作)

将 regular_express.txt 内每一行結尾若為 . 則換成 !

$ sed -i 's/\.$/\!/g' regular_express.txt

直接在 regular_express.txt 最後一行加入『# This is a test』

[d[email protected] ~]$ sed -i '$a # This is a test' regular_express.txt

延伸正規表示法

RE 字元	意義與範例
+	意義：重複『一個或一個以上』的前一個 RE 字元 範例：搜尋 (god) (good) (goood)... 等等的字元串。 那個 o+ 代表『一個以上的 o 』是以，下面的執行成果會将第 1, 9, 13 行列出來。 egrep -n 'go+d' regular_express.txt
?	意義：『零個或一個』的前一個 RE 字元 範例：搜尋 (gd) (god) 這兩個字元串。 那個 o? 代表『空的或 1 個 o 』是以，上面的執行成果會将第 13, 14 行列出來。 有沒有發現到，這兩個案例( 'go+d' 與 'go?d' )的結果集合與 'go*d' 相同？ 想想看，這是為什麼喔！ ^_^ egrep -n 'go?d' regular_express.txt
|	意義：用或( or )的方式找出數個字元串 範例：搜尋 gd 或 good 這兩個字元串，注意，是『或』！ 是以，第 1,9,14 這三行都可以被列印出來喔！那如果還想要找出 dog 呢？ egrep -n 'gd|good' regular_express.txt egrep -n 'gd|good|dog' regular_express.txt
()	意義：找出『群組』字元串 範例：搜尋 (glad) 或 (good) 這兩個字元串，因為 g 與 d 是重複的，是以， 我就可以将 la 與 oo 列于 ( ) 當中，并以 | 來分隔開來，就可以啦！ egrep -n 'g(la|oo)d' regular_express.txt
()+	意義：多個重複群組的判别 範例：将『AxyzxyzxyzxyzC』用 echo 叫出，然後再使用如下的方法搜尋一下！ echo 'AxyzxyzxyzxyzC' | egrep 'A(xyz)+C' 上面的例子意思是說，我要找開頭是 A 結尾是 C ，中間有一個以上的 "xyz" 字元串的意思～

! 在正規表示法當中并不是特殊字元，要查出來檔案中含有 ! 與 > 的字行

grep -n '[!>]' regular_express.txt

格式化列印： printf

printf可以将資料輸出的結果格式化，而且支援一些特殊的字元

$ printf '列印格式' 實際内容

選項與參數：

關于格式方面的幾個特殊樣式：

       \a    警告聲音輸出

       \b    倒退鍵(backspace)

       \f    清除螢幕 (form feed)

       \n    輸出新的一行

       \r    Enter 按鍵

       \t    水準的 [tab] 按鍵

       \v    垂直的 [tab] 按鍵

       \xNN  NN 為兩位數的數字，可以轉換數字成為字元。

關于 C 程式語言内，常見的變數格式

       %ns   那個 n 是數字，s 代表 string ，亦即多少個字元；

       %ni   那個 n 是數字，i 代表 integer ，亦即多少整數字數；

       %N.nf 那個 n 與 N 都是數字，f 代表 floating (浮點)，如果有小數字數，假設我共要十個位數，但小數點有兩位，即為%10.2f

以字元串、整數、小數點來顯示：

[[email protected] ~]$ printf '%10s %5i %5i %5i %8.2f \n' $(cat printf.txt | grep -v Name)

    DmTsai    80    60    92    77.33

     VBird    75    55    80    70.00

       Ken    60    90    70    73.33

列出 16 進位數值 45 代表的字元

$ printf '\x45\n'

E

awk：好用的資料處理工具

awk 将一行當中分成數個『字段』來處理

$ awk '條件類型1{動作1} 條件類型2{動作2} ...' filename

awk 後面接兩個單引号并加上大括号{}來設定想要對資料進行的處理動作。 awk可以處理後續接的檔案，也可以讀取來自前個指令的standard output。awk主要是處理『每一行的字段内的資料』，而預設的『字段的分隔符為 "空格鍵" 或 "[tab]鍵"』

在 awk 的括号内，每一行的每個字段都是有變量名稱的，那就是 $1, $2... 等變量名稱。$0 代表『一整行資料』的意思

awk 是『以行為一次處理的機關』，而『以字段為最小的處理機關』。

取出賬号與登入者的 IP ，且賬号與 IP 之間以 [tab] 隔開

$ last -n 5 | awk '{print $1 "\t" $3}'

dmtsai  192.168.1.100

dmtsai  192.168.1.100

dmtsai  192.168.1.100

awk 的内建變量

變量名稱	代表意義
NF	每一行 ($0) 擁有的字段總數
NR	目前 awk 所處理的是『第幾行』資料
FS	目前的分隔字元，預設是空格鍵

• 列出每一行的賬号(就是 $1)；
• 列出目前處理的行數(就是 awk 内的 NR 變量)
• 并且說明，該行有多少字段(就是 awk 内的 NF 變量)

$ last -n 5| awk '{print $1 "\t lines: " NR "\t columns: " NF}'

dmtsai   lines: 1        columns: 10

dmtsai   lines: 2        columns: 10

dmtsai   lines: 3        columns: 10

dmtsai   lines: 4        columns: 10

dmtsai   lines: 5        columns: 9

# 注意，在 awk 内的 NR, NF 等變量要用大寫，且不需要有$

• awk 的邏輯運算字元

運算單元	代表意義
>	大于
<	小于
>=	大于或等于
<=	小于或等于
==	等于
!=	不等于

注意的是那個『 == 』的符号：

• 邏輯運算上面亦即所謂的大于、小于、等于等判斷式上面，習慣上是以『 == 』來表示；
• 如果是直接給予一個值，例如變量設定時，就直接使用 = 而已。

在 /etc/passwd 當中是以冒号 ":" 來作為字段的分隔，該檔案中第一字段為賬号，第三字段則是 UID。那假設我要查閱，第三欄小于 10 以下的資料，并且僅列出賬号與第三欄：

$ cat /etc/passwd | awk '{FS=":"} $3 < 10 {print $1 "\t " $3}' root:x:0:0:root:/root:/bin/bash bin      1 daemon   2 $ cat /etc/passwd | awk 'BEGIN {FS=":"} $3 < 10 {print $1 "\t " $3}' root     0 bin      1 daemon   2

• 第一行隻是說明，是以第一行不要進行加總 (NR==1 時處理)；
• 第二行以後就會有加總的情況出現 (NR>=2 以後處理)

$ cat pay.txt | \ > awk 'NR==1{printf "%10s %10s %10s %10s %10s\n",$1,$2,$3,$4,"Total" } > NR>=2{total = $2 + $3 + $4 > printf "%10s %10d %10d %10d %10.2f\n", $1, $2, $3, $4, total}'       Name        1st        2nd        3th      Total      VBird      23000      24000      25000   72000.00     DMTsai      21000      20000      23000   64000.00      Bird2      43000      42000      41000  126000.00

重要事項說明：

• awk 的指令間隔：所有 awk 的動作，亦即在{}内的動作，如果有需要多個指令輔助時，可利用分号『;』間隔，或者直接以 [Enter] 按鍵來隔開每個指令
• 邏輯運算當中，如果是『等于』的情況，則務必使用兩個等号『==』
• 格式化輸出時，在 printf 的格式設定當中，務必加上 \n ，才能進行分行
• 與 bash shell 的變量不同，在 awk 當中，變量可以直接使用，不需加上 $ 符号。
• awk 的動作内 {} 也是支援 if (條件)

檔案比對工具

• diff

diff 就是用在比對兩個檔案之間的差異的，并且是以行為機關來比對的，一般是用在 ASCII 純文字檔的比對上。另外，diff 也可以比對整個目錄下的差異

$ diff [-bBi] from-file to-file

選項與參數：

from-file ：一個檔案名，作為原始比對檔案名；

to-file   ：一個檔案名，作為目的比對檔案名；

注意，from-file 或 to-file 可以 - 取代，那個 - 代表『Standard input』之意。

-b  ：忽略一行當中，僅有多個空白的差異(例如 "about me" 與 "about     me" 視為相同

-B  ：忽略空白行的差異。

-i  ：忽略大小寫的不同。

$ diff passwd.old passwd.new

4d3    <==左邊第四行被删除(d)掉了，基準是右邊的第三行

< adm:x:3:4:adm:/var/adm:/sbin/nologin  <==這邊列出左邊(<)檔案被删除的那一行内容

6c5    <==左邊檔案的第六行被取代(c)成右邊檔案的第五行

< sync:x:5:0:sync:/sbin:/bin/sync  <==左邊(<)檔案第六行内容

---

> no six line                      <==右邊(>)檔案第五行内容

可以将兩個目錄比對一下：

$ diff /etc/rc0.d/ /etc/rc5.d/ Only in /etc/rc0.d/: K90network Only in /etc/rc5.d/: S10network

• cmp

cmp主要也是在比對兩個檔案，他主要利用『位元組』機關去比對，也可以比對 binary file

$ cmp [-l] file1 file2

選項與參數：

-l  ：将所有的不同點的位元組處都列出來。因為 cmp 預設僅會輸出第一個發現的不同點。

$ cmp passwd.old passwd.new

passwd.old passwd.new differ: char 106, line 4

• patch

patch 這個指令與 diff 可是有密不可分的關系，就是『先比較舊版本的差異，并将差異檔案制作成為更新檔檔案，再由更新檔檔案更新舊檔案』

$ diff -Naur passwd.old passwd.new > passwd.patch

$ cat passwd.patch

--- passwd.old  2015-07-14 22:37:43.322535054 +0800  <==新舊檔案的資訊

+++ passwd.new  2015-07-14 22:38:03.010535054 +0800

@@ -1,9 +1,8 @@  <==新舊檔案要修改資料的範圍，舊檔案在第 1 行開始的 9 行,新檔案在第 1 行開始的 8 行

 root:x:0:0:root:/root:/bin/bash

 bin:x:1:1:bin:/bin:/sbin/nologin

 daemon:x:2:2:daemon:/sbin:/sbin/nologin

-adm:x:3:4:adm:/var/adm:/sbin/nologin     <==左側檔案删除

 lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin

-sync:x:5:0:sync:/sbin:/bin/sync          <==左側檔案删除

+no six line                              <==右側新檔加入

 shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown

 halt:x:7:0:halt:/sbin:/sbin/halt

 mail:x:8:12:mail:/var/spool/mail:/sbin/nologin

使用 diff 制作出來的比較檔案通常使用擴充名為 .patch。基本上就是以行為機關，看看哪邊有一樣與不一樣的，然後将不一樣的地方取代掉，新檔案看到 - 會删除，看到 + 會加入

$ patch -pN < patch_file    <==更新

$ patch -R -pN < patch_file <==還原

選項與參數：

-p  ：後面可以接『取消幾層目錄』的意思。

-R  ：代表還原，将新的檔案還原成原來舊的版本。

參考文檔：

《鳥哥的Linux私房菜基礎篇第三版》