一、前言
Linux中的三個指令awk、sed、grep在業界被稱為“三劍客”，grep擅長查找，sed擅長取行和替換，awk擅長運算。
我們知道Linux下一切皆檔案，對Linux的操作就是對檔案的處理，那麼怎麼能更好的處理檔案呢？這就要用到三劍客指令。
三劍客與正規表達式息息相關，正規表達式是為了處理大量的文本|字元串而定義的一套規則和模版，這個模版是由一些普通字元和一些元字元組成。普通字元包括大小寫的字母和數字，而元字元則具有特殊的含義。正規表達式詳情可參看資料《linux正規表達式》。
三劍客與正規表達式是什麼關系呢？
三劍客就是普通的指令，有的把他們叫做工具。而正規表達式就好比一個模版，而linux下一般隻有三劍客能讀懂這個模版。
二、grep指令
2.1 grep指令功能
grep（global search regular expression(RE) and print out the line，全面搜尋正規表達式并把行列印出來）是一種強大的文本搜尋工具，它能使用正規表達式搜尋文本，并把比對的行列印出來。
Unix的grep家族包括grep、egrep和fgrep。egrep和fgrep的指令隻跟grep有很小不同。egrep是grep的擴充，支援更多的re元字元， fgrep就是fixed grep或fast grep，它們把所有的字母都看作單詞，也就是說，正規表達式中的元字元表示回其自身的字面意義，不再特殊。linux使用GNU版本的grep。它功能更強，可以通過-G、-E、-F指令行選項來使用egrep和fgrep的功能。
查找内容可以用雙引号括起來，也可以不用，建議使用雙引号,雙引号中一些特殊符号要注意使用轉義字元。
格式：grep [OPTIONS] PATTERN [FILE...]
grep預設不支援擴充正則，是以擴充正規表達式的符号對于grep來說就等同于普通字元含義，是以，想讓grep直接處理正則符号必須通過轉義字元\{\}來處理。
grep -E 強制讓grep直接認識正則符号，不需要再進行轉義，egrep 等效grep -E 天生就能認識正則符号；我們平時備份可以通過cp 檔案名{,.bak}的形式進行，避免再打一次檔案名
2.2 支援的選項參數
-a 不要忽略二進制資料。
-A <顯示行數> 除了顯示符合範本樣式的行之外，并顯示該行之後的指定幾行内容。
-B<顯示行數> 除了顯示符合範本樣式的行之外，并顯示該行之前的指定幾行内容。
-C<顯示行數> 除了顯示符合範本樣式的那一行之外，并顯示該行前後指定幾行的内容。
-b 在顯示符合範本樣式的那一行之外，并顯示位元組偏移量。-c 隻計算顯示符合範本樣式的行數，不顯示詳細内容
-d<進行動作> 當指定要查找的是目錄而非檔案時，必須使用這項參數，否則grep指令将回報資訊并停止動作。
-e<範本樣式> 指定字元串作為查找檔案内容的範本樣式。
-E 将範本樣式為延伸的普通表示法來使用，意味着能使用擴充正規表達式。
-f <範本檔案> 指定範本檔案，其内容有一個或多個範本樣式，讓grep查找符合範本條件的檔案内容，格式為每一列的範本樣式。
-F 将範本樣式視為固定字元串的清單。
-G 将範本樣式視為普通的表示法來使用。
-h 在顯示符合範本樣式的那一列之前，不标示該列所屬的檔案名稱。
-H 在顯示符合範本樣式的那一列之前，标示該列的檔案名稱。
-i 忽略字元大小寫的差别。
-l 列出檔案内容符合指定的範本樣式的檔案名稱。
-L 列出檔案内容不符合指定的範本樣式的檔案名稱。
-n 在顯示符合範本樣式的那一列，标示出該列的編号。
-q 不顯示任何資訊。
-R/-r 此參數的效果和指定“-d recurse”參數相同，表明查找路徑為目錄
-s 不顯示錯誤資訊。
-v 反轉查找，顯示不符合模式的所有資訊
-w 隻顯示全字元合的列。
-x 隻顯示全列符合的列。
-y 此參數效果跟“-i”相同。
-o 隻輸出檔案中比對到的部分。
--color=auto 把比對部分标記出來，要想目前終端後續使用都要标記比對部分，可用alias指令重新封裝grep。
#alias grep=’grep --color=auto’
2.3 常用示例
在檔案中查找内容
成功會輸出所有包含查找内容的行，否則輸出為空。
$ grep bash file_read.sh #在file_read.sh内查找bash
$ grep "bash" file_read.sh --color=auto #兩者效果相同，并且标記顔色
$ grep "bash" file_read.sh demo.sh #在file_read.sh demo.sh 内查找bash
在目錄下查找内容
成功會輸出檔案名:所有包含内容的行，否則輸出為空
需運用-r/-R/-d recurse 選項參數,指明查找路徑為目錄
$ grep "bash" -r ./ #在目前目錄下查找檔案内容bash
$ grep "bash" -R ./
$ grep "bash" -d recurse ./ 顯示查找内容所在行的行号
需運用-n參數，顯示行号，可單獨也可與其他選項參數寫在一起。
$ grep "bash" -n file_read.sh #在file_read.sh内查找bash
$ grep "bash" -Rn ./
$ grep "bash" -r -n ./ 反轉顯示，顯示與查找内容不符合的所有内容
需運用-v參數。
$ grep "bash" -vn demo.sh #顯示demo.sh内不包含bash的行，并顯示行号 查找以某内容開頭的行
需運用正規表達式^...。
$ grep "^#" demo.sh #查找demo.sh内以#開頭的行，注意前面不能有空白字元，必須是最開頭 查找空白行
需運用正規表達式...$。
$ grep "^$" 123.txt 查找非指定字元開頭的行
$ grep "^[^#]" demo.sh #在demo.sh中查找不以#開頭的行 查找以某内容結尾的行
$ grep "name$" demo.sh #查找demo.sh内以name結尾的行，注意必須是最後且後面不能有空白字元 需運用-c參數，不顯示詳細内容，隻顯示行數
$ grep "name" demo.sh -c # 在demo.sh中查找name出現的行數 顯示查找内容及其前後行内容
需運用 -A 行數/-B 行數/-C 行數 參數
$ grep "name" demo.sh -A 2 #顯示查找内容及其後兩行内容
$ grep "name" demo.sh -B 2 #顯示查找内容及其前兩行内容
$ grep "name" demo.sh -C 2 #顯示查找内容及其前後兩行内容
查找阿拉伯數字
需要用到正規表達式[m]與{n}，選項參數-E（指定使用正規表達式）
[]正規表達式:[m]表明查找比對m字元的内容。
[^m]表明比對不是m字元的内容。
[m-f]表示比對m到f的内容，m可以是數字，可以是字元。
{}正規表達式：{m}表示比對之前的項m次
{m,}表示比對之前的項至少m次
{m,f}表示比對之前的項m次到f次。m是可以為0的正整數。
$ grep "[1-3]\{2\}" 123.txt #在123.txt中查找1-3之間數字出現兩次的内容，注意{}前後一定要加轉義字元
$ grep -E "[1-3]{2}" 123.txt #或者直接使用-E參數指定使用正規表達式，則可不加轉義
$ grep "[1-3][1-3]" 123.txt #與上面相同效果，也表示在123.txt中查找1-3之間數字出現兩次的内容
$ifconfig | grep "[0-9]\{1,3\}\.[0-9]\{1,3\}\.[0-9]\{1,3\}\.[0-9]\{1,3\}"
grep用于正常的查詢操作固然友善，但是最大的弊端就是查出來不能增删改，導緻如果是寫一些腳本就會很不友善，這個時候就需要sed和awk這樣的工具來實作。
三、sed指令
3.1 sed指令介紹
sed是一種流編輯器，它是文本進行中非常中的工具，能夠完美的配合正規表達式使用，功能不同凡響。處理時，把目前處理的行存儲在臨時緩沖區中，稱為“模式空間”（pattern space），接着用sed指令處理緩沖區中的内容，處理完成後，把緩沖區的内容送往螢幕。接着處理下一行，這樣不斷重複，直到檔案末尾。檔案内容并沒有改變，除非你使用重定向存儲輸出。Sed主要用來自動編輯一個或多個檔案；簡化對檔案的反複操作；編寫轉換程式等。
指令格式：
sed [options] 'command' file(s)
sed [options] -f scriptfile file(s) 注意：查找的内容前後一定要用/包含起來，示例/sh/ 。替換的時候可用@與#替換/。
指令與查找内容可連在一起也可分開，但是中間必須有/作為間隔。
3.2 sed的工作流程
1、sed預設不編輯原檔案，而是逐行操作，複制一份到指定記憶體(pattern space,模式空間)
2、pattern space内進行模式比對，即和指定條件做比對
不滿足模式：輸出到标準輸出STDOUT
滿足模式：進行指定的模式操作，再輸出到STDOUT
3、第二個特殊的記憶體空間 ：保持空間(hold space)，臨時儲存操作在另一處記憶體
4、當執行pattern space和 hold space相關選項時候會進行之間的資料流編輯操作
5、最後根據操作執行hold space空間操作，選擇性顯示到STDOUT
3.3 選項參數
-c/--copy 用拷貝代替重命名
-e<script>/--expression=<script> 以選項中的指定的腳本來處理輸入的文本檔案；
-f<script檔案>/--file=<script檔案> 以選項中指定的腳本檔案來處理輸入的文本檔案；
--follow-symlinks 處理輸入的文本檔案時，追蹤軟連結，斷開硬連結
-h/--help 顯示幫助；
-i[SUFFIX]/ --in-place[=SUFFIX] 就地編輯檔案，提供了字尾名（.bak）則備份檔案
-l N/ --line-length=N 為l指令指定換行的長度n
-n/--quiet/——silent 不自動列印模式空間内容，僅顯示腳本處理後的結果，sed預設列印全部内容
--posix 禁用所有GNU擴充
-u/ --unbuffered 從輸入檔案中加載最小的資料并頻繁重新整理輸出緩沖區
-V/--version 顯示版本資訊。
-r/--regexp-extended 支援使用擴充正規表達式
-s/--separate 把檔案作為單獨的個體而不是作為單個連續的長流
3.4 指令參數的使用
指令建議用單引号’’或雙引号括起來友善區分，多個指令用；隔開。
a\ 在目前行下面插入文本。
i\ 在目前行上面插入文本。
c\ 把標明的行改為新的文本。
d 删除，删除選擇的行。
D 删除模闆塊的第一行。
s 替換指定字元，字元間可用/或@或#隔開
h 拷貝模闆塊的内容到記憶體中的緩沖區。
H 追加模闆塊的内容到記憶體中的緩沖區。
g 獲得記憶體緩沖區的内容，并替代目前模闆塊中的文本。
G 獲得記憶體緩沖區的内容，并追加到目前模闆塊文本的後面。
l 清單不能列印字元的清單。
n 讀取下一個輸入行，用下一個指令處理新的行而不是用第一個指令。
N 追加下一個輸入行到模闆塊後面并在二者間嵌入一個新行，改變目前行号碼。
p 列印模闆塊的行。前面可加數字，指定列印第幾行
P(大寫) 列印模闆塊的第一行。
q 退出Sed。
b lable 分支到腳本中帶有标記的地方，如果分支不存在則分支到腳本的末尾。
r file 從file中讀行。
t label if分支，從最後一行開始，條件一旦滿足或者T，t指令，将導緻分支到帶有标号的指令處，或者到腳本的末尾。
T label 錯誤分支，從最後一行開始，一旦發生錯誤或者T，t指令，将導緻分支到帶有标号的指令處，或者到腳本的末尾。
w file 寫并追加模闆塊到file末尾。
W file 寫并追加模闆塊的第一行到file末尾。
! 表示後面的指令對所有沒有被標明的行發生作用。 示例：1！表明對文中所有行起作用，3！表示對文中第三行及以下行起作用
= 列印目前行号碼。
# 把注釋擴充到下一個換行符以前。
3.5 替換标記
g 表示行内全面替換。
p 表示列印行。
w 表示把行寫入一個檔案。
x 表示互換模闆塊中的文本和緩沖區中的文本。
y 表示把一個字元翻譯為另外的字元（但是不用于正規表達式）
\1 子串比對标記
& 已比對字元串标記 3.6 元字元集
^ 比對行開始，如：/^sed/比對所有以sed開頭的行。
$ 比對行結束，如：/sed$/比對所有以sed結尾的行。
. 比對一個非換行符的任意字元，如：/s.d/比對s後接一個任意字元，最後是d。
* 比對0個或多個字元，如：/*sed/比對所有模闆是一個或多個空格後緊跟sed的行。
[] 比對一個指定範圍内的字元，如/[sS]ed/比對sed和Sed。
[^] 比對一個不在指定範圍内的字元，如：/[^A-RT-Z]ed/比對不包含A-R和T-Z的一個字母開頭，緊跟ed的行。
.... 比對子串，儲存比對的字元，如s/loveloveable/\1rs，loveable被替換成lovers。
& 儲存搜尋字元用來替換其他字元，如s/love/**&**/，love這成**love**。
\< 比對單詞的開始，如:/\<love/比對包含以love開頭的單詞的行。
\> 比對單詞的結束，如/love\>/比對包含以love結尾的單詞的行。
x\{m\} 重複字元x，m次，如：/0\{5\}/比對包含5個0的行。
x\{m,\} 重複字元x，至少m次，如：/0\{5,\}/比對至少有5個0的行。
x\{m,n\} 重複字元x，至少m次，不多于n次，如：/0\{5,10\}/比對5~10個0的行。
3.7 腳本位址定界
/ 在sed中作為定界符使用，也可以使用任意的定界符：| /
定界符出現在樣式内部時，需要進行轉義,示例：sed 's/\/bin/\/usr\/local\/bin/g'
不給位址：對全文進行處理
$：表示最後一行
位址範圍：
標明行的範圍：,（逗号）
/pattern/：被此處模式所能夠比對到的每一行
/pattern/,m:被模式比對到的第一行起到m行
n,m 表示從n行到第m行
n,+m 表示從n行起往後增加m行
n~m：步進：以n行為基準值，每次增加m行
3.8 組合多個表達式
sed '表達式' | sed '表達式'
等價于：
sed '表達式; 表達式' 3.9 常用示例
顯示輸入檔案的行号
需用到指令：=:列印目前行号碼（包括空白行）
需用到元字元集：. ：比對一個非換行符的任意字元
需用到指令：!： 表示後面的指令對所有沒有被標明的行發生作用。
$ sed '=' 123.txt #顯示文本的每一行行号
$ sed '3=' 123.txt #顯示文本的第三行行号
$ sed "/./=" 123.txt #隻顯示非空白行的行号
$ sed -n "/./!=" 123.txt #隻顯示空白行行号
顯示檔案總行數
需用到元字元集：$:比對到行結束
$ sed '$=' 123.txt #可顯示123.txt内總共有多少行，也就是最後一行的行号 列印輸入檔案的指定行内容
需用到-n參數：不自動列印，
需用到p指令：列印子產品的行
$ sed -n '2p' 123.txt #注意一定要加-n，否則會預設自動列印所有内容
$ sed -n '2 p' 123.txt #注意一定要加-n，否則會預設自動列印所有内容 列印輸入檔案的指定幾行内容
$sed -n '2,7 p' 123.txt #注意一定要加-n，否則會預設自動列印所有内容
$ sed -n '2,7p' 123.txt
$ sed -n '2,7 {p}' 123.txt #指令也可單獨用{}括起來 替換輸入檔案中内容
需用到-i參數：就地編輯檔案，會對源檔案作更改
需用到s指令：替換指定字元，注意字元之間可用/@#隔開，注意如果沒有其他指令或者替換标記作為結尾，最後也必須得由它們作為尾字元，
需用到g替換标記：替換行内的所有比對内容，前面可加數字，表明第幾個比對位置
$ sed -i 's/bck/sh/' 123.txt 666.txt #替換123.txt、666.txt内的bck為sh，每行隻替換一個
$ sed -i 's/bck/sh/g' 123.txt #替換123.txt内的bck為sh，每行都進行全面替換
$ sed -i 's/bck/sh/3g' 123.txt #替換123.txt内的bck為sh，從第3個比對位置開始替換
$ sed -i 's@bck@sh@g' 123.txt #替換123.txt内的bck為sh，每行都進行全面替換
$ sed -i 's#bck#sh#g' 123.txt #替換123.txt内的bck為sh，每行都進行全面替換
替換輸入檔案中指定行的内容
$ sed -i '1,5 s/bck/sh/g' 123.txt 666.txt #替換123.txt、666.txt内的第一行到第五行的bck為sh，每行全面替換
$ sed -i '2,+2 {s/bck/sh/g}' 123.txt 666.txt #替換123.txt、666.txt内的第二行往後兩行的bck為sh，每行全面替換，指令也可以單獨用{}括起來，表示邊界
$ sed -i '2~2 s/bck/sh/g' 123.txt 666.txt #替換123.txt、666.txt内的第二行往後每次增加兩行的bck為sh，每行全面替換
給檔案名\單詞前統一替換加字首或字尾或前字尾
需用到元字元集：^ 比對行開始，如：/^sed/比對所有以sed開頭的行。
需用到元字元集：$ 比對行結束，如：/sed$/比對所有以sed結尾的行。
需用到替換标記：& 已比對字元串标記，代替之前已比對内容
需用到正規表達式：\w\+:比對每一個單詞
$ ls | sed 's/^/666_&/g' #表示給目前檔案下的檔案名統一添加字首
$ ls | sed 's/$/666_&/g' #表示給目前檔案下的檔案名統一添加字尾
$ ls | sed 's/\w\+/666_&/g' #表明給所有的單詞添加字首
$ ls | sed 's/\w\+/[&]/' #表明給每個比對到的單詞用[]括起來
顯示指定區間以指定内容開頭或結尾的行
需用到元字元集^：比對行開始
如果/前面有位址定界，則在/外面必須加上{}
$ sed -n '1,10 {/^10/p}' 123.txt #顯示123.txt内第1到第10行中以10開頭的行
$ sed -n '/^10/p' 123.txt # /前沒有位址定界則可以不加{}，如果有則必須加上
$ sed -n '1,10 {/sh$/p}' 123.txt #顯示123.txt内第1到第10行中以結尾的行
顯示查找内容的所有行、顯示找到的第一行及以下指定行
需用到腳本位址定界：/pattern/：被此處模式所能夠比對到的每一行
需用到腳本位址定界：/pattern/,m:被模式比對到的第一行起到m行
需用到腳本位址定界：$ 比對到末尾行
$ sed -n '/sh/p' 123.txt #顯示123.txt内的所有包含sh的所有行
$ sed -n '/sh/ ,$ p' 123.txt #顯示123.txt裡第一條包含sh的行及以下到末尾的所有行
$ sed -n '/sh/ ,$p' 123.txt
逆序輸出文本内容
需用到指令：！：！前跟非零數字，表示後面的指令對所有沒有被標明的行發生作用
需用到指令：G：獲得記憶體緩沖區的内容，并追加到目前模闆塊文本的後面
需用到指令：h： 拷貝模闆塊的内容到記憶體中的緩沖區
需用到指令：d ：删除，删除選擇的行。
多個指令之前用分号;隔開。
$ sed '1!G;h;$!d' 123.txt 逆序輸出每行内容
$ sed '/\n/!G;s/..∗\n/&\2\1/;//D;s/.//' 123.txt 删除指定行
需用到指令：d 删除，删除選擇的行。
$ grep -n "sh" 123.txt | sed '4,5d' #删除grep查找到的内容的第4到5行
$ grep -n "sh" 123.txt | sed '1,2d' #删除grep查找到的内容的第1行後每次隔兩行删一行
$ sed '/^$/d' 123.txt #删除空白行
在指定行前後插入内容
需用到指令：a\ 在目前行下面插入文本。預設目前行為最末行
需用到指令：i\ 在目前行上面插入文本。預設目前行為最末行
需用到指令：c\ 把標明的行改為新的文本。預設目前行為所有行
$ sed 'a\hello\' 123.txt #在123.txt的末行後增加一行hello
$ sed 'i\hello\' 123.txt #在123.txt的末行前增加一行hello
$ sed 'c\hello\' 123.txt #替換123.txt的所有行為hello
$ sed '8a\hello\' 123.txt #在123.txt的第8行後增加一行hello
$ sed '8,10a\hello\' 123.txt #在123.txt的第8行到10行每一行後增加一行hello
$ sed '8,10c\hello\' 123.txt #在123.txt的第8行到10行替換為一行hello
一行内執行多條指令
需用到選項參數-e<script>/--expression=<script> 以選項中的指定的腳本來處理輸入的文本檔案；
$ sed -e '1,5d' -e 's/sh/bck/' 123.txt #先删除1到5行再替換sh為bck
$ sed '1,5d;s/sh/bck/' 123.txt #三者效果相同
$ sed --expression='1,5d' --expression='s/sh/bck/' 123.txt #三者效果相同
四、awk指令
續集： Linux入門開發: 學習linux三劍客(awk、sed、grep)(下)
![Shell程式設計——sort排序、uniq忽略重複、tr替換壓縮删除、cut指定删除字段、正規表達式元字元sort 指令uniq 指令tr 指令cut 指令正規表達式[圖]](data:image/gif;base64,R0lGODlhAQABAIAAAP///wAAACwAAAAAAQABAAACAkQBADs=)