1.概念
sed是一種行編輯器,它一次處理一行内容。處理時,把 目前處理的行存儲在臨時緩沖區中,稱為“模式空間”(pattern space),接着用sed指令處理緩沖區中的内容,處理完成後,把緩沖區的内容送往螢幕。接着處理下一行,這樣不斷重複,直到檔案末尾。檔案内容并沒有 改變,除非你使用重定向存儲輸出。Sed主要用來自動編輯一個或多個檔案;簡化對檔案的反複操作;編寫轉換程式等。
2.文法
sed [options] 'command' file(s)
sed [options] -f scriptfile file(s)
第一種直接在指令行中執行,第二種把指令寫到了腳本中,二者無本質差別。
選項options
-e 以選項中指定的script來處理輸入的文本檔案;
可以同時執行多個指令,指令的執行順序對結果有影響。
如果兩個指令都是替換指令,那麼第一個替換指令将影響第二個替換指令的結果
-f 以選項中指定的script檔案來處理輸入的文本檔案;
-i 直接修改讀取的檔案内容;
-n 安靜模式,僅顯示處理後的結果;
指令
a\ 在目前行下面插入文本。 Na\ 表示從第幾行之後開始插入,比如2a\,前面不能有比對條件
i\ 在目前行上面插入文本。 Ni\ 表示從第幾行之前開始插入,比如2i\,前面不能有比對條件
c\ 把標明的行改為新的文本。
d 删除,删除選擇的行。
D 删除模闆塊的第一行。
s 替換指定字元
h 拷貝模闆塊的内容到記憶體中的緩沖區。
H 追加模闆塊的内容到記憶體中的緩沖區。
g 獲得記憶體緩沖區的内容,并替代目前模闆塊中的文本。
G 獲得記憶體緩沖區的内容,并追加到目前模闆塊文本的後面。
l 清單不能列印字元的清單。
n 讀取下一個輸入行,用下一個指令處理新的行而不是用第一個指令。
N 追加下一個輸入行到模闆塊後面并在二者間嵌入一個新行,改變目前行号碼。
p 列印模闆塊的行。
P(大寫) 列印模闆塊的第一行。
q 退出Sed。
b lable 分支到腳本中帶有标記的地方,如果分支不存在則分支到腳本的末尾。
r file 從file中讀行。
t label if分支,從最後一行開始,條件一旦滿足或者T,t指令,将導緻分支到帶有标号的指令處,或者到腳本的末尾。
T label 錯誤分支,從最後一行開始,一旦發生錯誤或者T,t指令,将導緻分支到帶有标号的指令處,或者到腳本的末尾。
w file 寫并追加模闆塊到file末尾。
W file 寫并追加模闆塊的第一行到file末尾。
! 表示後面的指令對所有沒有被標明的行發生作用。
= 列印目前行号碼。
# 把注釋擴充到下一個換行符以前。
替換标記
g 表示行内全面替換。 Ng表示從第幾個開始替換,比如2g
p 表示列印行。
w 表示把行寫入一個檔案。
x 表示互換模闆塊中的文本和緩沖區中的文本。
y 表示把一個字元翻譯為另外的字元(但是不用于正規表達式)
\1 子串比對标記
& 已比對字元串标記
元字元集
^ 比對行開始,如:/^sed/比對所有以sed開頭的行。
$ 比對行結束,如:/sed$/比對所有以sed結尾的行。
. 比對一個非換行符的任意字元,如:/s.d/比對s後接一個任意字元,最後是d。
* 比對0個或多個字元,如:/*sed/比對所有模闆是一個或多個空格後緊跟sed的行。
[] 比對一個指定範圍内的字元,如/[Ss]ed/比對sed和Sed。
[^] 比對一個不在指定範圍内的字元,如:/[^A-RT-Z]ed/比對不包含A-R和T-Z的一個字母開頭,緊跟ed的行。
\(..\) 比對子串,儲存比對的字元,如s/\(love\)able/\1rs,loveable被替換成lovers。
& 儲存搜尋字元用來替換其他字元,如s/love/**&**/,love這成**love**。
\< 比對單詞的開始,如:/\<love/比對包含以love開頭的單詞的行。
\> 比對單詞的結束,如/love\>/比對包含以love結尾的單詞的行。
x\{m\} 重複字元x,m次,如:/0\{5\}/比對包含5個0的行。
x\{m,\} 重複字元x,至少m次,如:/0\{5,\}/比對至少有5個0的行。
x\{m,n\} 重複字元x,至少m次,不多于n次,如:/0\{5,10\}/比對5~10個0的行。
示例
hello.txt的内容為
1 2 3
10 20 30
100 200 300
指令:a\
在比對行的後面加入一行文本
比對100的行,後面加入一行"new line"
sed '/100/'a\ "new line" hello.txt
#從第二行開始插入新行
sed '2a\ "new line"' hello.txt
指令:i\ 其他用法跟a\類似
在比對行的前面加入一行文本
比對100的行,前面加入一行"new line"
sed '/100/'i\ "new line" hello.txt
指令:c\
将比對行替換為目的行
比對100的行,替換為"new line"
sed '/100/'c\ "new line" hello.tx
删除指令:d
删除空行
sed '/^$/d' hello.txt
删除第二行
sed '2d' hello.txt
删除檔案的第2行到末尾所有行
sed '2,$d' hello.txt
替換指令:s
s/pattern-to-find/replacement-pattern/g
pattern-to-find:被替換的串
replacement-pattern:替換成這個串
g:全部替換,預設隻替換比對到的第一個
将100替換為hello
sed 's/100/hello/g' hello.txt
可以 -n 和 p結合列印變化的行
sed -n 's/100/hello/gp' hello.txt
當需要從第N處比對開始替換時,可以使用 /Ng
sed -n 's/100/hello/2gp' hello.txt
已比對字元串标記&
正規表達式 \w\+ 比對每一個單詞,使用 [&] 替換它,& 對應于之前所比對到的單詞:
echo this is a test line | sed 's/\w\+/[&]/g' [this] [is] [a] [test] [line]
標明行的範圍:,(逗号)
由逗号分隔的兩個數字表示,$符号表示最後一行;
列印hello.txt的第二行到最後一行
sed -n '2,$'p hello.txt
列印比對test和比對test2所确定的範圍内的行:
sed -n '/test/,/test2/p' hello.txt
列印從第2行開始到第一個包含以test開始的行之間的所有行:
sed -n '2,/^test/p' hello.txt
對于比對test和test2之間的行,每行的末尾用字元串xxx替換:
sed '/test/,/test2/s/$/xxx/' hello.txt
比對等差數列行 n~m n+m*n 行
sed -n '1~2p' #列印奇數行 1,1+2,1+4,1+6 等(1+2n)
sed -n '2~2p' #列印偶數行 2,2+2,2+4,2+6 等(1+2n)
子串比對标記\1
# echo this is digit 7 in a number | sed 's/digit \([0-9]\)/\1/' #輸出 this is 7 in a number
指令中 digit 7,被替換成了 7。樣式比對到的子串是 7,\(..\) 用于比對子串,對于比對到的第一個子串就标記為 \1,依此類推比對到的第二個結果就是\2
echo aaa BBB | sed 's/\([a-z]\+\) \([A-Z]\+\)/\2 \1/' #輸出 BBB aaa
多點編輯 -e
sed -e '1,5d' -e 's/test/check/' hello.txt #先删除1,5行,再執行替換
從檔案讀入:r指令
file裡的内容被讀進來,顯示在與test比對的行後面,如果比對多行,則file的内容将顯示在所有比對行的下面:
sed '/test/r file' filename
下一個:n指令
如果test被比對,則移動到比對行的下一行,替換這一行的aa,變為bb,并列印該行,然後繼續:
sed '/test/{ n; s/aa/bb/; }' hello.txt
變形:y指令
把1~10行内所有abcde轉變為大寫,注意,正規表達式元字元不能使用這個指令:
sed '1,10y/abcde/ABCDE/' hello.txt
列印奇數行或偶數行
方法1:
sed -n 'p;n' hello.txt #奇數行
sed -n 'n;p' hello.txt #偶數行
方法2:
sed -n '1~2p' hello.txt #奇數行
sed -n '2~2p' hello.txt #偶數行
定界符
以上指令中字元 / 在sed中作為定界符使用,也可以使用任意的定界符
定界符出現在樣式内部時,需要進行轉義 (\定界符)
#使用其他定界符
sed -n 's@100@hello@gp' hello.txt
引用