Shell程式設計——sort排序、uniq忽略重複、tr替換壓縮删除、cut指定删除字段、正規表達式元字元

目錄标題

• sort 指令
• uniq 指令
• tr 指令
• cut 指令
• 正規表達式
• • 基礎正規表達式常見元字元
  • 擴充正規表達式元字元
  • 例子

sort 指令

• sort指令—以行尾機關對檔案内容進行排序，也可以根據不同的資料類型來排序
• 文法格式

  

  

• 常用選項：
  • -f：忽略大小寫，預設會将大寫字母排在後面
  • -b：忽略每行前面的空格
  • -n：按照數字進行排序
  • -r：反向排序
  • -u：等同于uniq，表示相同的資料僅顯示一行
  • -t：指定字段分隔符，預設使用[tab]鍵分隔
  • -k：指定排序字段
  • -o <輸出檔案>：将排序後的結果轉存至指定檔案
• 選項效果驗證（理論都是互相copy同一套實踐出真理）
  • 什麼都不加：空行預設顯示前面，字元間空格忽略再按首字元排序優先級為空格>數字大小>字母a到z順序（小寫優先于大寫）

    

    

  • -f參數：按首字元包括空格排序優先級為空格>數字大小>字母a到z順序（大寫優先于小寫）

    

  • -n參數：對數字大小進行排序

    

  • -r參數：可配合其他參數使用使結果相反進行排序

    

  • -u參數：對相同的資料

    

  • -t -k參數：-t後面加指定的分割符不加則預設為[tab]鍵再指定第幾段進行比較排序

    

  • 檢視空間磁盤占用情況

    du -a | sort -n -r

    

uniq 指令

• uniq指令——用于報告或者忽略檔案中連續的重複行，常與sort指令結合使用
• 文法格式

  

  

• 常用選項：
  • -c：進行計算，并删除檔案中重複出現的行
  • -d：僅顯示連續的重複行
  • -u：僅顯示出現一次的行
• 實踐出真理
  • 不添加參數：連續重複的行隻顯示一條

    

  • 因為去除重複不夠徹底可以通過配合sort指令來使用

    

  • -c參數：統計連續重複的行次數

    

  • -d參數：僅顯示連續重複的行

    

  • -u參數：僅顯示不連續重複的行

    

tr 指令

• tr指令——常用來對來自标準輸入的字元進行替換、壓縮和删除
• 文法格式

  

• 常用選項：
  • -c：保留字元集1的字元，其他的字元（包括換行符\n）用字元集2替換
  • -d：删除所有屬于字元集1的字元
  • -s：将重複出現的字元串壓縮為一個字元串：用字元集2 替換 字元集1
  • -t：字元集2替換字元集1，不加選項同結果
• 參數：
  • 字元集1：指定要轉換或删除的原字元集。當執行轉換操作時，必須使用參數"字元集2"指定轉換的目标字元集。但執行删除操作時，不需要參數"字元集2"
  • 字元集2：指定要轉換成的目标字元集
• 實踐出真理
  • 不加參數和-t：與t參數相同效果将字元集2替換成字元集1

    

  • -c參數：字元集1規定的内容不替換，其他都替換成字元集2的内容包括換行符

    

  • -d參數：字元集1裡面規定的字元全删除

    

  • -s參數：字元集1帶上要去重的字元進行去重，如果有跟字元集2則去重後進行替換操作

    

• 删除空行

  • echo -e "aa\n\n\n\nbb" | tr -s "\n"

  • cat test.txt | tr -s "\n"

    

• 把路徑變量中的冒号":"，替換成換行符\n

  • echo $PATH | tr -s ":" "\n"

  • echo -e "aa\n\n\n\n\nbb" | tr -s "\n" ":"

    

• 删除Windows檔案造成的

  '^M'

  字元

  • cat abc.txt | tr -s "\r" "\n" > abc1.txt

  • cat abc.txt | tr -d "\r" > abc2.txt

  • yum install -y dos2 unix

  • dos2 unix adc.txt

  • Linux中遇到換行

    ("\n")

    會進行回車+換行的操作，回車符反而隻會作為控制字元

    ("^M")

    顯示，不發生回車的操作。而Windows中要回車符+換行符

    ("\r\n")

    才會回車+換行，缺少一個控制符或者順序不對都不能正确的另起一行
• 數組排序

  • echo ${array[@]} |tr ' ' '\n' | sort -n > abc.txt

    

cut 指令

• cut指令——顯示行中的指定部分，删除檔案中指定字段
• 文法格式：

  

  

• 常用選項：
  • -f：通過指定哪一個字段進行提取。cut 指令使用

    "TAB"

    作為預設的字段分隔符
  • -d：

    "TAB"

    是預設的分隔符，使用此選項可以更改為其他的分隔符
  • - -complement：此選項用于排除所指定的字段
  • - -output-delimiter：更改輸出内容的分隔符
• 實踐實踐再實踐
  • -d-f參數：d指定分隔符為：f提取第一段

    cut -d ':' -f 1 /etc/passwd

    

    grep '/bin/bash' /etc/passwd | cut -d ':' -f 1-4,6,7

    

• - -complement參數：

  grep '/bin/bash' /etc/passwd | cut -d ':' --complement -f 1-4

  

• - -output-delimiter參數：

  

正規表達式

• 正規表達式——通常用于判斷語句中，用來檢查某一字元串是否滿足某一格式
• 正規表達式是由普通字元與元字元組成
  • 普通字元包括大小寫字母、數字、标點符号及一些其他符号
  • 元字元是指在正規表達式中具有特殊意義的專用字元，可以迎來規定其前導字元（即位于元字元前面的字元）在目标對象中的出現模式

基礎正規表達式常見元字元

• 支援：grep、egrep、sed、awk
  • \ :轉義字元，用于取消特殊符号的含義，例:

    \!、\n、\$

    等
  • ^ :比對字元串開始的位置，例:

    ^a、 ^the、 ^#、^[a-z]

  • $ :比對字元串結束的位置，例:

    word$、 ^$比對空行

  • . :比對除\n之外的任意的一個字元，例:

    go.d、 g..d

  • * :比對前面子表達式0次或者多次，例:

    goo*d、 go.*d

  • [list] :比對list清單中的一個字元，例:

    go[ola]d， [abc]、 [a-z]、 [a-z0-9]、 [0-9]比對任意一位數字

  • [^list] :比對任意非list清單中的一個字元，例:

    [^0-9]、 [^A-20-9]、 [^a-z]比對任意一位非小寫字母

  • \{n\} :比對前面的子表達式n次，例:

    go\{2\}d、 '[0-9]\{2\} '比對兩位數字

  • \{n,\} :比對前而的子表達式不少于n次，例:

    go\{2, \}d、'[0-9]\{2, \}'比對兩位及兩位以上數字

  • \{n,m\} :比對前面的子表達式n到m次，例:

    go\{2,3\}d、 ' [0-9]\{2,3\}'比對兩位到三位數字

  • 注: egrep、 awk使用{n}、{n,小、{n, m}比對時“{}”前不用加“\”

擴充正規表達式元字元

• 支援: egrep、 awk
  • + :比對前面子表達式1次以上，例:

    go+d, 将比對至少一個o， 如god、 good、 goood等

  • ? :比對前面子表達式0次或者1次，例:

    go?d， 将比對gd或god

  • () :将括号中的字元串作為一個整體，例:

    g(oo)+d," 将比對oo整體1次以上，如good、gooood等

  • | :以或的方式比對字條串，例:

    g (oo|la)d," 将比對good或者glad

例子

• 實踐實踐再實踐
• 隻顯示13,15開頭的手機号可以三位一空格四位一空格的形式顯示

  egrep "^1[35][0-9] ?[0-9]{4} ?[0-9]{4}$" 1.txt

  

  

• 郵箱格式，使用者名要求字母開頭，中間可用最多2種符号

  -

  或

  .

  ，不能使用符号結尾，使用者名長度為最少6個字元

• 使用者名@子域名.頂級域名

• 頂級域名字元串長度一般在2到5
• @sohu.com
• @qq.com
• @163.com
• @wo.cn
• @sina.com.cn

  

使用者名@ : ^[a-zA-Z][a-zA-Z0-9\-\.]{4,}[a-zA-Z0-9]@

子域名: [a-zA-Z0-9_\-\.]+

.頂級域: \.([a-zA-Z]{2,5})$

egrep "^[a-zA-Z][a-zA-Z0-9\-\.]{4,}[a-zA-Z0-9]@([a-zA-Z0-9_\-\.]+)\.([a-zA-Z]{2,5})$" email.txt