Linux文本處理的sort和uniq 及腳本寫法。

一  Linux文本處理指令

    Linux文本處理指令主要有sort指令和uniq指令。sort指令的功能是對檔案中的各行進行排序。sort指令的功能是對檔案中的各行進行排序。uniq指令用于删除檔案中重複行，隻留下每條記錄的唯一樣本。

    sort指令與uniq指令

sort功能

對檔案中的各行進行排序

uniq功能

用于删除檔案中重複行

Sort指令

            sort指令的功能是對檔案中的各行進行排序。sort指令有許多非常實用的選項，這些選項最初是用來對資料庫格式的檔案内容進行各種排序操作的。實際上，sort指令可以被認為是一個非常強大的資料管理工具，用來管理内容類似資料庫記錄的檔案。

            Sort指令将逐行對檔案中的内容進行排序，如果兩行的首字元相同，該指令将繼續比較這兩行的下一字元，如果還相同，将繼續進行比較。           

文法：

sort [選項] 檔案           

說明：sort指令對指定檔案中所有的行進行排序，并将結果顯示在标準輸出上。如不指定輸入檔案或使用“- ”，則表示排序内容來自标準輸入。

sort排序是根據從輸入行抽取的一個或多個關鍵字進行比較來完成的。排序關鍵字定義了用來排序的最小的字元序列。預設情況下以整行為關鍵字按ASCII字元順序進行排序。           

改變預設設定的選項主要有：

- m 若給定檔案已排好序，合并檔案。

        - c 檢查給定檔案是否已排好序，如果它們沒有都排好序，則列印一個出錯資訊，并以狀态值1退出。

        - u 對排序後認為相同的行隻留其中一行。

        - o 輸出檔案 将排序輸出寫到輸出檔案中而不是标準輸出，如果輸出檔案是輸入檔案之一，sort先将該檔案的内容寫入一個臨時檔案，然後再排序和寫輸出結果。           

改變預設排序規則的選項主要有：

- d 按字典順序排序，比較時僅字母、數字、空格和制表符有意義。

        - f 将小寫字母與大寫字母同等對待。

        - I 忽略非列印字元。

        - M 作為月份比較：“JAN”<“FEB” p>

        - r 按逆序輸出排序結果。

        +posl - pos2 指定一個或幾個字段作為排序關鍵字，字段位置從posl開始，到pos2為止（包括posl，不包括pos2）。如不指定pos2，則關鍵字為從posl到行尾。字段和字元的位置從0開始。

        - b 在每行中尋找排序關鍵字時忽略前導的空白（空格和制表符）。

        - t separator 指定字元separator作為字段分隔符。           

下面通過幾個例子來講述sort的使用。

用sort指令對text檔案中各行排序後輸出其結果。請注意，在原檔案的第二、三行上的第一個單詞完全相同，該指令将從它們的第二個單詞vegetables與fruit的首字元處繼續進行比較。

$ cat text

    vegetable soup

    fresh vegetables

    fresh fruit

    lowfat milk

$ sort text

    fresh fruit

    fresh vegetables

    lowfat milk

    vegetable soup

        使用者可以儲存排序後的檔案内容，或把排序後的檔案内容輸出至列印機。下例中使用者把排序後的檔案内容儲存到名為result的檔案中。

    $ sort text>result

以第2個字段作為排序關鍵字對檔案example的内容進行排序。

    $ sort +1-2 example

對于file1和file2檔案内容反向排序，結果放在outfile中，利用第2個字段的第一個字元作為排序關鍵字。

    $ sort -r -o outfile +1.0 -1.1 example

sort排序常用于在管道中與其他指令連用，組合完成比較複雜的功能，如利用管道将目前工作目錄中的檔案送給sort進行排序，排序關鍵字是第6個至第8個字段。

    $ ls - l | sort +5 - 7

sort指令也可以對标準輸入進行操作。例如，如果您想把幾個檔案文本行合并，并對合并後的文本行進行排序，您可以首先用指令cat把多個檔案合并，然後用管道操作把合并後的文本行輸入給指令sort，sort指令将輸出這些合并及排序後的文本行。在下面的例子中，檔案veglist與檔案fruitlist的文本行經過合并與排序後被儲存到檔案clist中。

    $ cat veglist fruitlist | sort > clist

            uniq指令

檔案經過處理後在它的輸出檔案中可能會出現重複的行。例如，使用cat指令将兩個檔案合并後，再使用sort指令進行排序，就可能出現重複行。這時可以使用uniq指令将這些重複行從輸出檔案中删除，隻留下每條記錄的唯一樣本。           

uniq [選項] 檔案           

說明：這個指令讀取輸入檔案，并比較相鄰的行。在正常情況下，第二個及以後更多個重複行将被删去，行比較是根據所用字元集的排序序列進行的。該指令加工後的結果寫到輸出檔案中。輸入檔案和輸出檔案必須不同。如果輸入檔案用“- ”表示，則從标準輸入讀取。

該指令各選項含義如下：

        - c 顯示輸出中，在每行行首加上本行在檔案中出現的次數。它可取代- u和- d選項。

        - d 隻顯示重複行。

        - u 隻顯示檔案中不重複的各行。

        - n 前n個字段與每個字段前的空白一起被忽略。一個字段是一個非空格、非制表符的字元串，彼此由制表符和空格隔開（字段從0開始編号）。

        +n 前n個字元被忽略，之前的字元被跳過（字元從0開始編号）。

        - f n 與- n相同，這裡n是字段數。

        - s n 與+n相同，這裡n是字元數。           

例如：

1. 顯示檔案example中不重複的行。

uniq - u example

1. 顯示檔案example中不重複的行，從第2個字段的第2個字元開始做比較。

uniq - u - 1 +1 example

請求線上api, 擷取json格式的傳回結果解析json裡面的一個值将該值存儲到檔案

開發準備            

1、shell 

#!/bin/sh cd ~ mkdir shell_tut cd shelltut for ((i=0; i<10; i++)); do touch test$i.txt done

建立一個檔案夾, 并在裡面建立10個檔案

2、curl 

使用curl請求網絡, 并擷取傳回值

curl基本用法:

$ curl www.sina.com

直接傳回網頁内容

$ curl -o [檔案名] www.sina.com

将網頁内容存儲到檔案中, 相當于wget指令

指派操作:

response=$(curl www.sina.com

) echo $response

注意： =前後沒有空格

jq 

jq是指令行解析json的很好的工具

shell檔案讀寫 

1、寫

方式一:

将ll的内容寫入fileName這個檔案中

是覆寫, >>是在後面追加

ll >fileName

但是在書寫.sh腳本的時候, 需要增加echo

echo ll>fileName