快，學會 shell

本文分成入門篇和基礎篇。基礎篇包括變量、字元串處理、數學運算三部分。基礎篇包括流控制、函數和函數庫三部分。主要是基于例子進行講解，其中有 4 個複雜一點的腳本，看懂了也就入門了。

我們先來聊一聊 shell 和 shell script 的概念。計算機的運作離不開硬體，我們通過作業系統（OS，Operating System）操作硬體，而我們所說的 linux 嚴格來說是作業系統（OS）的核心部分——核心（Kernel）。我們無法直接操作 kernel，需要借助于 kernel 外的一層殼 shell 才能與 kernel 進行互動。如果把作業系統(OS)看做是一家公司，shell 就是前台，kernel 就是董事會。當我們通路公司的時候，先和前台(shell)打個招呼，前台通知董事會(kernel)，董事會來控制公司(OS)。

俗話說“鐵打的營盤流水的兵”，就是公司人來人往，都不會影響公司的運轉。對于作業系統也一樣，我們可以替換作業系統的前台(shell)，甚至董事會(kernel)。如果你想知道你的系統中用到的是什麼 shell 可以通路 /etc/shells 檔案。,我的電腦上就有下面幾種 shell：

# /etc/shells: valid login shells
/bin/sh
/bin/dash
/bin/bash
/bin/rbash
/bin/zsh
/usr/bin/zsh      

小結: shell 是 kernel 外的一層殼,是作業系統與使用者之間的橋梁.我們通常所說的 shell 并不是 shell 本身,而是 shell script(shell 腳本),一般是 .sh 結尾的檔案.怎麼寫一個 shell 腳本是本文探讨的話題,而不是 shell 本身.

入門篇

#!/bin/bash
for ((i=0; i<10; i++));
do
    echo ${i}
done      

直接來看一個例子吧。建立一個名為 shell001.sh 的檔案，寫上上面幾行代碼：

• 第 1 行，指定 shell 的解釋器。shell 腳本就和 python 或者 jsp 需要用解釋器來解析，第 1 行就是用于指定解釋器，也就是之前提到的 /etc/shells 下面列出來的。
• 第 2 行，循環語句，共循環 10 次，會在後面流控制章節講解，加上 do 和 done 是 for 循環中的文法規則，for、do、done 是 shell script 中的關鍵字
• 第 4 行，列印 i 這個變量

那麼怎麼運作這個腳本呢？既然是運作我們既要給它賦予可執行權限chmod +x shell001.sh，接着用 ./shell001.sh 執行這個腳本。腳本運作起來将會在終端輸出 0 到 9 這幾個數字。

變量

前面沒有解釋第 4 行echo ${i}。echo 是一個簡單的 linux 指令，它會将輸入從到标準輸出(stdout)上，然後在終端中顯示出來，這裡顯示的就是${i}這個變量的值。

在 shell 中定義變量的規則如下：

• 變量和等号之間不能有空格
• 變量名稱由字母、數字和下劃線組成
• 變量名稱的第一個字元必須是字母或者下劃線
• 變量名稱中不允許空格和标點

比如說一個變量為name="shuiyj"，那麼使用變量就要加上$符号，列印這個變量就使用echo ${name}。此外變量除了顯示地指派，還可以使用語句給變量指派:

# 擷取該檔案夾下字尾為 jpg 結尾的清單
for image in `ls *.jpg`      

變量比對

我們會定義和使用一個變量了，接下來我會介紹幾個使用的處理變量的方法。

現在一張圖檔的名字叫做 cat.jpg，我想要擷取檔案的名稱，即 cat。當然這有很多的中方法，這裡介紹一種實用的方法——變量比對。

文法	說明
${變量名#比對規則}	從變量開頭進行規則比對，将符合最短的資料删除
${變量名##比對規則}	從變量開頭進行規則比對，将符合最長的資料删除
${變量名%比對規則}	從變量結尾進行規則比對，将符合最短的資料删除
${變量名%%比對規則}	從變量結尾進行規則比對，将符合最長的資料删除
${變量名/舊字元串/新字元串}	變量中符合規則的第一個舊字元串将會被舊字元串代替
${變量名//舊字元串/新字元串}	變量中符合規則的所有舊字元串将會被舊字元串代替

回到最開始的需求，就可以使用%來實作

cat="cat.jpg"
echo ${cat} # cat.jpg
echo ${cat%.*} # cat      

首先定義一個變量 cat 并為其指派，接着用$擷取 cat 變量的值并列印出來，最後使用變量替換截取字元串。

變量比對在 shell 中會被高頻使用，要記住這些規則。

特殊變量的含義

shell 中有一些特殊的變量，它們有很多實用的功能，比如說校驗輸入的參數，允許追加更多參數，判斷上一條指令是否執行成功等。

	含義
$0	目前腳本的檔案名
$n	傳遞給腳本或函數的參數。n 是一個數字，表示第幾個參數。例如，第一個參數是$1，第二個參數是$2
$#	傳遞給腳本或函數的參數個數。
$*	傳遞給腳本或函數的所有參數。
$@	傳遞給腳本或函數的所有參數。被雙引号(" ")包含時，與 $* 稍有不同，下面将會講到。
$?	上個指令的退出狀态，或函數的傳回值。
$$	目前Shell程序ID。對于 Shell 腳本，就是這些腳本所在的程序ID。

比如說我們要對 shell 中的輸入參數進行校驗，可以添加這樣一段

#!/bin/bash
if [ $# != 2 ];then
    echo "Usage: $0"
    exit -1
fi
...      

其中$#表示輸入的參數數量，我們通過條件判斷在程式的輸入參數不為 2 的時候将會進行提示，并退出程式。其中$0一般是可執行檔案的名稱。

字元串

變量的話題就先講到這裡，接下來講 shell 中處理字元串的一些注意事項和技巧。無論學習哪一門程式設計語言，字元串的處理都是一個繞不開的話題，并且在 shell 程式設計中用的最多的就是字元串。

單引号與雙引号的差別

字元串可以用單引号，也可以用雙引号，還可以不用引号，我們要注意它們之間的差別。

# 單引号
str='this is a string'

# 雙引号
your_name='qinjx'
str="Hello, I know your are \"$your_name\"! \n"      

單引号

• 單引号裡的任何字元都會原樣輸出，單引号字元串中的變量是無效的
• 單引号字串中不能出現單引号（對單引号使用轉義符後也不行）

雙引号

• 雙引号裡可以有變量
• 雙引号裡可以出現轉義字元

想要了解更多它們之間的差別可以看這篇文章：shell十三問之4：""(雙引号)與''(單引号)差在哪？。

拼接字元串

shell 中的字元串拼接隻要直接連在一起就可以。

first_name="yujie"
last_name="shui"
greeting="hello,${first_name} ${last_name}"

echo ${greeting}      

計算字元串的長度

shell 中有兩種方法可以計算字元串長度。

str="abcde"
echo ${#str} # 5
expr length "${str}" # 5	      

擷取子串在字元串中的索引

expr index ${string} ${substring}      

抽取子串

${string:position}	從string中的position開始
	從position開始，并指定長度為length
${string:-position}	從右邊開始比對
${string:(postion)}	從左邊開始比對
expr substr $string $position $length	從position開始，比對長度為length

指令替換

指令替換指的是 shell執行指令并将指令替換部分替換為執行該指令後的結果（先執行該指令，然後用結果代換到指令行中），共有有兩種實作指令替換的方式：

# 方法一
`command`
# 方法二
$(command)      

還記得之前講變量的時候提到變量既可以直接擷取，也可以從語句擷取麼？

# 擷取該檔案夾下字尾為 jpg 結尾的清單
for image in `ls *.jpg`      

可以看到 Image 擷取到的是ls *.jpg的傳回值，也就是一個檔案的清單。這裡就用到指令替換的符号``即兩個反引号。

再比如擷取系統的所有使用者并輸出

index=1 
for user in `cat /etc/passwd | cut -d ":" -f 1` 
do 
	echo "This is ${index} user: ${user}" 
	index = $(($index + 1)) 
done      

cat /etc/passwd | cut -d ":" -f 1 将會截取使用者名，由于使用了指令替換，其執行結果會傳回給 user 變量，此時的 user 就是一個包含使用者名稱的清單。

最後再舉一個使用$()的例子，比如擷取系統時間計算今年或明年

echo "This is $(date +%Y) year" 
echo "This is $(($(date +%Y) + 1)) year"      

數學運算

shell 中就兩種變量，字元串和數字，數字又要按照整型和浮點型分開進行處理，處理它們的函數是不同的。整型運算需要使用expr $num1 operator $num2或者$(($num1 operator $num2))，浮點型運算則需要使用bc。

任然是通過案例的方式進行說明，假設現在有這樣一個需求：提示使用者輸入一個正整數 num，然後計算 1+2+3+…+num 的值，并且必須對 num 是否為正整數做判斷，不符合應該允許再次輸入。

#!/bin/bash
#
while true
do
    read -p "please input a positive number: " num
    expr $num + 1 &> /dev/null
    if [ $? -eq 0 ];then
        if [ `expr $num \> 0` -eq 1 ];then
            for((i=1;i<=$num;i++))
            do
                sum=`expr $sum + $i`
            done    
            echo "1+2+3+....+$num = $sum"
            exit
        fi
    fi
    echo "error,input enlegal"
done      

這個腳本優點複雜但是不用着急，我們先關注于數學運算expr $num + 1 這一部分，其中關于if判斷的部分會在下一節講解。

expr $num + 1 意思就是做一次整數運算，将 num 和 1 相加。做這個操作的目的是判斷 num 是不是一個整數，因為 expr 隻能應用在整數運算上，是以執行expr $num + 1之後，如果 num 是整數退出狀态就是正常的 $? = 0，否則 $? ≠ 0 ，并且我們并不需要傳回結果，可以将結果重定向到/dev/null中，即expr $num + 1 &> /dev/null。

注：在特殊變量的含義這一節可以了解$?的含義。退出狀态指的是指令執行完畢之後像作業系統傳回的值，成功則為 0。

expr 支援整數運算，不支援浮點數運算，要做浮點數運算那就要用到 bc。bc 是 bash 内建的運算器，支援浮點數運算，使用方法如下所示：

echo "23.3+30" | bc
53.3
echo "scale=4;23.3/3.2" | bc
7.2812      

基礎篇

在前面的入門篇，我們了解了變量、字元串和數學運算，接下來我将會介紹 shell 中流程控制的文法規則，以及 shell 中如何使用函數以及函數庫。當我們掌握以上這些内容，shell 就可以算是入門了，那麼就一起開始吧。

流控制

流控制就是用判斷語句，循環語句來控制程式執行的邏輯，就從我們在上一節數學運算中的那個腳本講起吧，它既包含了if又包含了while循環，是一個很好的例子。

IF 控制語句

#!/bin/bash
#
while true
do
    read -p "please input a positive number: " num
    expr $num + 1 &> /dev/null
    if [ $? -eq 0 ];then
        if [ `expr $num \> 0` -eq 1 ];then
            for((i=1;i<=$num;i++))
            do
                sum=`expr $sum + $i`
            done    
            echo "1+2+3+....+$num = $sum"
            exit
        fi
    fi
    echo "error,input enlegal"
done      

上一節中的腳本中expr $num + 1 &> /dev/null是關于數學運算的部分，緊跟着的if就是一個控制語句，我們抛開無關部分，開看一下關于if的骨架

expr $num + 1 &> /dev/null

if [ $? -eq 0 ];then
		...
fi      

這裡首選要進一步解釋退出狀态的含義。之前已經說了，退出狀态指的是指令（包括腳本和函數）在執行完畢之後，向作業系統傳回的值。這個值是一個 0~255 的整數，用來表示指令執行成功還是失敗，其中 0 代表指令執行成功。參數$?則用于儲存這個傳回值。

由此可以看出if在這裡做的就是判斷expr $num + 1 &> /dev/null是否執行成功。

此外，我們也可以使用if...elif..else的形式，如下：

if condition1
then
	command1
elif condition2
	command2
else
	commandN
fi      

此外，在實際開發過程中還經常會對檔案狀态進行判斷，比如說判斷這是不是一個檔案夾、是不是一個文本檔案等；或者會對字元串進行判斷，比如說字元串是否為空，字元串長度是否符合要求；還會對數值進行比較操作，就像例子中提到到值是不是為 0 等。

判斷表達式

if test     #表達式為真
if test !   #表達式為假
test 表達式1 –a 表達式2     #兩個表達式都為真
test 表達式1 –o 表達式2     #兩個表達式有一個為真
test 表達式1 ! 表達式2       #條件求反      

檔案表達式

test File1 –ef File2    #兩個檔案是否為同一個檔案，可用于硬連接配接。主要判斷兩個檔案是否指向同一個inode。
test File1 –nt File2    #判斷檔案1是否比檔案2新
test File1 –ot File2    #判斷檔案1比是否檔案2舊
test –b file   #檔案是否塊裝置檔案
test –c File   #檔案并且是字元裝置檔案
test –d File   #檔案并且是目錄
test –e File   #檔案是否存在 （常用）
test –f File   #檔案是否為正規檔案 （常用）
test –g File   #檔案是否是設定了組id
test –G File   #檔案屬于的有效組ID
test –h File   #檔案是否是一個符号連結（同-L）
test –k File   #檔案是否設定了Sticky bit位
test –b File   #檔案存在并且是塊裝置檔案
test –L File   #檔案是否是一個符号連結（同-h）
test –o File   #檔案的屬于有效使用者ID
test –p File   #檔案是一個命名管道
test –r File   #檔案是否可讀
test –s File   #檔案是否是非空白檔案
test –t FD     #檔案描述符是在一個終端打開的
test –u File   #檔案存在并且設定了它的set-user-id位
test –w File   #檔案是否存在并可寫
test –x File   #檔案屬否存在并可執行      

字元串表達式

test string #string不為空
test –n 字元串    #字元串的長度非零
test –z 字元串    #字元串的長度是否為零
test 字元串1＝字元串2       #字元串是否相等，若相等傳回true
test 字元串1＝=字元串2      #字元串是否相等，若相等傳回true
test 字元串1!＝字元串2      #字元串是否不等，若不等反悔false
test 字元串1>字元串2				# 在排序時，string1 在 string2 之後
test 字元串1<字元串2				# 在排序時，string1 在 string2 之前      

整數表達式

test 整數1 -eq 整數2    #整數相等
test 整數1 -ge 整數2    #整數1大于等于整數2
test 整數1 -gt 整數2    #整數1大于整數2
test 整數1 -le 整數2    #整數1小于等于整數2
test 整數1 -lt 整數2    #整數1小于整數2
test 整數1 -ne 整數2    #整數1不等于整數2      

以上表達式摘自test - shell環境中測試條件表達式工具，test 是測試條件表達式的工具，test 後面部分的内容可以用于if條件判斷中。

WHILE 和 UNTIL 循環

再接之前的腳本來講解 while 的用法

#!/bin/bash
#
while true
do
    read -p "please input a positive number: " num
    expr $num + 1 &> /dev/null
    if [ $? -eq 0 ];then
        if [ `expr $num \> 0` -eq 1 ];then
            for((i=1;i<=$num;i++))
            do
                sum=`expr $sum + $i`
            done    
            echo "1+2+3+....+$num = $sum"
            exit
        fi
    fi
    echo "error,input enlegal"
done      

前面也說過，這個腳本的目的是接收一個 num，如果輸入的 num 不是一個整數就一直讓使用者輸入，直到輸入的 num 是一個整數為止。這裡就用到了 while 循環，并且将循環條件設定為 true，也就是一個永久的循環。循環不能終止，按照邏輯我們要在使用者輸入整數并完成計算之後推出程式,是以這裡通過exit來退出程式，這裡也可以使用break來跳出循環。我們還可以配合使用continue表示繼續執行，這裡沒有舉例說明。

while指令退出狀态不為0時終止循環，而until指令則剛好相反。除此之外，until指令與while指令很相似。until循環會在接收到為0的退出狀态時終止。在while-count腳本中，循環會一直重複到count變量小于等于5。使用until改寫腳本也可以達到相同的效果。

#!/bin/bash
# until-count: display a series of numbers

count=1

until [ $count -gt 5 ]; do
　　　　　echo $count
　　　　　count=$((count + 1))
done
echo "Finished."      

将測試表達式改寫為count –gt 5 until就可以在合适的時刻終止循環。選擇使用while還是until，通常取決于哪種循環能夠允許程式員寫出最明了的測試表達式。

case 分支

前面講了使用if做條件判斷，在其他語言比如 C++ 或者 Java 等中都存在switch..case..這樣的語句，shell 也提供了case這個多選項符合指令，它的指令格式是這樣的：

case word in
　　　　[pattern [| pattern]...) commands ;;]...
esac      

在這裡我想舉一個做算數運算的例子，這和例子與下一節講解的函數相關，其中用到了case，但是即使不了解函數怎麼使用，也不會對了解case的運用造成影響。

#!/bin/bash
#
function calcu
{
    case $2 in
        +)
            echo "`expr $1 + $3`"
            ;;
        -)
            echo "`expr $1 - $3`"
            ;;
        \*)
            echo "`expr $1 \* $3`"
            ;;
        /)
            echo "`expr $1 / $3`"
            ;;
    esac
}
calcu $1 $2 $3      

這個腳本希望做的是一次算數運算，根據操作符是+ - * /來進行運算。

for 循環

現在到了流控制的最後一節了，for 循環其實在文章一開始我們就見過了，在文章最開始我舉了兩個例子：

# 擷取該檔案夾下字尾為 jpg 結尾的清單
for image in `ls *.jpg`
do
	....
done

# 輸出 0-9 共 10 個數字
for ((i=0; i<10; i++));
do
    echo ${i}
done      

第一種是傳統的形式，和 python 中的 for 循環很像，我們可以像這樣for i in A B C D;do echo $i; done 使用 for 循環，可以将循環的内容就當成 python 中的一個清單，也可以像for i in {A..E};do echo $i; done這樣建立字元清單。

第二種方式就是 C 語言的形式了for ((i=0; i<10; i++))，比較正常也沒什麼值得講的。

函數

在上一節中，我們介紹了 shell 中的流控制的文法：if, while, until, case和 for。再之前我們講了變量、字元串和數學運算。到這一節就可以講一下函數這個話題了。

了解了上面這些内容理論上已經能夠寫出任何的程式的，不過寫程式的過程中會有許多類似的代碼，如果全部重新寫一遍程式就會顯得冗長，是以一般的做法就是将可以複用的代碼抽取出來形成函數。shell 自然也支援函數的使用，接下裡就看看在 shell 中怎麼定義和使用函數。

首先看 shell 中函數是怎麼定義的。shell 中的函數有兩種定義格式，使用任意一種都可以。

name()
{
	command1
  command2
  ...
  commandn
}      

function name
{
	command1
  command2
  ...
  commandn
}      

我比較習慣用第二種形式，你可以選擇任何一種方式，不過我接下來的例子是按照第二種定義方式。

我們知道了函數定義的架構，但是如果你用過其他程式設計語言會發現它沒有參數清單，也沒有傳回值，這在一開始也讓我覺得很困惑，但是我們在變量那一節學過特殊變量的含義，其中有一個變量是$0表示函數的名稱，shell 中的變量是通過指令行鍵入，再用$1 $2 $3讀取的。這就和 C++ 或者 Java 中的主函數讀取參數一個道理，char** argv和String[] args就是由指令行鍵入的參數清單。

下面就用一個具體函數的例子進行說明，這個例子在 流控制——case 這一節也講過，但是沒有講完：

#!/bin/bash
#
function calcu
{
    case $2 in
        +)
            echo "`expr $1 + $3`"
            ;;
        -)
            echo "`expr $1 - $3`"
            ;;
        \*)
            echo "`expr $1 \* $3`"
            ;;
        /)
            echo "`expr $1 / $3`"
            ;;
    esac
}

calcu $1 $2 $3
echo ""calcu $1 $2 $3""      

首先這個腳本的檔案名為 calcu，其中定義了一個函數 calcu，采用的是第二種函數定義方式，在函數體中我們利用case做了一個多條件判斷。

在腳本的結尾我們調用了 calcu 這個函數，并将輸入了三個參數，緊接着為了給大家看到三個參數分别是什麼我選擇将其列印出來。調用函數的過程是這樣的：

ubuntu@VM-0-2-ubuntu:/tmp$ ./calcu.sh 5 + 3
8
calcu 5 + 3      

可以看到在這裡$1 = 5, $2 = +, $3 = 3，這就是 shell 中傳遞參數的方式。

再看 shell 中傳回值這個問題，shell 有兩種傳回值的方式，一種是使用return，一種是使用echo。

• 使用return
  • 使用 return 傳回值，隻能傳回 1-255 的整數
  • 函數使用 return 傳回值。通常隻能用來供其他地方調用擷取狀态，是以通常僅傳回0或1；0表示成功，1表示失敗
• 使用echo
  • 使用 echo 可以傳回任何字元串結果
  • 通常用于傳回資料，比如一個字元串值或者清單值

echo的内容作為傳回值可以看一下上面這個例子，這裡再舉一個return來傳回值的例子。

#!/bin/bash
#
this_pid=$$
function is_nginx_running
{
    ps -ef | grep nginx | grep -v grep | grep -v $this_pid &> /dev/null
    if [ $? -eq 0 ];then
        return
    else
        return 1
    fi
}
is_nginx_running && echo "Nginx is running" || echo "Nginx is stoped"      

和前面說過的退出狀态一樣，return 也是 0 表示函數執行成功，其他表示執行失敗。這裡舉的例子是通過檢視 Nginx 的程序來來确認 Nginx 是否運作。

首先是用$$來接收這個 shell 腳本的 Pid，因為腳本名字中帶有 Nginx 就需要将其利用 Pid 過濾掉。還記得之前講的的退出狀态麼，如果 ps 指令找到了 nginx 程序退出狀态就會是 0，表示成功。最後就通過return來傳回 nginx 是否正常運作。

之後可以用背景挂起的形式運作這個腳本，将其作為 nginx 的守護程序：nohup sh nginx.sh & ，使用tail -f nohup.out 來檢視監聽結果。

局部變量和全局變量

講到函數就還有一個作用域的問題需要讨論，shell 中的局部變量、全局變量和一般程式設計語言沒什麼差別。

#!/bin/bash
#
var1="Hello world"
function test
{
    local var2=87
}
test
echo $var1
echo $var2      

這裡給到一個腳本自行體會一下即可。

函數庫

基礎篇的最後一部分就用來介紹一下 shell 中的函數庫。函數庫是每一門程式設計語言中非常重要的一部分，比如說 C++ 中的标準庫，Java 中的 JDK，正式這些優秀的庫存在才讓程式設計變得更加高效。

shell 也是可以封裝自己的庫的，比如我現在下一個你要加加減乘除封裝成一個函數庫，作為之前 calcu 腳本的更新版，該函數庫實作以下幾個函數：

1. 加法函數 add
2. 減法函數 reduce
3. 乘法函數 multiple
4. 除法函數 divide
5. 列印系統運作情況的函數 sys_load，該函數顯示記憶體運作情況，

function add
{
    echo "`expr $1 + $2`"
}
function reduce
{
    echo "`expr $1 - $2`"
}
function multiple
{
    echo "`expr $1 \* $2`"
}
function divide
{
    echo "`expr $1 / $2`"
}

function sys_load
{
    echo "Memory Info"
    echo
    free -m
    echo
    
    echo "Disk Usage"
    echo
    df -h
    echo
}      

我們将上面檔案封裝成一個函數庫 lib/base_function。

• 經常使用的重複代碼封裝成函數檔案
• 一般不直接執行，而是由其他腳本調用

接着用一個 shell 腳本 calculate.sh 調用函數庫中的函數

#!/bin/bash
#
. /root/lesson/3.5/lib/base_function
add 12 23
reduce 90 30
multiple 12 12
divide 12 2      

• 庫檔案名的字尾是任意的，但一般使用 .lib
• 庫檔案通常沒有可執行選項
• 庫檔案無序和腳本在同級目錄，隻需在腳本中引用時指定
• 第一行一般使用 #/bin/echo, 輸出警告資訊，避免使用者執行

總結

• 在文章開頭我們分辨了 shell 和 shell script 的概念
• 入門篇中主要介紹了變量,字元串和數學運算
• 基礎篇中主要介紹了流程控制的文法,以及函數的使用
• 本文中有 4 個相對複雜的 shell 腳本,涵蓋了本文所有知識點