一 curl指令介紹
在Linux中curl是一個利用URL規則在指令行下工作的檔案傳輸工具,可以說是一款很強大的http指令行工具。它支援檔案的上傳和下載下傳,是綜合傳輸工具,但按傳統,習慣稱url為下載下傳工具。
文法:# curl [option] [url]
二 常見參數:
-A/--user-agent <string> 設定使用者代理發送給伺服器
-b/--cookie <name=string/file> cookie字元串或檔案讀取位置
-c/--cookie-jar <file> 操作結束後把cookie寫入到這個檔案中-C/--continue-at <offset> 斷點續轉
-D/--dump-header <file> 把header資訊寫入到該檔案中
-e/--referer 來源網址
-f/--fail 連接配接失敗時不顯示http錯誤-o/--output 把輸出寫到該檔案中
-O/--remote-name 把輸出寫到該檔案中,保留遠端檔案的檔案名-r/--range <range> 檢索來自HTTP/1.1或FTP伺服器位元組範圍-s/--silent 靜音模式。不輸出任何東西
-T/--upload-file <file> 上傳檔案-u/--user <user[:password]> 設定伺服器的使用者和密碼-w/--write-out [format] 什麼輸出完成後
-x/--proxy <host[:port]> 在給定的端口上使用HTTP代理
-#/--progress-bar 進度條顯示目前的傳送狀态
後面還有很多選項,隻截取開頭部分
三 curl應用案例
1 基本用法
# curl http://www.linux.com
執行後,www.linux.com 的html就會顯示在螢幕上了
Ps:由于安裝linux的時候很多時候是沒有安裝桌面的,也意味着沒有浏覽器,是以這個方法也經常用于測試一台伺服器是否可以到達一個網站
2 儲存通路的網頁
2.1 使用linux的重定向功能儲存
# curl http://www.linux.com >> linux.html
2.2 可以使用curl的内置option:-o(小寫)儲存網頁
$ curl -o linux.html http://www.linux.com
執行完成後會顯示如下界面,顯示100%則表示儲存成功
2.3 可以使用curl的内置option:-O(大寫)儲存網頁中的檔案
要注意這裡後面的url要具體到某個檔案,不然抓不下來
# curl -O http://www.linux.com/hello.sh
3 測試網頁傳回值
# curl -o /dev/null -s -w %{http_code} www.linux.com
Ps:在腳本中,這是很常見的測試網站是否正常的用法
4 指定proxy伺服器以及其端口
很多時候上網需要用到代理伺服器(比如是使用代理伺服器上網或者因為使用curl别人網站而被别人屏蔽IP位址的時候),幸運的是curl通過使用内置option:-x來支援設定代理
# curl -x 192.168.100.100:1080 http://www.linux.com
這裡因為沒有搭建在本地的網站,是以通路不到
5 cookie
有些網站是使用cookie來記錄session資訊。對于chrome這樣的浏覽器,可以輕易處理cookie資訊,但在curl中隻要增加相關參數也是可以很容易的處理cookie
5.1 儲存http的response裡面的cookie資訊。内置option:-c(小寫)
# curl -c cookiec.txt http://www.linux.com
執行後cookie資訊就被存到了cookiec.txt裡面了
5.2 儲存http的response裡面的header資訊。内置option: -D
# curl -D cookied.txt http://www.linux.com
執行後cookie資訊就被存到了cookied.txt裡面了
注意:-c(小寫)産生的cookie和-D裡面的cookie是不一樣的。
5.3 使用cookie
很多網站都是通過監視你的cookie資訊來判斷你是否按規矩通路他們的網站的,是以我們需要使用儲存的cookie資訊。内置option: -b
# curl -b cookiec.txt http://www.linux.com
6 模仿浏覽器
有些網站需要使用特定的浏覽器去通路他們,有些還需要使用某些特定的版本。curl内置option:-A可以讓我們指定浏覽器去通路網站
# curl -A "Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.0)" http://www.linux.com
這樣伺服器端就會認為是使用IE8.0去通路的
7 下載下傳檔案
7.1 利用curl下載下傳檔案
#使用内置option:-o(小寫)
#curl -o test.jpg https://www.runoob.com/wp-content/uploads/2016/04/docker01.png
#使用内置option:-O(大寫)
# curl -O http://www.linux.com/haha.JPG
這樣就會以伺服器上的名稱儲存檔案到本地
7.2 循環下載下傳
有時候下載下傳圖檔可以能是前面的部分名稱是一樣的,就最後的尾椎名不一樣
# curl -O http://www.linux.com/haha[1-5].JPG
這樣就會把haha1,haha2,haha3,haha4,haha5全部儲存下來
這裡沒有合适的伺服器資源,就不示範了
7.3 顯示下載下傳進度條
# curl -# -O https://www.runoob.com/wp-content/uploads/2016/04/docker01.png
8.5 不會顯示下載下傳進度資訊
curl -s -O https://www.runoob.com/wp-content/uploads/2016/04/docker01.png
9 上傳檔案
curl不僅僅可以下載下傳檔案,還可以上傳檔案。通過内置option:-T來實作
# curl -T haha.JPG -u 使用者名:密碼 ftp://www.linux.com/img/
這樣就向ftp伺服器上傳了檔案haha.JPG , 沒有搭建本地ftp伺服器,這裡不示範了