天天看點

腳本語言使用記錄(wget和curl下載下傳檔案對比)wgetcurl

Table of Contents

wget

curl

wget

經常會使用到下載下傳一些檔案,比較常用的指令是wget

格式為:wget+下載下傳連結,例如下載下傳VOC2007到目前目錄:

wget http://host.robots.ox.ac.uk/pascal/VOC/voc2007/VOCtrainval_06-Nov-2007.tar
           

比較值得記錄的wget可以帶的參數:

斷點續傳:

當檔案特别大或者網絡特别慢的時候,往往一個檔案還沒有下載下傳完,連接配接就已經被切斷,此時就需要斷點續傳。wget的斷點續傳是自動的,隻需要使用-c參數,例如:

wget -c http://the.url.of/incomplete/file
           

使用斷點續傳要求伺服器支援斷點續傳。-t參數表示重試次數,例如需要重試100次,那麼就寫-t 100,如果設成-t 0,那麼表示無窮次重試,直到連接配接成功。-T參數表示逾時等待時間,例如-T 120,表示等待120秒連接配接不上就算逾時。

批量下載下傳:

如果有多個檔案需要下載下傳,那麼可以生成一個檔案,把每個檔案的URL寫一行,例如生成檔案download.txt,然後用指令:wget -i download.txt

這樣就會把download.txt裡面列出的每個URL都下載下傳下來。(如果列的是檔案就下載下傳檔案,如果列的是網站,那麼下載下傳首頁)

密碼和認證:

wget隻能處理利用使用者名/密碼方式限制通路的網站,可以利用兩個參數:

–http-user=USER設定HTTP使用者

–http-passwd=PASS設定HTTP密碼

對于需要證書做認證的網站,就隻能利用其他下載下傳工具了,例如curl。(這就是為什麼很多使用curl指令)

curl

curl使用格式:

curl -LO http://host.robots.ox.ac.uk/pascal/VOC/voc2007/VOCtrainval_06-Nov-2007.tar
           

可以通過curl -h檢視參數詳情,注意系統預設沒有安裝curl ,是以在使用前需要安裝:

sudo apt install curl
           

繼續閱讀