Table of Contents
wget
curl
wget
經常會使用到下載下傳一些檔案,比較常用的指令是wget
格式為:wget+下載下傳連結,例如下載下傳VOC2007到目前目錄:
wget http://host.robots.ox.ac.uk/pascal/VOC/voc2007/VOCtrainval_06-Nov-2007.tar
比較值得記錄的wget可以帶的參數:
斷點續傳:
當檔案特别大或者網絡特别慢的時候,往往一個檔案還沒有下載下傳完,連接配接就已經被切斷,此時就需要斷點續傳。wget的斷點續傳是自動的,隻需要使用-c參數,例如:
wget -c http://the.url.of/incomplete/file
使用斷點續傳要求伺服器支援斷點續傳。-t參數表示重試次數,例如需要重試100次,那麼就寫-t 100,如果設成-t 0,那麼表示無窮次重試,直到連接配接成功。-T參數表示逾時等待時間,例如-T 120,表示等待120秒連接配接不上就算逾時。
批量下載下傳:
如果有多個檔案需要下載下傳,那麼可以生成一個檔案,把每個檔案的URL寫一行,例如生成檔案download.txt,然後用指令:wget -i download.txt
這樣就會把download.txt裡面列出的每個URL都下載下傳下來。(如果列的是檔案就下載下傳檔案,如果列的是網站,那麼下載下傳首頁)
密碼和認證:
wget隻能處理利用使用者名/密碼方式限制通路的網站,可以利用兩個參數:
–http-user=USER設定HTTP使用者
–http-passwd=PASS設定HTTP密碼
對于需要證書做認證的網站,就隻能利用其他下載下傳工具了,例如curl。(這就是為什麼很多使用curl指令)
curl
curl使用格式:
curl -LO http://host.robots.ox.ac.uk/pascal/VOC/voc2007/VOCtrainval_06-Nov-2007.tar
可以通過curl -h檢視參數詳情,注意系統預設沒有安裝curl ,是以在使用前需要安裝:
sudo apt install curl