天天看點

Linux Wget 指令執行個體講解

Linux wget是一個下載下傳檔案的工具,它用在指令行下。對于Linux使用者是必不可少的工具,尤其對于網絡管理者,經常要下載下傳一些軟體或從遠端伺服器恢複備份到本地伺服器。如果我們使用虛拟主機,處理這樣的事務我們隻能先從遠端伺服器下載下傳到我們電腦磁盤,然後再用ftp工具上傳到伺服器。這樣既浪費時間又浪費精力,那不沒辦法的事。而到了Linux VPS,它則可以直接下載下傳到伺服器而不用經過上傳這一步。wget工具體積小但功能完善,它支援斷點下載下傳功能,同時支援FTP和HTTP下載下傳方式,支援代理伺服器和設定起來友善簡單。下面我們以執行個體的形式說明怎麼使用wget。

1、使用wget下載下傳單個檔案

以下的例子是從網絡下載下傳一個檔案并儲存在目前目錄

  1. wget http://cn.wordpress.org/wordpress-3.1-zh_CN.zip
  2. wget -P /tools http://cn.wordpress.org/wordpress-3.1-zh_CN.zip

-P 指定下載下傳到哪個目錄

在下載下傳的過程中會顯示進度條,包含(下載下傳完成百分比,已經下載下傳的位元組,目前下載下傳速度,剩餘下載下傳時間)。

2、使用wget -O下載下傳并以不同的檔案名儲存

wget預設會以最後一個符合”/”的後面的字元來指令,對于動态連結的下載下傳通常檔案名會不正确。

錯誤:下面的例子會下載下傳一個檔案并以名稱download.php?id=1080儲存

  1. wget https://www.centos.bz/download?id=1

即使下載下傳的檔案是zip格式,它仍然以download.php?id=1080指令。

正确:為了解決這個問題,我們可以使用參數-O來指定一個檔案名:

  1. wget -O wordpress.zip https://www.centos.bz/download.php?id=1080

3、使用wget –limit -rate限速下載下傳

當你執行wget的時候,它預設會占用全部可能的寬帶下載下傳。但是當你準備下載下傳一個大檔案,而你還需要下載下傳其它檔案時就有必要限速了。

  1. wget --limit-rate=300k http://cn.wordpress.org/wordpress-3.1-zh_CN.zip

4、使用wget -c斷點續傳

使用wget -c重新啟動下載下傳中斷的檔案:

  1. wget -c http://cn.wordpress.org/wordpress-3.1-zh_CN.zip

對于我們下載下傳大檔案時突然由于網絡等原因中斷非常有幫助,我們可以繼續接着下載下傳而不是重新下載下傳一個檔案。需要繼續中斷的下載下傳時可以使用-c參數。

5、使用wget -b背景下載下傳

對于下載下傳非常大的檔案的時候,我們可以使用參數-b進行背景下載下傳。

  1. wget -b http://cn.wordpress.org/wordpress-3.1-zh_CN.zip
  2. Continuing in background, pid 1840.
  3. Output will be written to `wget-log'.

你可以使用以下指令來察看下載下傳進度

  1. tail -f wget-log

6、僞裝代理名稱下載下傳

有些網站能通過根據判斷代理名稱不是浏覽器而拒絕你的下載下傳請求。不過你可以通過–user-agent參數僞裝。

  1. wget --user-agent="Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US) AppleWebKit/534.16 (KHTML, like Gecko) Chrome/10.0.648.204 Safari/534.16" 下載下傳連結

7、使用wget –spider測試下載下傳連結

當你打算進行定時下載下傳,你應該在預定時間測試下載下傳連結是否有效。我們可以增加–spider參數進行檢查。

  1. wget --spider URL

如果下載下傳連結正确,将會顯示

  1. Spider mode enabled. Check if remote file exists.
  2. HTTP request sent, awaiting response... 200 OK
  3. Length: unspecified [text/html]
  4. Remote file exists and could contain further links,
  5. but recursion is disabled -- not retrieving.

這保證了下載下傳能在預定的時間進行,但當你給錯了一個連結,将會顯示如下錯誤

  1. wget --spider url
  2. HTTP request sent, awaiting response... 404 Not Found
  3. Remote file does not exist -- broken link!!!

你可以在以下幾種情況下使用spider參數:

  • 定時下載下傳之前進行檢查
  • 間隔檢測網站是否可用
  • 檢查網站頁面的死連結

8、使用wget –tries增加重試次數

如果網絡有問題或下載下傳一個大檔案也有可能失敗。wget預設重試20次連接配接下載下傳檔案。如果需要,你可以使用–tries增加重試次數。

  1. wget --tries=40 URL

9、使用wget -i下載下傳多個檔案

首先,儲存一份下載下傳連結檔案

  1. cat > filelist.txt
  2. url1
  3. url2
  4. url3
  5. url4

接着使用這個檔案和參數-i下載下傳

  1. wget -i filelist.txt

10、使用wget –mirror鏡像網站

下面的例子是下載下傳整個網站到本地。

  1. wget --mirror -p --convert-links -P ./LOCAL URL
  • –miror:開戶鏡像下載下傳
  • -p:下載下傳所有為了html頁面顯示正常的檔案
  • –convert-links:下載下傳後,轉換成本地的連結
  • -P ./LOCAL:儲存所有檔案和目錄到本地指定目錄

11、使用wget –reject過濾指定格式下載下傳

你想下載下傳一個網站,但你不希望下載下傳圖檔,你可以使用以下指令。

  1. wget --reject=gif url

12、使用wget -o把下載下傳資訊存入日志檔案

你不希望下載下傳資訊直接顯示在終端而是在一個日志檔案,可以使用以下指令:

  1. wget -o download.log URL

13、使用wget -Q限制總下載下傳檔案大小

當你想要下載下傳的檔案超過5M而退出下載下傳,你可以使用以下指令:

  1. wget -Q5m -i filelist.txt

注意:這個參數對單個檔案下載下傳不起作用,隻能遞歸下載下傳時才有效。

14、使用wget -r -A下載下傳指定格式檔案

可以在以下情況使用該功能

  • 下載下傳一個網站的所有圖檔
  • 下載下傳一個網站的所有視訊
  • 下載下傳一個網站的所有PDF檔案
  1. wget -r -A.pdf url

15、使用wget FTP下載下傳

你可以使用wget來完成ftp連結的下載下傳。

使用wget匿名ftp下載下傳

  1. wget ftp-url

使用wget使用者名和密碼認證的ftp下載下傳

    1. wget --ftp-user=USERNAME --ftp-password=PASSWORD url

繼續閱讀