wget是一個從網絡上自動下載下傳檔案的自由工具。它支援HTTP,HTTPS和FTP協定,可以使用HTTP代理.
所謂的自動下載下傳是指,wget可以在使用者退出系統的之後在背景執行。這意味這你可以登入系統,啟動一個wget下載下傳任務,然後退出系統,wget将在背景執行直到任務完成,相對于其它大部分浏覽器在下載下傳大量資料時需要使用者一直的參與,這省去了極大的麻煩。
wget可以跟蹤HTML頁面上的連結依次下載下傳來建立遠端伺服器的本地版本,完全重建原始站點的目錄結構。這又常被稱作”遞歸下載下傳”。在遞歸下載下傳的時候,wget遵循Robot Exclusion标準(/robots.txt). wget可以在下載下傳的同時,将連結轉換成指向本地檔案,以友善離線浏覽。
wget非常穩定,它在帶寬很窄的情況下和不穩定網絡中有很強的适應性.如果是由于網絡的原因下載下傳失敗,wget會不斷的嘗試,直到整個檔案下載下傳完 畢。如果是伺服器打斷下載下傳過程,它會再次聯到伺服器上從停止的地方繼續下載下傳。這對從那些限定了連結時間的伺服器上下載下傳大檔案非常有用。
wget的使用格式
用wget做站點鏡像:
在不穩定的網絡上下載下傳一個部分下載下傳的檔案,以及在空閑時段下載下傳
上面的代碼還可以用來在網絡比較空閑的時段進行下載下傳。我的用法是:在mozilla中将不友善當時下載下傳的URL連結拷貝到記憶體中然後粘貼到檔案filelist.txt中,在晚上要出去系統前執行上面代碼的第二條。
使用代理下載下傳
代理可以在環境變量或wgetrc檔案中設定
啟動
記錄和輸入檔案
下載下傳
目錄
HTTP 選項
FTP 選項
遞歸下載下傳
遞歸下載下傳中的包含和不包含(accept/reject)