天天看點

linux技巧分享——關于wget 使用

wget 是一個指令行的下載下傳工具,對于學習 Linux 的同學們來說,幾乎每天都在使用它。

下面華妹為大家介紹幾個有用的 wget 小技巧~可以更加高效而靈活地使用 wget。

linux技巧分享——關于wget 使用

$ wget -r -np -nd http://example.com/packages/

這條指令可以下載下傳 http://example.com 網站上 packages 目錄中的所有檔案。其中,-np 的作用是不周遊父目錄,-nd 表示不在本機重新建立目錄結構。

$ wget -r -np -nd --accept=iso http://example.com/centos-5/i386/

與上一條指令相似,但多加了一個 --accept=iso 選項,這訓示 wget 僅下載下傳 i386 目錄中所有擴充名為 iso 的檔案。你也可以指定多個擴充名,隻需用逗号分隔即可。

$ wget -i filename.txt

此指令常用于批量下載下傳的情形,把所有需要下載下傳檔案的位址放到filename.txt 中,然後 wget 就會自動為你下載下傳所有檔案了。

$ wget -c http://example.com/really-big-file.iso

這裡所指定的 -c 選項的作用為斷點續傳。

$ wget -m -k (-H) http://www.example.com/

該指令可用來鏡像一個網站,wget 将對連結進行轉換。如果網站中的圖像是放在另外的站點,那麼可以使用 -H 選項。

linux技巧分享——關于wget 使用

更多指令:

用法:wget [選項]... [URL]...

長選項所必須的參數在使用短選項時也是必須的。

啟動:

-V, --version 顯示 Wget 的版本資訊并退出。

-h, --help 列印此幫助。

-b, --background 啟動後轉入背景。

-e, --execute=COMMAND 運作一個“.wgetrc”風格的指令。

日志和輸入檔案:

-o, --output-file=FILE 将日志資訊寫入 FILE。

-a, --append-output=FILE 将資訊添加至 FILE。

-d, --debug 列印大量調試資訊。

-q, --quiet 安靜模式 (無資訊輸出)。

-v, --verbose 詳盡的輸出 (此為預設值)。

-nv, --no-verbose 關閉詳盡輸出,但不進入安靜模式。

-i, --input-file=FILE 下載下傳本地或外部 FILE 中的 URLs。

-F, --force-html 把輸入檔案當成 HTML 檔案。

-B, --base=URL 解析與 URL 相關的

HTML 輸入檔案 (由 -i -F 選項指定)。

--config=FILE Specify config file to use.

下載下傳:

-t, --tries=NUMBER 設定重試次數為 NUMBER (0 代表無限制)。

--retry-connrefused 即使拒絕連接配接也是重試。

-O, --output-document=FILE 将文檔寫入 FILE。

-nc, --no-clobber skip downloads that would download to

existing files (overwriting them).

-c, --continue 斷點續傳下載下傳檔案。

--progress=TYPE 選擇進度條類型。

-N, --timestamping 隻擷取比本地檔案新的檔案。

--no-use-server-timestamps 不用伺服器上的時間戳來設定本地檔案。

-S, --server-response 列印伺服器響應。

--spider 不下載下傳任何檔案。

-T, --timeout=SECONDS 将所有逾時設為 SECONDS 秒。

--dns-timeout=SECS 設定 DNS 查尋逾時為 SECS 秒。

--connect-timeout=SECS 設定連接配接逾時為 SECS 秒。

--read-timeout=SECS 設定讀取逾時為 SECS 秒。

-w, --wait=SECONDS 等待間隔為 SECONDS 秒。

--waitretry=SECONDS 在擷取檔案的重試期間等待 1..SECONDS 秒。

--random-wait 擷取多個檔案時,每次随機等待間隔

0.5*WAIT...1.5*WAIT 秒。

--no-proxy 禁止使用代理。

-Q, --quota=NUMBER 設定擷取配額為 NUMBER 位元組。

--bind-address=ADDRESS 綁定至本地主機上的 ADDRESS (主機名或是 IP)。

--limit-rate=RATE 限制下載下傳速率為 RATE。

--no-dns-cache 關閉 DNS 查尋緩存。

--restrict-file-names=OS 限定檔案名中的字元為 OS 允許的字元。

--ignore-case 比對檔案/目錄時忽略大小寫。

-4, --inet4-only 僅連接配接至 IPv4 位址。

-6, --inet6-only 僅連接配接至 IPv6 位址。

--prefer-family=FAMILY 首先連接配接至指定協定的位址

FAMILY 為 IPv6,IPv4 或是 none。

--user=USER 将 ftp 和 http 的使用者名均設定為 USER。

--password=PASS 将 ftp 和 http 的密碼均設定為 PASS。

--ask-password 提示輸入密碼。

--no-iri 關閉 IRI 支援。

--local-encoding=ENC IRI (國際化資源辨別符) 使用 ENC 作為本地編碼。

--remote-encoding=ENC 使用 ENC 作為預設遠端編碼。

--unlink remove file before clobber.

嵌入式物聯網需要學的東西真的非常多,千萬不要學錯了路線和内容,導緻工資要不上去!

無償分享大家一個資料包,差不多150多G。裡面學習内容、面經、項目都比較新也比較全!某魚上買估計至少要好幾十。

點選這裡找小助理0元領取:加微信領取資料

linux技巧分享——關于wget 使用

目錄:

-nd, --no-directories 不建立目錄。

-x, --force-directories 強制建立目錄。

-nH, --no-host-directories 不要建立主目錄。

--protocol-directories 在目錄中使用協定名稱。

-P, --directory-prefix=PREFIX 以 PREFIX/... 儲存檔案

--cut-dirs=NUMBER 忽略遠端目錄中 NUMBER 個目錄層。

HTTP 選項:

--http-user=USER 設定 http 使用者名為 USER。

--http-password=PASS 設定 http 密碼為 PASS。

--no-cache 不在伺服器上緩存資料。

--default-page=NAME 改變預設頁

(預設頁通常是“index.html”)。

-E, --adjust-extension 以合适的擴充名儲存 HTML/CSS 文檔。

--ignore-length 忽略頭部的‘Content-Length’區域。

--header=STRING 在頭部插入 STRING。

--max-redirect 每頁所允許的最大重定向。

--proxy-user=USER 使用 USER 作為代理使用者名。

--proxy-password=PASS 使用 PASS 作為代理密碼。

--referer=URL 在 HTTP 請求頭包含‘Referer: URL’。

--save-headers 将 HTTP 頭儲存至檔案。

-U, --user-agent=AGENT 辨別為 AGENT 而不是 Wget/VERSION。

--no-http-keep-alive 禁用 HTTP keep-alive (永久連接配接)。

--no-cookies 不使用 cookies。

--load-cookies=FILE 會話開始前從 FILE 中載入 cookies。

--save-cookies=FILE 會話結束後儲存 cookies 至 FILE。

--keep-session-cookies 載入并儲存會話 (非永久) cookies。

--post-data=STRING 使用 POST 方式;把 STRING 作為資料發送。

--post-file=FILE 使用 POST 方式;發送 FILE 内容。

--content-disposition 當選中本地檔案名時

允許 Content-Disposition 頭部 (尚在實驗)。

--auth-no-challenge 發送不含伺服器詢問的首次等待

的基本 HTTP 驗證資訊。

HTTPS (SSL/TLS) 選項:

--secure-protocol=PR 選擇安全協定,可以是 auto、SSLv2、

SSLv3 或是 TLSv1 中的一個。

--no-check-certificate 不要驗證伺服器的證書。

--certificate=FILE 用戶端證書檔案。

--certificate-type=TYPE 用戶端證書類型,PEM 或 DER。

--private-key=FILE 私鑰檔案。

--private-key-type=TYPE 私鑰檔案類型,PEM 或 DER。

--ca-certificate=FILE 帶有一組 CA 認證的檔案。

--ca-directory=DIR 儲存 CA 認證的哈希清單的目錄。

--random-file=FILE 帶有生成 SSL PRNG 的随機資料的檔案。

--egd-file=FILE 用于命名帶有随機資料的 EGD 套接字的檔案。

FTP 選項:

--ftp-user=USER 設定 ftp 使用者名為 USER。

--ftp-password=PASS 設定 ftp 密碼為 PASS。

--no-remove-listing 不要删除‘.listing’檔案。

--no-glob 不在 FTP 檔案名中使用通配符展開。

--no-passive-ftp 禁用“passive”傳輸模式。

--retr-symlinks 遞歸目錄時,擷取連結的檔案 (而非目錄)。

遞歸下載下傳:

-r, --recursive 指定遞歸下載下傳。

-l, --level=NUMBER 最大遞歸深度 (inf 或 0 代表無限制,即全部下載下傳)。

--delete-after 下載下傳完成後删除本地檔案。

-k, --convert-links 讓下載下傳得到的 HTML 或 CSS 中的連結指向本地檔案。

-K, --backup-converted 在轉換檔案 X 前先将它備份為 X.orig。

-m, --mirror -N -r -l inf --no-remove-listing 的縮寫形式。

-p, --page-requisites 下載下傳所有用于顯示 HTML 頁面的圖檔之類的元素。

--strict-comments 用嚴格方式 (SGML) 處理 HTML 注釋。

遞歸接受/拒絕:

-A, --accept=LIST 逗号分隔的可接受的擴充名清單。

-R, --reject=LIST 逗号分隔的要拒絕的擴充名清單。

-D, --domains=LIST 逗号分隔的可接受的域清單。

--exclude-domains=LIST 逗号分隔的要拒絕的域清單。

--follow-ftp 跟蹤 HTML 文檔中的 FTP 連結。

--follow-tags=LIST 逗号分隔的跟蹤的 HTML 辨別清單。

--ignore-tags=LIST 逗号分隔的忽略的 HTML 辨別清單。

-H, --span-hosts 遞歸時轉向外部主機。

-L, --relative 隻跟蹤有關系的連結。

-I, --include-directories=LIST 允許目錄的清單。

--trust-server-names use the name specified by the redirection

url last component.

-X, --exclude-directories=LIST 排除目錄的清單。

-np, --no-parent 不追溯至父目錄。

轉載自:華清遠見

文章來源于linux技巧分享——關于wget 使用

原文連結:https://mp.weixin.qq.com/s/HpEUcIu2cgOWRbvKeqnjSA

繼續閱讀