天天看點

linux中使用wget抓取網頁

如何在linux上或者是mac上簡單使用爬蟲或者是網頁下載下傳工具呢,正常的我們肯定是要去下載下傳一個軟體下來使用啦,可憐的這兩個系統總是找不到相應的工具,這時wget出來幫助你啦!!!wget本身是拿來下載下傳東西的,但遠不止那麼簡單,wget是一把強大利器。

wget -c -r -npH -k http://www.baidu.com
      

  

參數說明

-c:斷點續傳

-r:遞歸下載下傳

-np:遞歸下載下傳時不搜尋上層目錄

-nd:遞歸下載下傳時不建立一層一層的目錄,把所有檔案下載下傳目前檔案夾中

-p:下載下傳網頁所需要的所有檔案(圖檔,樣式,js檔案等)

-H:當遞歸時是轉到外部主機下載下傳圖檔或連結

-k:将絕對連結轉換為相對連結,這樣就可以在本地脫機浏覽網頁了

ls

linux中使用wget抓取網頁

然後生成了index.html檔案

将index.html移動到/var/www/html/

需要提前安裝httpd服務并關閉防火牆

然後打開浏覽器輸入目标IP

linux中使用wget抓取網頁