天天看點

自動抓取儲存網頁資料過程

在浏覽網頁的過程中,需要儲存網頁資料,把它複制下來儲存到檔案就好啦;但是,如果資料量大或者需要經常儲存資料,簡單重複的操作讓人發狂。這時候就需要一個可以自動抓取資料的浏覽器。

1、先觀察我們抓取資料的網頁,以抓取城市名稱和天氣資訊為例。首先打開【自動控制】菜單中的【項目管理器】視窗。

自動抓取儲存網頁資料過程

抓取的網頁

2、建立【打開網頁】步驟,添加抓取頁面的網址,其它選項使用預設值。

自動抓取儲存網頁資料過程

添加抓取網址

3、再建立【抓取内容】步驟,添加抓取網頁元素,點選【自動擷取】按鈕,浏覽器自動進入元素擷取模式。

自動抓取儲存網頁資料過程

添加抓取目标

4、将滑鼠指針移動需要抓取的元素位置,确定所需内容全部在紅色方框内,點選滑鼠右鍵,選擇【擷取元素并傳回】,傳回項目管理器視窗。

自動抓取儲存網頁資料過程

獲得抓取頁面元素

5、選擇通過【class】屬性作為元素辨別,抓取元素後獲得【text】文本内容。元素别外命名為”天氣“。

自動抓取儲存網頁資料過程

抓取元素文本内容

6、建立【儲存内容】步驟,選擇儲存為”Excel文檔“格式,設定檔案路徑。點選【設定内容】按鈕,勾選日期和天氣兩個字段。

自動抓取儲存網頁資料過程

儲存抓取頁面内容

7、最後點選項目管理器工具欄上的儲存,儲存所有項目設定,下次使用時可直接打開執行項目。點選【開始】按鈕執行項目,可以看到項目執行日志,最後打開儲存的Excel文檔,日期和抓取網頁天氣資訊都儲存到表格裡了。

自動抓取儲存網頁資料過程

檢視網頁抓取結果

按照這個方法,可以抓取任何顯示在網頁上的資訊,并自動儲存到檔案。如果有多個網址,就增加自動循環抓取資訊。