天天看點

網絡爬蟲-模拟手機浏覽器抓取資料

有些網站的資料在PC端很複雜,參數加密很嚴重,但是移動APP端的就沒那麼多加密,是以在遇到有些瓶頸的情況下,可以考慮從網頁端轉到移動端去抓包,爬取資料。這裡有兩種方法:

一. 使用模拟器下載下傳APP

如果該網站有APP的話,推薦使用逍遙安卓模拟器,可以設定代理,使用fiddler進行抓包。
           

二.使用谷歌浏覽器僞裝安卓/蘋果使用者

這種方式就比較簡單友善,直接修改chrome浏覽器的user-agent為指定的機型即可。
           

這裡主要介紹一下第二種方法。

樂桃航空PC端

網絡爬蟲-模拟手機浏覽器抓取資料

樂桃航空移動端

網絡爬蟲-模拟手機浏覽器抓取資料

可以看出移動端的界面比PC端的簡潔很多,抓包的時候也友善許多,可以過濾掉很多雜亂無章的js或者其他加載的資料。

如何設定修改chrome浏覽器的user-agent

1.下載下傳好最新版本的谷歌浏覽器(我這裡的版本是v63)

2.将Google Chrome複制粘貼一份,一個用來做正常PC端浏覽器,一個用來模拟手機浏覽器

3.右鍵單擊複制後的Google Chrome浏覽器,選擇屬性

4.在Google Chrome的目标後添加以下代碼(以我桌面的浏覽器為例 注意–user前面有一個空格)

安卓

"C:\Program Files (x86)\Google\Chrome\Application\chrome.exe" --user-agent="Mozilla/5.0 (Linux; U; Android 2.2; en-us; Nexus One Build/FRF91) AppleWebKit/533.1 (KHTML, like Gecko) Version/4.0 Mobile Safari/533.1"
           

蘋果

"C:\Program Files (x86)\Google\Chrome\Application\chrome.exe" --user-agent="Mozilla/5.0 (iPad; U; CPU OS 3_2_2 like Mac OS X; en-us) AppleWebKit/531.21.10 (KHTML, like Gecko) Version/4.0.4 Mobile/7B500 Safari/531.21.10"
           

5.給該浏覽器重命名為安卓/蘋果浏覽器(這一步可以忽略,主要是用來區分普通浏覽器和僞裝浏覽器)

接下來打開浏覽器 可以發現已經變成安卓/蘋果浏覽器界面了,有些網站沒有設定自适應螢幕,是以自行打開開發者工具調試一下分辨率就OK了。

PS

這裡我還得吐槽一下樂桃航空,下訂單的時候必須支付完成之後才有訂單,說有支付寶方式支付但是找了半天,PC端和移動端都是沒有的!這讓我抓完包之後進行測試的時候如何是好~ 畢竟不敢真的将自己的信用卡号填上去

繼續閱讀