天天看點

網易新聞采集接口分析

作者:爬扒提吧

Step1

打開網易新聞,打開開發者工具,找接口。

Step2

下滑頁面,找到要聞,然後找一個關鍵詞,去全局搜尋,定位接口。

網易新聞采集接口分析

Step3

接口找到後,看加密方式,在不清楚是否有的時候,百度是個好工具,有好心人(比如我)會直接告訴你沒有加密方式。或者可以自己去分析,比如看請求參數是否有看不懂的,請求頭是否有特殊的,cookie中有沒有特殊的,請求url參數是不是有特殊的。或者發現js不是混淆的,直接全局搜encrypt,斷點一下試試。

網易新聞采集接口分析

Step4

但是網易沒有采用熱和的加密方式,不知道為什麼。然後剩下的我們就要解決分頁的問題。

繼續下滑頁面,看接口的分頁處理情況。發現隻是在請求路徑上拼接了一分頁的數字,但是需要注意左側補零。

網易新聞采集接口分析

Step5

搞定分頁,開始代碼書寫。

網易新聞采集接口分析

總結

僅供學習

繼續閱讀