天天看點

逆向抓取人民網上司留言回複資料的思路分析

作者:爬扒提吧

最近收到一私信,忙裡偷閑,簡單分析一下

逆向抓取人民網上司留言回複資料的思路分析

首先我們打開網站,找到目标網址,然後進行請求分析,打開開發者工具,重新整理頁面,搜尋相關關鍵字,然後發現了請求api:/v1/threads/list/df,發現請求頭中有token字段是用來驗證使用者資訊的,請求參數中有signature加密字段。我們就隻處理signature字段就好了。

逆向抓取人民網上司留言回複資料的思路分析

看signature的長度,猜想應該某些參數md5(消息摘要算法)後的值。我們直接搜尋關鍵字signature之後,進入js檔案

逆向抓取人民網上司留言回複資料的思路分析

重新整理頁面,或者下拉再次擷取資料,進入斷點,先是進入了h方法,組裝了參數,然後進入了md5方法。

逆向抓取人民網上司留言回複資料的思路分析
逆向抓取人民網上司留言回複資料的思路分析

找到了核心方法,這麼來看,應該是分析結束。

JS代碼

逆向抓取人民網上司留言回複資料的思路分析

Python 代碼

逆向抓取人民網上司留言回複資料的思路分析

擷取結果展示

逆向抓取人民網上司留言回複資料的思路分析

擷取資料用來幹什麼,這就是不能說的秘密了。有興趣的可以去看一下它的app和小程式,改天分析一下它的小程式。