天天看点

逆向抓取人民网领导留言回复数据的思路分析

作者:爬扒提吧

最近收到一私信,忙里偷闲,简单分析一下

逆向抓取人民网领导留言回复数据的思路分析

首先我们打开网站,找到目标网址,然后进行请求分析,打开开发者工具,刷新页面,搜索相关关键字,然后发现了请求api:/v1/threads/list/df,发现请求头中有token字段是用来验证用户信息的,请求参数中有signature加密字段。我们就只处理signature字段就好了。

逆向抓取人民网领导留言回复数据的思路分析

看signature的长度,猜想应该某些参数md5(消息摘要算法)后的值。我们直接搜索关键字signature之后,进入js文件

逆向抓取人民网领导留言回复数据的思路分析

刷新页面,或者下拉再次获取数据,进入断点,先是进入了h方法,组装了参数,然后进入了md5方法。

逆向抓取人民网领导留言回复数据的思路分析
逆向抓取人民网领导留言回复数据的思路分析

找到了核心方法,这么来看,应该是分析结束。

JS代码

逆向抓取人民网领导留言回复数据的思路分析

Python 代码

逆向抓取人民网领导留言回复数据的思路分析

获取结果展示

逆向抓取人民网领导留言回复数据的思路分析

获取数据用来干什么,这就是不能说的秘密了。有兴趣的可以去看一下它的app和小程序,改天分析一下它的小程序。