天天看点

朋友股票亏惨了,我一怒用Python爬取了证券最新数据

朋友股票亏惨了,我一怒用Python爬取了证券最新数据

 抓取目标:

朋友股票亏惨了,我一怒用Python爬取了证券最新数据
朋友股票亏惨了,我一怒用Python爬取了证券最新数据

进入页面,鼠标右击,选择检查 -> 弹出浏览器开发者工具 -> netword -> 选择xhr -> 刷新页面

朋友股票亏惨了,我一怒用Python爬取了证券最新数据
朋友股票亏惨了,我一怒用Python爬取了证券最新数据

 找到接口,观察接口数据情况:

朋友股票亏惨了,我一怒用Python爬取了证券最新数据
朋友股票亏惨了,我一怒用Python爬取了证券最新数据

此接口为post请求,需要提交两个表单参数。

代码片段:

朋友股票亏惨了,我一怒用Python爬取了证券最新数据

请求成功, 但是有时效性的问题,等过了几分钟后,就无权限访问了,仔细观察发现特殊参数mcode。

开始js找加密参数生成位置: (注意需要重新刷新页面,不然会出现没有js情况)

朋友股票亏惨了,我一怒用Python爬取了证券最新数据
朋友股票亏惨了,我一怒用Python爬取了证券最新数据

 问题来了,好几个js文件,怎么确定那个是我们需要的?

使用第二种搜索方式,根据url的请求地址搜索:

朋友股票亏惨了,我一怒用Python爬取了证券最新数据
朋友股票亏惨了,我一怒用Python爬取了证券最新数据
朋友股票亏惨了,我一怒用Python爬取了证券最新数据
朋友股票亏惨了,我一怒用Python爬取了证券最新数据
朋友股票亏惨了,我一怒用Python爬取了证券最新数据
朋友股票亏惨了,我一怒用Python爬取了证券最新数据
朋友股票亏惨了,我一怒用Python爬取了证券最新数据
朋友股票亏惨了,我一怒用Python爬取了证券最新数据

打上断点后 直接刷新页面 开始调试

朋友股票亏惨了,我一怒用Python爬取了证券最新数据
朋友股票亏惨了,我一怒用Python爬取了证券最新数据
朋友股票亏惨了,我一怒用Python爬取了证券最新数据
朋友股票亏惨了,我一怒用Python爬取了证券最新数据
朋友股票亏惨了,我一怒用Python爬取了证券最新数据

继续调试,看看这个missjson是干啥的。

朋友股票亏惨了,我一怒用Python爬取了证券最新数据
朋友股票亏惨了,我一怒用Python爬取了证券最新数据

 下面把这些js扣下来执行

朋友股票亏惨了,我一怒用Python爬取了证券最新数据