天天看點

朋友股票虧慘了,我一怒用Python爬取了證券最新資料

朋友股票虧慘了,我一怒用Python爬取了證券最新資料

 抓取目标:

朋友股票虧慘了,我一怒用Python爬取了證券最新資料
朋友股票虧慘了,我一怒用Python爬取了證券最新資料

進入頁面,滑鼠右擊,選擇檢查 -> 彈出浏覽器開發者工具 -> netword -> 選擇xhr -> 重新整理頁面

朋友股票虧慘了,我一怒用Python爬取了證券最新資料
朋友股票虧慘了,我一怒用Python爬取了證券最新資料

 找到接口,觀察接口資料情況:

朋友股票虧慘了,我一怒用Python爬取了證券最新資料
朋友股票虧慘了,我一怒用Python爬取了證券最新資料

此接口為post請求,需要送出兩個表單參數。

代碼片段:

朋友股票虧慘了,我一怒用Python爬取了證券最新資料

請求成功, 但是有時效性的問題,等過了幾分鐘後,就無權限通路了,仔細觀察發現特殊參數mcode。

開始js找加密參數生成位置: (注意需要重新重新整理頁面,不然會出現沒有js情況)

朋友股票虧慘了,我一怒用Python爬取了證券最新資料
朋友股票虧慘了,我一怒用Python爬取了證券最新資料

 問題來了,好幾個js檔案,怎麼确定那個是我們需要的?

使用第二種搜尋方式,根據url的請求位址搜尋:

朋友股票虧慘了,我一怒用Python爬取了證券最新資料
朋友股票虧慘了,我一怒用Python爬取了證券最新資料
朋友股票虧慘了,我一怒用Python爬取了證券最新資料
朋友股票虧慘了,我一怒用Python爬取了證券最新資料
朋友股票虧慘了,我一怒用Python爬取了證券最新資料
朋友股票虧慘了,我一怒用Python爬取了證券最新資料
朋友股票虧慘了,我一怒用Python爬取了證券最新資料
朋友股票虧慘了,我一怒用Python爬取了證券最新資料

打上斷點後 直接重新整理頁面 開始調試

朋友股票虧慘了,我一怒用Python爬取了證券最新資料
朋友股票虧慘了,我一怒用Python爬取了證券最新資料
朋友股票虧慘了,我一怒用Python爬取了證券最新資料
朋友股票虧慘了,我一怒用Python爬取了證券最新資料
朋友股票虧慘了,我一怒用Python爬取了證券最新資料

繼續調試,看看這個missjson是幹啥的。

朋友股票虧慘了,我一怒用Python爬取了證券最新資料
朋友股票虧慘了,我一怒用Python爬取了證券最新資料

 下面把這些js扣下來執行

朋友股票虧慘了,我一怒用Python爬取了證券最新資料