網站與APP抓包分析3 通過Python實作APP内容爬蟲

1、APP資料互動分析

以某考試練習APP為例（隻爬取題目，無答案）

1.1、環境準備

（1）PC（筆記本）上安裝WIFI外放工具，例如360免費WIFI

（2）手機安裝APP後，新增賬號并登陸

1.2、請求分析

運作APP，并觸發所需場景，定位請求記錄

請求分析

通過以上過程可知，習題加載過程為：

HOST: 182.92.213.77:9011

請求類型：POST

URL:

http://182.92.213.77:9011/safeEden/r/p/d/ugetquest.d

Cookie:Uid=155710&Slid=1

其中Uid=使用者ID，Slid=習題歸屬分組，每組加載3道題。

2、Python腳本實作

構造習題加載URL，通過Python 構造HTTP POST清洗；

通過循環執行習題擷取請求，周遊擷取習題，并寫入txt文檔；

對文檔進行去重，可得APP中大部分習題。

2.1、Python腳本

#!/usr/bin/env python
#-*-coding:gb2312-*-
from urllib.request import urlopen
def readquest(v):
    csvalue=v
    url = 'http://182.92.213.77:9011/safeEden/r/p/d/ugetquest.d' #構造URL
    data = bytes(csvalue,'utf8')
    r = urlopen(url,data=data) #發送URL，包括URL和Cookie
    response =str(r.read(),'utf8') #獲得請求
    print (response)
    f=open('ItemBank.txt','a+')
    f.write(response) #将傳回結果希爾TXT文檔
def xunhuan():
    cs1='Uid=149778&Slid='
    i=1
    while i<=5: #循環次數
        cs2=i
        cs=cs1 + str(cs2)
        readquest(cs)
        i=i+1
xunhuan()           

2.2、本地習題記錄

本地習題記錄

注：

此為對抓包工具與Python配合應用的示例，本文隻以下載下傳試題題目為例，如有侵權，請聯系作者删除。