天天看點

Python爬蟲入門教程 45-100 Charles抓取兔兒故事-下載下傳小豬佩奇故事-手機APP爬蟲部分

1. Charles抓取兔兒故事背景介紹

之前已經安裝了Charles,接下來我将用兩篇部落格簡單寫一下關于Charles的使用,今天抓取一下兔兒故事裡面關于小豬佩奇的故事。

爬蟲編寫起來核心的重點是分析到連結,隻要把連結分析到,剩下的就好辦了。

Python爬蟲入門教程 45-100 Charles抓取兔兒故事-下載下傳小豬佩奇故事-手機APP爬蟲部分

2. 待爬取APP連結分析

夜神模拟器安裝APP完畢,之後打開相應的軟體,進去到小豬佩奇的分類清單,注意Charles,在裡面盡量的去找到下圖的連結,說白了就是在APP翻來翻去,看Charles的變化。

Python爬蟲入門教程 45-100 Charles抓取兔兒故事-下載下傳小豬佩奇故事-手機APP爬蟲部分

在分析中得到如下連結

http://api.tuer123.com/app/android/v1.4/category/detail.html?sort=187&startKey=&x_api_appid=VcDRKTFwD4riHfUQ&x_api_nonce=a502c9aa0f598887fdef0636fc1f28f4&x_api_sign=f90b1e442038d825f0f1f4ea328cbfce&x_api_time=1547476580
           

分析參數得到,資料隻有3頁,可以說是非常少了,當然,如果你去周遊分類頁,那再多的故事也是可以得到的

http://api.tuer123.com/app/android/v1.4/category/detail.html?sort=187&startKey=1
http://api.tuer123.com/app/android/v1.4/category/detail.html?sort=187&startKey=2
http://api.tuer123.com/app/android/v1.4/category/detail.html?sort=187&startKey=3 
           

點選連結在右側得到

JSON資料

Python爬蟲入門教程 45-100 Charles抓取兔兒故事-下載下傳小豬佩奇故事-手機APP爬蟲部分

擷取到URL

http://res.tuer123.com/source/voice/1802/357_file_95e14b6690.mp3
           

3. 編寫MP3下載下傳方法

寫一個單個音頻下載下傳的辦法,你自行擴充吧

import requests
import time
res = requests.get("http://res.tuer123.com/source/voice/1802/357_file_95e14b6690.mp3")
content = res.content
with open(str(int(time.time()))+".mp3","wb+") as f:
    f.write(content)           

打開預設播放器,當聽到

我是佩奇

的聲音傳遞而來,表示音頻已經下載下傳完畢啦~~

Python爬蟲入門教程 45-100 Charles抓取兔兒故事-下載下傳小豬佩奇故事-手機APP爬蟲部分

繼續閱讀