天天看點

【Python爬蟲技巧】快速格式化請求頭Request Headers

你好,我是 @馬哥python說 。

我們在寫爬蟲時,經常遇到這種問題,從目标網站把請求頭複制下來,粘貼到爬蟲代碼裡,需要一點一點修改格式,因為複制的是字元串string格式,請求頭需要用字典dict格式:

【Python爬蟲技巧】快速格式化請求頭Request Headers

下面介紹一種簡單的方法。

首先,把複制到的請求頭放到一個字元串裡:

# 請求頭
headers = """
Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9
Accept-Encoding: gzip, deflate, br
Accept-Language: zh-CN,zh;q=0.9,en-US;q=0.8,en;q=0.7
Cache-Control: max-age=0
Connection: keep-alive
Cookie: cookie值
Host: movie.douban.com
Referer: https://movie.douban.com/top250
sec-ch-ua: ".Not/A)Brand";v="99", "Google Chrome";v="103", "Chromium";v="103"
sec-ch-ua-mobile: ?0
sec-ch-ua-platform: "macOS"
Sec-Fetch-Dest: document
Sec-Fetch-Mode: navigate
Sec-Fetch-Site: same-origin
Sec-Fetch-User: ?1
Upgrade-Insecure-Requests: 1
User-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/103.0.0.0 Safari/537.36
"""
           

然後,導入lxpy庫:

from lxpy import copy_headers_dict
           

把剛才的字元串轉換為字典:

# 轉換請求頭為字典格式
headers = copy_headers_dict(headers)
           

再看一眼現在的請求頭,已經轉成了字典格式:

【Python爬蟲技巧】快速格式化請求頭Request Headers

非常好用有沒有!

下面,就可以繼續開心的撸爬蟲代碼了~

同步講解視訊:

https://www.zhihu.com/zvideo/1530851114778210304

我是 @馬哥python說 ,持續分享Python幹貨!

繼續閱讀