python爬蟲從0到1 -Requests庫的基本使用（get/post請求）

文章目錄

• ​​前言​​
• ​​（一）requests的get請求​​

• ​​1. 導入requests庫​​
• ​​2. 定義url位址以及請求頭​​
• ​​3. 傳回響應資料​​
• ​​4. 将資料列印​​
• ​​總結（對比urllib庫的get請求）​​

• ​​（二）requests庫的post請求（百度翻譯）​​

• ​​1. 導入requests庫​​
• ​​2.定義url位址以及請求頭​​
• ​​3. 傳回響應資料​​
• ​​4.将資料轉換為json格式并列印​​
• ​​總結(對比urllib庫的post請求)​​

前言

上文我們已經了解了requests庫的基本概念，下面我們一起進入Requests庫的get請求和post請求執行個體。

（一）requests的get請求

1. 導入requests庫

import      

2. 定義url位址以及請求頭

url = 'https://www.baidu.com/s?'

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/98.0.4758.102 Safari/537.36'
}

data = {
    'wd':'上海'
}      

3. 傳回響應資料

requests.get(url,params,kwargs)

url 為url位址，params放參數。kwargs為字典。

response =  requests.get(url = url , params = data ,headers = headers )      

4. 将資料列印

content = response.text

print(content)      

總結（對比urllib庫的get請求）

1.參數使用params傳遞。

2.參數無需使用urlencoding編碼

3.不需要請求對象的定制

4.請求資源路徑url中的？可要可不要

（二）requests庫的post請求（百度翻譯）

1. 導入requests庫

import requests
import      

2.定義url位址以及請求頭

url = 'https://fanyi.baidu.com/sug'

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/98.0.4758.102 Safari/537.36'
}

data = {
    'kw':'sign'
}      

3. 傳回響應資料

requests.post(url,data,json,kwargs)

url 請求資源位址。 data 請求參數。kwargs 字典。

response = requests.post(url = url ,data = data ,headers = headers )      

4.将資料轉換為json格式并列印

= response.text

obj = json.loads(content)
print(obj)      

運作結果：

總結(對比urllib庫的post請求)