request用法_Requests的進階用法

會話維持

在 requests 中，直接使用 get() 或 post() 方法确實可以做到模拟網頁的請求，但是這實際上是兩個不同的會話，相當于用了兩個浏覽器打開不同的頁面，而這兩個頁面是不共享 cookies 的。會話維持相當于打在原來的浏覽器上新開了一個頁面，這樣就不用每次去設定 cookies 了——這就是Session對象。

s = requests.Session()
s.get('http://httpbin.org/cookies/set/sessioncookie/123456789')
r = s.get("http://httpbin.org/cookies")
print(r.text)

# 輸出結果
{
  "cookies": {}
}
           

這裡我們請求了一個測試網站，設定了一個 Cookie ，名稱為 num ，内容為123456，之後又發起了請求，擷取Cookies，結果并沒有取到第一次請求的 Cookie。

試想一種常見的場景：我登入一個網站之後，點選裡面某個功能的時候，是不需要再登入的，為什麼？因為登入操作之後，浏覽器與伺服器之間就建立了一個 Session ，我在同一浏覽器再次請求伺服器的時候，共用的是這一個 Session ，是以不用再次登入。那麼如果我使用代碼去請求呢？按照上面的例子，我請求兩次并不會共享 Session，那就沒法實作這個場景功能。而 Requests 的會話可以實作這種場景功能。

我們再來看個例子：

session = requests.Session()
session.get('http://httpbin.org/cookies/set/num/123456')
res = session.get('http://httpbin.org/cookies')
print(res.text)

# 輸出結果
{
  "cookies": {
    "num": "123456"
  }
}
           

這個例子中，我們使用 Session 對象請求，第一次請求設定的 Cookie ，在第二次請求中我們仍然可以擷取到，說明兩次請求在同一個 Session 中。

身份認證

在通路網站時，我們經常會遇到需要身份認證的頁面，需要輸入使用者名和密碼才能登入網站。這個時候我們可以使用 Requests 自帶的身份認證功能。

import requests
from requests.auth import HTTPBasicAuth

#請将username和password替換成自己在該網站的登入使用者名和密碼
res = requests.get('http://www.baidu.com', auth=HTTPBasicAuth('username', 'password'))
print(res.status_code)

# 輸出結果
200
           

如果使用者名和密碼都正确的話，就會成功，傳回200狀态碼。否則傳回401狀态碼。

SSL證書驗證

現在随處可見 https 開頭的網站，Requests 可以為 HTTPS 請求驗證 SSL 證書，就像 web 浏覽器一樣。要想檢查某個主機的 SSL 證書，你可以使用 verify 參數：

import requests

r = requests.get('https://httpbin.org', verify=True)
print(r.text)
           

如果想檢查驗證某個主機的 SSL 證書，就将 verify 設定為 True ，如果證書無效，就會報 requests.exceptions.SSLError 的錯誤。如果想跳過檢查，就将 verify 參數設定為 False。 verify 參數預設是 True ，是以如果需要的話，需要手動設定下這個變量。

代理設定

對于某些網站，如果請求幾次，或許能正常擷取内容。一旦開始爬取，對于大規模的頻繁請求，網站可能會彈出驗證碼，或者跳轉到登陸認證，或者封禁IP，導緻一定時間内無法通路。此時，就需要設定代理還解決這個問題，就要用到 proxies 參數。

# 代理設定
proxies = {
    'http': 'http://127.0.0.1:9001',
    'https': 'https://127.0.0.2:9002'
}
requests.get('http://www.baidu.com', proxies=proxies)

           

這裡的兩個位址都是編的，僅做示例用。如果你想跑起來的話需要換成有效代理。

SOCKS

除了基本的 HTTP 代理，Request 還支援 SOCKS 協定的代理。這是一個可選功能，若要使用， 你需要安裝第三方庫。你可以用 pip 擷取依賴:

$ pip install requests[socks]
           

安裝好依賴以後，使用 SOCKS 代理和使用 HTTP 代理一樣簡單：

proxies = {
    'http': 'socks5://user:[email protected]:port',
    'https': 'socks5://user:[email protected]:port'
}
           

逾時設定

在 Rquests 的基本用法中，我們介紹了逾時的用法，通過使用 timeout 參數來配置。例如：

r = requests.get('https://github.com', timeout=5)
           

我們知道，一個 HTTP 請求會有 connect 和 read 兩部分時間，上面的例子中設定的是二者加起來的逾時時間。如果要分别制定，我們需要傳入一個元組：

r = requests.get('https://github.com', timeout=(3.05, 27))
           

如果遠端伺服器很慢，如果你想要 Request 一直等待伺服器傳回，那麼可以給 timeout 指派 None ：

r = requests.get('https://github.com', timeout=None)