天天看點
傳回

Python-Requests爬蟲學習安裝Requests發送請求擷取響應内容定制請求頭響應頭Cookie設定逾時異常

安裝Requests 

pip install requests

發送請求

發送簡答請求 

import requests

# 一言的接口
url = 'https://v1.hitokoto.cn'
# 簡單的發送請求
res = requests.get(url)

發送表單請求 

import requests

url = 'https://v1.hitokoto.cn'
data = {
    'key': 'value'
}
res = requests.post(url, data = data)

發送各種請求 

import requests

url = 'https://v1.hitokoto.cn'
data = {
    'key': 'value'
}
res = requests.post(url, data = data)
res = requests.put(url, data = data)
res = requests.get(url)
res = requests.delete(url)

傳遞參數

通過params關鍵字參數

import requests

# 一言的接口
url = 'https://v1.hitokoto.cn'
# 請求句子類型為動畫的句子
payload = {
    'c': 'a'
}
# 也可以傳清單
payload = {
    'key1': 'value1', 
    'key2': [
        'value2', 
        'value3'
    ]
}

res = requests.get(url, params=payload)

# 列印連結
print(res.url)

# https://v1.hitokoto.cn/?c=a

擷取響應内容

普通列印内容 

import requests

# 一言的接口
url = 'https://v1.hitokoto.cn'
# 請求句子類型為動畫的句子
payload = {
    'c': 'a'
}

res = requests.get(url, params=payload)

# 列印編碼方式
print(res.encoding)

# utf-8

# 列印響應内容 res.text
print(res.text)

# {"id":144,"uuid":"afc77440-3696-4425-b236-6e9db32ca6c5","hitokoto":"正因為聽不見和看不到，是以風子才會做這樣的事情。","type":"a","from":"clannad","from_who":null,"creator":"悠光喵~~","creator_uid":0,"reviewer":0,"commit_from":"web","created_at":"1468605910","length":24}

二進制列印内容 

import requests

# 一言的接口
url = 'https://v1.hitokoto.cn'
# 請求句子類型為動畫的句子
payload = {
    'c': 'a'
}

res = requests.get(url, params=payload)


print(res.content)
# b'{"id":840,"uuid":"5fb5b2d1-c54e-4c3c-a807-81ac777a80a7","hitokoto":"El Psy Congroo..","type":"a","from":"\xe5\x91\xbd\xe8\xbf\x90\xe7\x9f\xb3\xe4\xb9\x8b\xe9\x97\xa8","from_who":null,"creator":"hitokoto","creator_uid":1775,"reviewer":0,"commit_from":"web","created_at":"1478787580","length":16}'

JSON 響應内容 

import requests

# 一言的接口
url = 'https://v1.hitokoto.cn'
# 請求句子類型為動畫的句子
payload = {
    'c': 'a'
}

res = requests.get(url, params=payload)


print(res.json())

# {'id': 540, 'uuid': '7e365e02-18f0-451d-b359-b8a9f52b6a4f', 'hitokoto': '在災難面前，如果連英雄都逃跑了，那還有誰能站出來？', 'type': 'a', 'from': '一拳超人', 'from_who': None, 'creator': '沒了', 'creator_uid': 12, 'reviewer': 0, 'commit_from': 'web', 'created_at': '1472551464', 'length': 25}

擷取伺服器的原始響應内容 

import requests

# 一言的接口
url = 'https://v1.hitokoto.cn'
# 請求句子類型為動畫的句子
payload = {
    'c': 'a'
}

res = requests.get(url, params=payload, stream=True)

# Response.iter_content 将會處理大量直接使用 Response.raw 不得不處理的
print(res.raw)
print(res.raw.read(10))

# <urllib3.response.HTTPResponse object at 0x000001F50E96B250>
# b'{"id":998,'

定制請求頭 

import requests

# 一言的接口
url = 'https://v1.hitokoto.cn'
# 請求句子類型為動畫的句子
payload = {
    'c': 'a'
}
headers = {
    'user-agent': 'my-app/0.0.1'
}

res = requests.get(url, params=payload, headers=headers)

POST一個多部分編碼(Multipart-Encoded)的檔案

Requests 使得上傳多部分編碼檔案變得很簡單 

url = 'http://httpbin.org/post'
files = {'file': open('report.xls', 'rb')}

r = requests.post(url, files=files)
r.text
{
  ...
  "files": {
    "file": "<censored...binary...data>"
  },
  ...
}

顯式地設定檔案名，檔案類型和請求頭 

url = 'http://httpbin.org/post'
files = {'file': ('report.xls', open('report.xls', 'rb'), 'application/vnd.ms-excel', {'Expires': '0'})}

r = requests.post(url, files=files)
r.text
{
  ...
  "files": {
    "file": "<censored...binary...data>"
  },
  ...
}

發送作為檔案來接收的字元串 

url = 'http://httpbin.org/post'
files = {'file': ('report.csv', 'some,data,to,send\nanother,row,to,send\n')}

r = requests.post(url, files=files)
r.text
{
  ...
  "files": {
    "file": "some,data,to,send\\nanother,row,to,send\\n"
  },
  ...
}

響應狀态碼 

import requests

# 一言的接口
url = 'https://v1.hitokoto.cn'
# 請求句子類型為動畫的句子
payload = {
    'c': 'a'
}

res = requests.get(url, params=payload)

# 1
print(res.status_code)

# 2
res.status_code == requests.codes.ok
# True

響應頭 

import requests

# 一言的接口
url = 'https://v1.hitokoto.cn'
# 請求句子類型為動畫的句子
payload = {
    'c': 'a'
}

res = requests.get(url, params=payload)

# 1
print(res.headers)

# {'Date': 'Tue, 17 Nov 2020 14:01:59 GMT', 'Content-Type': 'application/json; charset=utf-8', 'Content-Length': '288', 'Connection': 'keep-alive', 'X-Request-Id': '8c5ad5d4-ff5f-4420-ac3f-0370ab71bd10', 'X-DNS-Prefetch-Control': 'off', 'X-Frame-Options': 'SAMEORIGIN', 'Strict-Transport-Security': 'max-age=15552000; includeSubDomains', 'X-Download-Options': 'noopen', 'X-Content-Type-Options': 'nosniff', 'X-XSS-Protection': '1; mode=block', 'X-Cache': 'MISS from cache.51cdn.com', 'X-Via': '1.1 VM-MIG-01u5x142:6 (Cdn Cache Server V2.0)', 'X-Ws-Request-Id': '5fb3d7d7_VM-MIG-01u5x142_5854-37570'}

# 通路響應頭裡的字段
res.headers['Content-Type']
'application/json'

res.headers.get('content-type')
'application/json'

Cookie

發送Cookie到伺服器 

cookies = dict(cookies_are='working')

r = requests.get(url, cookies=cookies)
r.text
'{"cookies": {"cookies_are": "working"}}'

# Cookie 的傳回對象為 RequestsCookieJar，它的行為和字典類似，但接口更為完整，适合跨域名跨路徑使用。還可以把 Cookie Jar 傳到 Requests 中
jar = requests.cookies.RequestsCookieJar()
jar.set('tasty_cookie', 'yum', domain='httpbin.org', path='/cookies')
.set('gross_cookie', 'blech', domain='httpbin.org', path='/elsewhere')
url = 'http://httpbin.org/cookies'
r = requests.get(url, cookies=jar)
r.text
'{"cookies": {"tasty_cookie": "yum"}}'

設定逾時 

import requests

# 一言的接口
url = 'https://v1.hitokoto.cn'
# 請求句子類型為動畫的句子
payload = {
    'c': 'a'
}

# 在0.01秒後停止響應
res = requests.get(url, params=payload, timeout=0.01)

異常

遇到網絡問題（如：DNS 查詢失敗、拒絕連接配接等）時，Requests 會抛出一個

ConnectionError

異常。

如果 HTTP 請求傳回了不成功的狀态碼，

Response.raise_for_status()

會抛出一個

HTTPError

異常。

若請求逾時，則抛出一個

Timeout

異常。

若請求超過了設定的最大重定向次數，則會抛出一個

TooManyRedirects

異常。

所有Requests顯式抛出的異常都繼承自

requests.exceptions.RequestException

。

Python
上一篇: c++随機數rand()用法
下一篇: Qt中QFile、QByteArray QDataStream和QTextStream差別

繼續閱讀