python requests子產品詳解

requests是python的一個HTTP用戶端庫，跟urllib，urllib2類似，那為什麼要用requests而不用urllib2呢？官方文檔中是這樣說明的：

python的标準庫urllib2提供了大部分需要的HTTP功能，但是API太逆天了，一個簡單的功能就需要一大堆代碼。

我也看了下requests的文檔，确實很簡單，适合我這種懶人。下面就是一些簡單指南。

插播個好消息！剛看到requests有了中文翻譯版，建議英文不好的看看，内容也比我的部落格好多了，具體連結是：http://cn.python-requests.org/en/latest/(不過是v1.1.0版，另抱歉，之前貼錯連結了)。

1. 安裝

安裝很簡單，我是win系統，就在這裡下載下傳了安裝包（網頁中download the zipball處連結），然後$ python setup.py install就裝好了。

當然，有easy_install或pip的朋友可以直接使用：easy_install requests或者pip install requests來安裝。

至于linux使用者，這個頁面還有其他安裝方法。

注：

如果是linux系統， python -m pip install requests 或者 python setup.py install就可以安裝了

測試：在IDLE中輸入import requests，如果沒提示錯誤，那說明已經安裝成功了！

2. 小試牛刀

<code>import</code> <code>requests</code>

<code>r</code><code>=</code> <code>requests.get(</code><code>'https://www.baidu.com/s'</code><code>)</code>

<code>print</code><code>(r.status_code)</code>

<code>print</code><code>(r.headers[</code><code>'content-type'</code><code>])</code>

<code>print</code><code>(r.encoding)</code>

<code>print</code><code>(r.text)</code>

是不是很簡單？比urllib2和urllib簡單直覺的多？！那請接着看快速指南吧。

3. 快速指南

3.1 發送請求

發送請求很簡單的，首先要導入requests子產品：

<code>>>></code><code>import</code> <code>requests</code>

接下來讓我們擷取一個網頁，例如我個人部落格的首頁：

>>>r = requests.get('http://www.sharejs.com')

接下來，我們就可以使用這個r的各種方法和函數了。

另外，HTTP請求還有很多類型，比如POST,PUT,DELETE,HEAD,OPTIONS。也都可以用同樣的方式

因為目前我還沒用到這些，是以沒有深入研究。

<code>>>> r </code><code>=</code> <code>requests.post(</code><code>"http://httpbin.org/post"</code><code>)</code>

<code>>>> r </code><code>=</code> <code>requests.put(</code><code>"http://httpbin.org/put"</code><code>)</code>

<code>>>> r </code><code>=</code> <code>requests.delete(</code><code>"http://httpbin.org/delete"</code><code>)</code>

<code>>>> r </code><code>=</code> <code>requests.head(</code><code>"http://httpbin.org/get"</code><code>)</code>

<code>>>> r </code><code>=</code> <code>requests.options(</code><code>"http://httpbin.org/get"</code><code>)</code>

3.2 在URLs中傳遞參數

有時候我們需要在URL中傳遞參數，比如在采集百度搜尋結果時，我們wd參數（搜尋詞）和rn參數（搜素結果數量），

你可以手工組成URL，requests也提供了一種看起來很NB的方法：

<code>import</code> <code>requests</code>

<code>r </code><code>=</code> <code>requests.get(</code><code>'http://ip.taobao.com/service/getIpInfo.php?ip=122.88.60.28'</code><code>)</code>

<code>print</code><code>(r.json()[</code><code>'data'</code><code>][</code><code>'country'</code><code>])</code>

u'http://www.baidu.com/s?rn=100&wd=%E5%BC%A0%E4%BA%9A%E6%A5%A0'

上面wd=的亂碼就是“張亞楠”的轉碼形式。（好像參數按照首字母進行了排序。）

3.3 擷取響應内容

可以通過r.text來擷取網頁的内容。

<code> </code><code>print</code><code>(r.url)</code>

<code>用r.content 或者r.</code><code>print</code> <code>來替換urllib2.urlopen(url)read()</code>

文檔裡說，requests會自動将内容轉碼。大多數unicode字型都會無縫轉碼。但我在cygwin下使用時

老是出現UnicodeEncodeError錯誤，郁悶。倒是在python的IDLE中完全正常。

另外，還可以通過r.content來擷取頁面内容。

<code>print</code><code>(r.content)</code>

<code>>>> r.content</code>

文檔中說r.content是以位元組的方式去顯示，是以在IDLE中以b開頭。但我在cygwin中用起來并沒有，

下載下傳網頁正好。是以就替代了urllib2的urllib2.urlopen(url).read()功能。（基本上是我用的最多的一

個功能。）

3.4 擷取網頁編碼

可以使用r.encoding來擷取網頁編碼。

<code>r </code><code>=</code> <code>requests.get('</code>

<code>>>> r.encoding</code>

當你發送請求時，requests會根據HTTP頭部來猜測網頁編碼，當你使用r.text時，requests就會使用這個編碼。當然你

還可以修改requests的編碼形式。

像上面的例子，對encoding修改後就直接會用修改後的編碼去擷取網頁内容。

3.5 json

像urllib和urllib2，如果用到json，就要引入新子產品，如json和simplejson，但在requests中已經有了内置的函數，r.json()。就拿查詢IP的API來說：

3.6 網頁狀态碼

我們可以用r.status_code來檢查網頁的狀态碼。

<code>>>>r.status_code</code>

<code>def</code> <code>get_status(url):</code>

<code> </code><code>r </code><code>=</code> <code>requests.get(url, allow_redirects</code><code>=</code><code>False</code><code>)</code>

<code> </code><code>return</code> <code>r.status_code</code>

<code>print</code><code>(get_status(</code><code>'http://www.zhidaow.com'</code><code>))</code>

<code>print</code><code>(get_status(</code><code>'http://www.zhidaow.com/hi404/'</code><code>))</code>

<code>print</code><code>(get_status(</code><code>'http://mengtiankong.com'</code><code>))</code>

<code>print</code><code>(get_status(</code><code>'http://www.baidu.com/link?url=QeTRFOS7TuUQRppa0wlTJJr6FfIYI1DJprJukx4Qy0XnsDO_s9baoO8u1wvjxgqN'</code><code>))</code>

<code>print</code><code>(get_status(</code><code>'http://www.huiya56.com/com8.intre.asp?46981.html'</code><code>))</code>

這裡能看出他是使用了302跳轉。也許有人認為這樣可以通過判斷和正則來擷取跳轉的狀态碼了，其實

還有個更簡單的方法：

前兩個例子很正常，能正常打開的傳回200，不能正常打開的傳回404。但第三個就有點奇怪了，那個

是百度搜尋結果中的302跳轉位址，但狀态碼顯示是200，接下來我用了一招讓他原形畢露：

隻要加上一個參數allow_redirects，禁止了跳轉，就直接出現跳轉的狀态碼了，好用吧？我也利用這個在最後一掌做了

個簡單的擷取網頁狀态碼的小應用，原理就是這個。

<code>>>> r.headers</code>

3.7 響應頭内容

可以通過r.headers來擷取響應頭内容。

<code># r = requests.get('http://www.zhidaow.com')</code>

<code># print(r.request.headers)</code>

<code>#自定義請求頭部</code>

<code>r </code><code>=</code> <code>requests.get(</code><code>'http://www.baidu.com'</code><code>)</code>

<code>print</code><code>(r.request.headers[</code><code>'User-Agent'</code><code>])</code>

<code># python-requests/1.2.3 CPython/2.7.3 Windows/XP</code>

<code>headers </code><code>=</code> <code>{</code><code>'User-Agent'</code><code>: </code><code>'alexkh'</code><code>}</code>

<code>r </code><code>=</code> <code>requests.get(</code><code>'http://www.zhidaow.com'</code><code>, headers</code><code>=</code><code>headers)</code>

可以看到是以字典的形式傳回了全部内容，我們也可以通路部分内容。

3.8 設定逾時時間

我們可以通過timeout屬性設定逾時時間，一旦超過這個時間還沒獲得響應内容，就會提示錯誤。

<code>Traceback (most recent call last):</code>

3.9 代理通路

采集時為避免被封IP，經常會使用代理。requests也有相應的proxies屬性。

<code>proxies </code><code>=</code> <code>{</code>

<code> </code><code>"https"</code> <code>: </code><code>"http://10.6.0.100:80"</code>

<code>r </code><code>=</code> <code>requests.get(</code><code>"http://www.zhidaow.com"</code><code>, proxies</code><code>=</code><code>proxies)</code>

<code>print</code><code>(r.headers)</code>

3.10 請求頭内容

如果代理需要賬戶和密碼，則需這樣：

<code>proxies </code><code>=</code> <code>{</code>

<code> </code><code>"http"</code><code>: </code><code>"http://user:[email protected]:3128/"</code><code>,</code>

請求頭内容可以用r.request.headers來擷取。

<code>{</code>3.11 自定義請求頭部

僞裝請求頭部是采集時經常用的，我們可以用這個方法來隐藏：

<code>header</code><code>}</code>

3.12 持久連接配接keep-alive

requests的keep-alive是基于urllib3，同一會話内的持久連接配接完全是自動的。同一會話内的所有請求都會自動使用恰當的連接配接。

也就是說，你無需任何設定，requests會自動實作keep-alive。

4. 簡單應用

4.1 擷取網頁傳回碼

後記

requests的具體安裝過程請看：http://docs.python-requests.org/en/latest/user/install.html#install

requests的官方指南文檔：http://docs.python-requests.org/en/latest/user/quickstart.html

requests的進階指南文檔：http://docs.python-requests.org/en/latest/user/advanced.html#advanced

2、本文内容部分翻譯自官方文檔，部分自己歸納。

3、大多數用的IDLE格式，累死了，下次直接用編輯器格式，這樣更符合我的習慣。

4、還是那句話，有問題留言或email。

本文轉自 sjfbjs 51CTO部落格，原文連結:http://blog.51cto.com/11886896/1900113

python requests子產品詳解

繼續閱讀

Mac｜Windows系統本地照片自動上傳到伺服器

Ubuntu Linux下Apache的配置檔案

android 主線程的相關問題

Cloud Studio初體驗

使用 ctypes 進行 Python 和 C 的混合程式設計

【python】【資料處理】畫多元資料分布圖

vue-cli簡介（中文翻譯）

samba伺服器的功能

Ajax發送和擷取json資料到Spring mvc 1.spring mvc後端2.web前段

【Linux】UDP廣播封包接收速率問題

【python】netconf協定對接管理裝置

「Python 網絡自動化」NETCONF —— Python 使用 NETCONF 管理配置 H3C 網絡裝置

Linux裝置模型（中）之上層容器

PowerPC平台 Linux移植三

JSONObject包導入異常 java.lang.NoClassDefFoundErrorweb項目的導入包的問題

在python中建立excel并寫入