先啰嗦一句，我使用的版本是python2.7，沒有使用3.X的原因是我覺得2.7的擴充比較多，且較之前的版本變化不大，使用順手。3.X簡直就是革命性的變化，用的蹩手。3.x的版本urllib與urllib2已經合并為一個urllib庫，學着比較清晰些，2.7的版本呢urllib與urllib2各有各的作用，下面我把自己學習官方文檔和其他資料的總結寫下，友善以後使用。
urllib與urllib2并不是可以代替的，隻能說2是一個補充吧。先來看看他們倆的差別，有一篇文章把urllib與urllib2的關系說的很明白《
Python的urllib和urllib2子產品都做與請求URL相關的操作，但他們提供不同的功能。他們兩個最顯着的差異如下：
urllib2可以接受一個Request對象，并以此可以來設定一個URL的headers，但是urllib隻接收一個URL。這意味着，你不能僞裝你的使用者代理字元串等。
urllib子產品可以提供進行urlencode的方法，該方法用于GET查詢字元串的生成，urllib2的不具有這樣的功能。這就是urllib與urllib2經常在一起使用的原因。
這兩點對于用過urllib與urllib2的人來說比較好了解，但是對于沒用過的還是不能有好的了解，下面參考官方的文檔，把自己對urllib與urllib2的學習内容總結如下。
A.urllib2概述
urllib2子產品定義的函數和類用來擷取URL（主要是HTTP的），他提供一些複雜的接口用于處理： 基本認證，重定向，Cookies等。
urllib2支援許多的“URL schemes”（由URL中的“：”之前的字元串确定 - 例如“FTP”的URL方案如“ftp://python.org/”），且他還支援其相關的網絡協定（如FTP，HTTP）。我們則重點關注HTTP。
在簡單的情況下，我們會使用urllib2子產品的最常用的方法urlopen。但隻要打開HTTP URL時遇到錯誤或異常的情況下，就需要一些HTTP傳輸協定的知識。我們沒有必要掌握HTTP RFC2616。這是一個最全面和最權威的技術文檔，且不易于閱讀。在使用urllib2時會用到HTTP RFC2616相關的知識，了解即可。
B.常用方法和類
1) urllib2.urlopen(url[, data][, timeout])
urlopen方法是urllib2子產品最常用也最簡單的方法，它打開URL網址，url參數可以是一個字元串url或者是一個Request對象。URL沒什麼可說的，Request對象和data在request類中說明，定義都是一樣的。
對于可選的參數timeout，阻塞操作以秒為機關，如嘗試連接配接（如果沒有指定，将使用設定的全局預設timeout值）。實際上這僅适用于HTTP，HTTPS和FTP連接配接。
先看隻包含URL的請求例子：
importurllib2
response= urllib2.urlopen('http://python.org/')
html= response.read()
urlopen方法也可通過建立了一個Request對象來明确指明想要擷取的url。調用urlopen函數對請求的url傳回一個response對象。這個response類似于一個file對象，是以用.read()函數可以操作這個response對象，關于urlopen函數的傳回值的使用，我們下面再詳細說。
importurllib2
req= urllib2.Request('http://python.org/')
response=urllib2.urlopen(req)
the_page= response.read()
這裡用到了urllib2.Request類，對于上例，我們隻通過了URL執行個體化了Request類的對象，其實Request類還有其他的參數。
2)classurllib2.Request(url[, data][, headers][, origin_req_host][, unverifiable])
Request類是一個抽象的URL請求。5個參數的說明如下
URL——是一個字元串，其中包含一個有效的URL。
data——是一個字元串，指定額外的資料發送到伺服器，如果沒有data需要發送可以為“None”。目前使用data的HTTP請求是唯一的。當請求含有data參數時，HTTP的請求為POST，而不是GET。資料應該是緩存在一個标準的application/x-www-form-urlencoded格式中。urllib.urlencode()函數用映射或2元組，傳回一個這種格式的字元串。通俗的說就是如果想向一個URL發送資料（通常這些資料是代表一些CGI腳本或者其他的web應用）。對于HTTP來說這動作叫Post。例如在網上填的form（表單）時，浏覽器會POST表單的内容，這些資料需要被以标準的格式編碼（encode），然後作為一個資料參數傳送給Request對象。Encoding是在urlib子產品中完成的，而不是在urlib2中完成的。下面是個例子：
importurllibimporturllib2
url= 'http://www.someserver.com/cgi-bin/register.cgi'values= {'name' : 'Michael Foord','location' : 'Northampton','language' : 'Python'}
data=urllib.urlencode(values)
req=urllib2.Request(url, data)
response=urllib2.urlopen(req)
the_page= response.read()
headers——是字典類型，頭字典可以作為參數在request時直接傳入，也可以把每個鍵和值作為參數調用add_header()方法來添加。作為辨識浏覽器身份的User-Agent header是經常被用來惡搞和僞裝的，因為一些HTTP服務隻允許某些請求來自常見的浏覽器而不是腳本，或是針對不同的浏覽器傳回不同的版本。例如，Mozilla Firefox浏覽器被識别為“Mozilla/5.0 (X11; U; Linux i686) Gecko/20071127 Firefox/2.0.0.11”。預設情況下，urlib2把自己識别為Python-urllib/x.y（這裡的xy是python發行版的主要或次要的版本号，如在Python 2.6中，urllib2的預設使用者代理字元串是“Python-urllib/2.6。下面的例子和上面的差別就是在請求時加了一個headers，模仿IE浏覽器送出請求。
importurllibimporturllib2
url= 'http://www.someserver.com/cgi-bin/register.cgi'user_agent= 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'values= {'name' : 'Michael Foord','location' : 'Northampton','language' : 'Python'}
headers= { 'User-Agent': user_agent }
data=urllib.urlencode(values)
req=urllib2.Request(url, data, headers)
response=urllib2.urlopen(req)
the_page= response.read()
标準的headers組成是(Content-Length, Content-Type and Host)，隻有在Request對象調用urlopen()（上面的例子也屬于這個情況）或者OpenerDirector.open()時加入。兩種情況的例子如下：
使用headers參數構造Request對象，如上例在生成Request對象時已經初始化header，而下例是Request對象調用add_header(key,val)方法附加header（Request對象的方法下面再介紹）：
importurllib2
req= urllib2.Request('http://www.example.com/')
req.add_header('Referer', 'http://www.python.org/')
r= urllib2.urlopen(req)
OpenerDirector為每一個Request自動加上一個User-Agent header，是以第二種方法如下（urllib2.build_opener會傳回一個OpenerDirector對象，關于urllib2.build_opener類下面再說）：
importurllib2
opener=urllib2.build_opener()
opener.addheaders= [('User-agent', 'Mozilla/5.0')]
opener.open('http://www.example.com/')
最後兩個參數僅僅是對正确操作第三方HTTP cookies 感興趣，很少用到：
origin_req_host——是RFC2965定義的源互動的request-host。預設的取值是cookielib.request_host(self)。這是由使用者發起的原始請求的主機名或IP位址。例如，如果請求的是一個HTML文檔中的圖像，這應該是包含該圖像的頁面請求的request-host。
unverifiable ——代表請求是否是無法驗證的，它也是由RFC2965定義的。預設值為false。一個無法驗證的請求是，其使用者的URL沒有足夠的權限來被接受。例如，如果請求的是在HTML文檔中的圖像，但是使用者沒有自動抓取圖像的權限，unverifiable的值就應該是true。
3)urllib2.install_opener(opener)和urllib2.build_opener([handler,...])
install_opener和build_opener這兩個方法通常都是在一起用,也有時候build_opener單獨使用來得到OpenerDirector對象。
install_opener執行個體化會得到OpenerDirector 對象用來賦予全局變量opener。如果想用這個opener來調用urlopen，那麼就必須執行個體化得到OpenerDirector；這樣就可以簡單的調用OpenerDirector.open()來代替urlopen()。
build_opener執行個體化也會得到OpenerDirector對象，其中參數handlers可以被BaseHandler或他的子類執行個體化。子類中可以通過以下執行個體化：ProxyHandler (如果檢測代理設定用), UnknownHandler, HTTPHandler, HTTPDefaultErrorHandler, HTTPRedirectHandler, FTPHandler, FileHandler, HTTPErrorProcessor。
importurllib2
req= urllib2.Request('http://www.python.org/')
opener=urllib2.build_opener()
urllib2.install_opener(opener)
f= opener.open(req)
如上使用 urllib2.install_opener()設定 urllib2 的全局 opener。這樣後面的使用會很友善，但不能做更細粒度的控制，比如想在程式中使用兩個不同的 Proxy 設定等。比較好的做法是不使用 install_opener 去更改全局的設定，而隻是直接調用 opener的open 方法代替全局的 urlopen 方法。
說到這Opener和Handler之間的操作聽起來有點暈。整理下思路就清楚了。當擷取一個URL時，可以使用一個opener（一個urllib2.OpenerDirector執行個體對象，可以由build_opener執行個體化生成）。正常情況下程式一直通過urlopen使用預設的opener（也就是說當你使用urlopen方法時，是在隐式的使用預設的opener對象），但也可以建立自定義的openers（通過操作器handlers建立的opener執行個體）。所有的重活和麻煩都交給這些handlers來做。每一個handler知道如何以一種特定的協定（http，ftp等等）打開url，或者如何處理打開url發生的HTTP重定向，或者包含的HTTP cookie。建立openers時如果想要安裝特别的handlers來實作擷取url（如擷取一個處理cookie的opener，或者一個不處理重定向的opener）的話，先執行個體一個OpenerDirector對象，然後多次調用.add_handler(some_handler_instance)來建立一個opener。或者，你可以用build_opener，這是一個很友善的建立opener對象的函數，它隻有一個函數調用。build_opener預設會加入許多handlers，它提供了一個快速的方法添加更多東西和使預設的handler失效。
install_opener如上所述也能用于建立一個opener對象，但是這個對象是（全局）預設的opener。這意味着調用urlopen将會用到你剛建立的opener。也就是說上面的代碼可以等同于下面這段。這段代碼最終還是使用的預設opener。一般情況下我們用build_opener為的是生成自定義opener，沒有必要調用install_opener，除非是為了友善。
importurllib2
req= urllib2.Request('http://www.python.org/')
opener=urllib2.build_opener()
urllib2.install_opener(opener)
f= urllib2.urlopen(req)
C.異常處理
當我們調用urllib2.urlopen的時候不會總是這麼順利，就像浏覽器打開url時有時也會報錯，是以就需要我們有應對異常的處理。
說到異常，我們先來了解傳回的response對象的幾個常用的方法：
geturl() — 傳回檢索的URL資源，這個是傳回的真正url，通常是用來鑒定是否重定向的，如下面代碼4行url如果等于“http://www.python.org/ ”說明沒有被重定向。
info() — 傳回頁面的原資訊就像一個字段的對象， 如headers，它以mimetools.Message執行個體為格式(可以參考HTTP Headers說明)。
getcode() — 傳回響應的HTTP狀态代碼，運作下面代碼可以得到code=200，具體各個code代表的意思請參見文後附錄。
1 importurllib22 req = urllib2.Request('http://www.python.org/')3 response=urllib2.urlopen(req)4 url=response.geturl()5 info=response.info()6 code=response.getcode()
當不能處理一個response時，urlopen抛出一個URLError（對于python APIs，内建異常如，ValueError, TypeError 等也會被抛出。）
HTTPError是HTTP URL在特别的情況下被抛出的URLError的一個子類。下面就詳細說說URLError和HTTPError。
URLError——handlers當運作出現問題時（通常是因為沒有網絡連接配接也就是沒有路由到指定的伺服器，或在指定的伺服器不存在），抛出這個異常.它是IOError的子類.這個抛出的異常包括一個‘reason’ 屬性,他包含一個錯誤編碼和一個錯誤文字描述。如下面代碼，request請求的是一個無法通路的位址，捕獲到異常後我們列印reason對象可以看到錯誤編碼和文字描述。
1 importurllib22 req = urllib2.Request('http://www.python11.org/')3 try:4 response=urllib2.urlopen(req)5 excepturllib2.URLError,e:6 printe.reason7 printe.reason[0]8 print e.reason[1]
運作結果：
HTTPError——HTTPError是URLError的子類。每個來自伺服器HTTP的response都包含“status code”. 有時status code不能處理這個request. 預設的處理程式将處理這些異常的responses。例如，urllib2發現response的URL與你請求的URL不同時也就是發生了重定向時，會自動處理。對于不能處理的請求, urlopen将抛出HTTPError異常. 典型的錯誤包含‘404’ (沒有找到頁面), ‘403’ (禁止請求),‘401’ (需要驗證)等。它包含2個重要的屬性reason和code。
當一個錯誤被抛出的時候，伺服器傳回一個HTTP錯誤代碼和一個錯誤頁。你可以使用傳回的HTTP錯誤示例。這意味着它不但具有code和reason屬性，而且同時具有read，geturl，和info等方法，如下代碼和運作結果。
importurllib2
req= urllib2.Request('http://www.python.org/fish.html')try:
response=urllib2.urlopen(req)excepturllib2.HTTPError,e:printe.codeprinte.reasonprinte.geturl()print e.read()
運作結果:
如果我們想同時處理HTTPError和URLError，因為HTTPError是URLError的子類，是以應該把捕獲HTTPError放在URLError前面，如不然URLError也會捕獲一個HTTPError錯誤，代碼參考如下：
1 importurllib22 req = urllib2.Request('http://www.python.org/fish.html')3 try:4 response=urllib2.urlopen(req)5 excepturllib2.HTTPError,e:6 print 'The server couldn\'t fulfill the request.'
7 print 'Error code:',e.code8 print 'Error reason:',e.reason9 excepturllib2.URLError,e:10 print 'We failed to reach a server.'
11 print 'Reason:', e.reason12 else:13 #everything is fine
14 response.read()
這樣捕獲兩個異常看着不爽，而且HTTPError還是URLError的子類，我們可以把代碼改進如下：
1 importurllib22 req = urllib2.Request('http://www.python.org/fish.html')3 try:4 response=urllib2.urlopen(req)5 excepturllib2.URLError as e:6 if hasattr(e, 'reason'):7 #HTTPError and URLError all have reason attribute.
8 print 'We failed to reach a server.'
9 print 'Reason:', e.reason10 elif hasattr(e, 'code'):11 #Only HTTPError has code attribute.
12 print 'The server couldn\'t fulfill the request.'
13 print 'Error code:', e.code14 else:15 #everything is fine
16 response.read()
關于錯誤編碼因為處理程式預設的處理重定向（錯誤碼範圍在300内），錯誤碼在100-299範圍内的表示請求成功，是以通常會看到的錯誤代碼都是在400-599的範圍内。具體錯誤碼的說明看附錄。
寫到這上面多次提到了重定向，也說了重定向是如何判斷的，并且程式對于重定向時預設處理的。如何禁止程式自動重定向呢，我們可以自定義HTTPRedirectHandler 類，代碼參考如下：
1 classSmartRedirectHandler(urllib2.HTTPRedirectHandler):2 defhttp_error_301(self, req, fp, code, msg, headers):3 result =urllib2.HTTPRedirectHandler.http_error_301(self, req, fp, code, msg, headers)4 returnresult5
6 defhttp_error_302(self, req, fp, code, msg, headers):7 result =urllib2.HTTPRedirectHandler.http_error_302(self, req, fp, code, msg, headers)8 return result
附錄：
1 #Table mapping response codes to messages; entries have the
2 #form {code: (shortmessage, longmessage)}.
3 responses ={4 100: ('Continue', 'Request received, please continue'),5 101: ('Switching Protocols',6 'Switching to new protocol; obey Upgrade header'),7
8 200: ('OK', 'Request fulfilled, document follows'),9 201: ('Created', 'Document created, URL follows'),10 202: ('Accepted',11 'Request accepted, processing continues off-line'),12 203: ('Non-Authoritative Information', 'Request fulfilled from cache'),13 204: ('No Content', 'Request fulfilled, nothing follows'),14 205: ('Reset Content', 'Clear input form for further input.'),15 206: ('Partial Content', 'Partial content follows.'),16
17 300: ('Multiple Choices',18 'Object has several resources -- see URI list'),19 301: ('Moved Permanently', 'Object moved permanently -- see URI list'),20 302: ('Found', 'Object moved temporarily -- see URI list'),21 303: ('See Other', 'Object moved -- see Method and URL list'),22 304: ('Not Modified',23 'Document has not changed since given time'),24 305: ('Use Proxy',25 'You must use proxy specified in Location to access this'
26 'resource.'),27 307: ('Temporary Redirect',28 'Object moved temporarily -- see URI list'),29
30 400: ('Bad Request',31 'Bad request syntax or unsupported method'),32 401: ('Unauthorized',33 'No permission -- see authorization schemes'),34 402: ('Payment Required',35 'No payment -- see charging schemes'),36 403: ('Forbidden',37 'Request forbidden -- authorization will not help'),38 404: ('Not Found', 'Nothing matches the given URI'),39 405: ('Method Not Allowed',40 'Specified method is invalid for this server.'),41 406: ('Not Acceptable', 'URI not available in preferred format.'),42 407: ('Proxy Authentication Required', 'You must authenticate with'
43 'this proxy before proceeding.'),44 408: ('Request Timeout', 'Request timed out; try again later.'),45 409: ('Conflict', 'Request conflict.'),46 410: ('Gone',47 'URI no longer exists and has been permanently removed.'),48 411: ('Length Required', 'Client must specify Content-Length.'),49 412: ('Precondition Failed', 'Precondition in headers is false.'),50 413: ('Request Entity Too Large', 'Entity is too large.'),51 414: ('Request-URI Too Long', 'URI is too long.'),52 415: ('Unsupported Media Type', 'Entity body in unsupported format.'),53 416: ('Requested Range Not Satisfiable',54 'Cannot satisfy request range.'),55 417: ('Expectation Failed',56 'Expect condition could not be satisfied.'),57
58 500: ('Internal Server Error', 'Server got itself in trouble'),59 501: ('Not Implemented',60 'Server does not support this operation'),61 502: ('Bad Gateway', 'Invalid responses from another server/proxy.'),62 503: ('Service Unavailable',63 'The server cannot process the request due to a high load'),64 504: ('Gateway Timeout',65 'The gateway server did not receive a timely response'),66 505: ('HTTP Version Not Supported', 'Cannot fulfill request.'),67 }