Python2.7爬蟲入門之Urllib庫的基本使用

我們在浏覽器中看到的是一幅幅優美的畫面，但是其實是由浏覽器解釋才呈現出來的，實質它是一段HTML代碼，加 JS、CSS，如果把網頁比作一個人，那麼HTML便是他的骨架，JS便是他的肌肉，CSS便是它的衣服。是以最重要的部分是存在于HTML中的，下面我們就寫個例子來扒一個網頁下來。

1.扒一個網頁下來

import urllib2

response = urllib2.urlopen("http://www.baidu.com")
print response.read()
           

運作：

2、分析扒網頁的方法

response = urllib2.urlopen("http://www.baidu.com")
           

首先我們調用的是urllib2庫裡面的urlopen方法，傳入一個url，這個網址就是百度的首頁，協定是http協定，當然你也可以把HTTP換做FTP,FILE,HTTPS 等等，隻是代表了一種通路控制協定，urlopen一般接受三個參數，它的參數如下:

urlopen(url, data, timeout)
           

第一個參數url即為URL，第二個參數data是通路URL時要傳送的資料，第三個timeout是設定逾時時間。

第二三個參數是可以不傳送的，data預設為空None，timeout預設為 socket._GLOBAL_DEFAULT_TIMEOUT

第一個參數URL是必須要傳送的，在這個例子裡面我們傳送了百度的URL，執行urlopen方法之後，傳回一個response對象，傳回資訊便儲存在這裡面。

print response.read()
           

response對象有一個read方法，可以傳回擷取到的網頁内容。

如果不加read直接列印會是什麼？答案如下：

<addinfourl at  whose fp = <socket._fileobject object at >>
           

3.構造Request

其實上面的urlopen參數可以傳入一個request請求,它其實就是一個Request類的執行個體，構造時需要傳入Url,Data等等的内容。比如上面的兩行代碼，我們可以這麼改寫

import urllib2

request = urllib2.Request("http://www.baidu.com")
response = urllib2.urlopen(request)
print response.read()
           

運作結果是完全一樣的，隻不過中間多了一個request對象，推薦大家這麼寫，因為在建構請求時還需要加入好多内容，通過建構一個request，伺服器響應請求得到應答，這樣顯得邏輯上清晰明确。

4.POST和GET資料傳送

上面的程式示範了最基本的網頁抓取，不過，現在大多數網站都是動态網頁，需要你動态地傳遞參數給它，它做出對應的響應。是以，在通路時，我們需要傳遞資料給它。最常見的情況是什麼？對了，就是登入注冊的時候呀。

把資料使用者名和密碼傳送到一個URL，然後你得到伺服器處理之後的響應，這個該怎麼辦？下面讓我來為小夥伴們揭曉吧！

資料傳送分為POST和GET兩種方式，兩種方式有什麼差別呢？

最重要的差別是GET方式是直接以連結形式通路，連結中包含了所有的參數，當然如果包含了密碼的話是一種不安全的選擇，不過你可以直覺地看到自己送出了什麼内容。POST則不會在網址上顯示所有的參數，不過如果你想直接檢視送出了什麼就不太友善了，大家可以酌情選擇。

POST方式：

上面我們說了data參數是幹嘛的？對了，它就是用在這裡的，我們傳送的資料就是這個參數data，下面示範一下POST方式。

# coding=utf-8
import urllib
import urllib2

value = {"username":"[email protected]","password":"psw123"}
data = urllib.urlencode(value)
url = "https://passport.csdn.net/account/login"
request = urllib2.Request(url,data)
response =  urllib2.urlopen(request)
print response.read()
           

我們引入了urllib庫，現在我們模拟登陸CSDN，當然上述代碼可能登陸不進去，因為CSDN還有個流水号的字段，沒有設定全，比較複雜在這裡就不寫上去了，在此隻是說明登入的原理。一般的登入網站一般是這種寫法。

我們需要定義一個字典，名字為values，參數我設定了username和password，下面利用urllib的urlencode方法将字典編碼，命名為data，建構request時傳入兩個參數，url和data，運作程式，傳回的便是POST後呈現的頁面内容。

注意上面字典的定義方式還有一種，下面的寫法是等價的

import urllib
import urllib2

values = {}
values['username'] = "[email protected]"
values['password'] = "XXXX"
data = urllib.urlencode(values) 
url = "http://passport.csdn.net/account/login?from=http://my.csdn.net/my/mycsdn"
request = urllib2.Request(url,data)
response = urllib2.urlopen(request)
print response.read()
           

GET方式：

至于GET方式我們可以直接把參數寫到網址上面，直接建構一個帶參數的URL出來即可。

import urllib
import urllib2

values={}
values['username'] = "[email protected]"
values['password']="XXXX"
data = urllib.urlencode(values) 
url = "http://passport.csdn.net/account/login"
geturl = url + "?"+data
request = urllib2.Request(geturl)
response = urllib2.urlopen(request)
print response.read()