1.分分鐘扒一個網頁下來
怎樣扒網頁呢?其實就是根據URL來擷取它的網頁資訊,雖然我們在浏覽器中看到的是一幅幅優美的畫面,但是其實是由浏覽器解釋才呈現出來的,實質它 是一段HTML代碼,加 JS、CSS,如果把網頁比作一個人,那麼HTML便是他的骨架,JS便是他的肌肉,CSS便是它的衣服。是以最重要的部分是存在于HTML中的,下面我 們就寫個例子來扒一個網頁下來。
Python
1 2 3 4 | #設定代理IP #代理IP可以上http://zhimaruanjian.com/擷取 import urllib2 response = urllib2.urlopen("http://www.baidu.com") print response.read() |
是的你沒看錯,真正的程式就兩行,把它儲存成 demo.py,進入該檔案的目錄,執行如下指令檢視運作結果,感受一下。
Python
1 | python demo.py |
![](https://img.laitimes.com/img/9ZDMuAjOiMmIsIjOiQnIsIyZuBnLyIjN3gjN3ADOx0CO2YzMxMzMxETMzATM3EDMy0CNwkzNzITMvwFMxcTMwIzLcRDM5czMyEzLcd2bsJ2Lc12bj5ycn9Gbi52YucTMwIzcldWYtl2Lc9CX6MHc0RHaiojIsJye.png)
看,這個網頁的源碼已經被我們扒下來了,是不是很酸爽?
2.分析扒網頁的方法
那麼我們來分析這兩行代碼,第一行
Python
1 | response = urllib2.urlopen("http://zhimaruanjian.com/") |
首先我們調用的是urllib2庫裡面的urlopen方法,傳入一個URL,這個網址是百度首頁,協定是HTTP協定,當然你也可以把HTTP換做FTP,FILE,HTTPS 等等,隻是代表了一種通路控制協定,urlopen一般接受三個參數,它的參數如下:
Python
1 | urlopen(url, data, timeout) |
第一個參數url即為URL,第二個參數data是通路URL時要傳送的資料,第三個timeout是設定逾時時間。
第二三個參數是可以不傳送的,data預設為空None,timeout預設為 socket._GLOBAL_DEFAULT_TIMEOUT
第一個參數URL是必須要傳送的,在這個例子裡面我們傳送了百度的URL,執行urlopen方法之後,傳回一個response對象,傳回資訊便儲存在這裡面。
Python
1 | print response.read() |
response對象有一個read方法,可以傳回擷取到的網頁内容。
如果不加read直接列印會是什麼?答案如下:
Python
1 | <addinfourl at 139728495260376 whose fp = <socket._fileobject object at 0x7f1513fb3ad0>> |
直接列印出了該對象的描述,是以記得一定要加read方法,否則它不出來内容可就不怪我咯!
3.構造Requset
其實上面的urlopen參數可以傳入一個request請求,它其實就是一個Request類的執行個體,構造時需要傳入Url,Data等等的内容。比如上面的兩行代碼,我們可以這麼改寫
Python
1 2 3 4 5 | import urllib2 request = urllib2.Request("http://zhimaruanjian.com/") response = urllib2.urlopen(request) print response.read() |
運作結果是完全一樣的,隻不過中間多了一個request對象,推薦大家這麼寫,因為在建構請求時還需要加入好多内容,通過建構一個request,伺服器響應請求得到應答,這樣顯得邏輯上清晰明确。
4.POST和GET資料傳送
上面的程式示範了最基本的網頁抓取,不過,現在大多數網站都是動态網頁,需要你動态地傳遞參數給它,它做出對應的響應。是以,在通路時,我們需要傳遞資料給它。最常見的情況是什麼?對了,就是登入注冊的時候呀。
把資料使用者名和密碼傳送到一個URL,然後你得到伺服器處理之後的響應,這個該怎麼辦?下面讓我來為小夥伴們揭曉吧!
資料傳送分為POST和GET兩種方式,兩種方式有什麼差別呢?
最重要的差別是GET方式是直接以連結形式通路,連結中包含了所有的參數,當然如果包含了密碼的話是一種不安全的選擇,不過你可以直覺地看到自己送出了什麼内容。POST則不會在網址上顯示所有的參數,不過如果你想直接檢視送出了什麼就不太友善了,大家可以酌情選擇。
POST方式:
上面我們說了data參數是幹嘛的?對了,它就是用在這裡的,我們傳送的資料就是這個參數data,下面示範一下POST方式。
Python
1 2 3 4 5 6 7 8 9 | import urllib import urllib2 values = {"username":"[email protected]","password":"XXXX"} data = urllib.urlencode(values) url = "https://passport.csdn.net/account/login?from=http://my.csdn.net/my/mycsdn" request = urllib2.Request(url,data) response = urllib2.urlopen(request) print response.read() |
我們引入了urllib庫,現在我們模拟登陸CSDN,當然上述代碼可能登陸不進去,因為還要做一些設定頭部header的工作,或者還有一些參數 沒有設定全,還沒有提及到在此就不寫上去了,在此隻是說明登入的原理。我們需要定義一個字典,名字為values,參數我設定了username和 password,下面利用urllib的urlencode方法将字典編碼,命名為data,建構request時傳入兩個參數,url和data,運 行程式,即可實作登陸,傳回的便是登陸後呈現的頁面内容。當然你可以自己搭建一個伺服器來測試一下。
注意上面字典的定義方式還有一種,下面的寫法是等價的
Python
1 2 3 4 5 6 7 8 9 10 11 | import urllib import urllib2 values = {} values['username'] = "[email protected]" values['password'] = "XXXX" data = urllib.urlencode(values) url = "http://passport.csdn.net/account/login?from=http://my.csdn.net/my/mycsdn" request = urllib2.Request(url,data) response = urllib2.urlopen(request) print response.read() |
以上方法便實作了POST方式的傳送
GET方式:
至于GET方式我們可以直接把參數寫到網址上面,直接建構一個帶參數的URL出來即可。
Python
1 2 3 4 5 6 7 8 9 10 11 12 | import urllib import urllib2 values={} values['username'] = "[email protected]" values['password']="XXXX" data = urllib.urlencode(values) url = "http://passport.csdn.net/account/login" geturl = url + "?"+data request = urllib2.Request(geturl) response = urllib2.urlopen(request) print response.read() |
你可以print geturl,列印輸出一下url,發現其實就是原來的url加?然後加編碼後的參數
Python
1 | http://passport.csdn.net/account/login?username=1016903103%40qq.com&password=XXXX |
和我們平常GET通路方式一模一樣,這樣就實作了資料的GET方式傳送。
本節講解了一些基本使用,可以抓取到一些基本的網頁資訊,小夥伴們加油!
轉載于:https://www.cnblogs.com/zhimaHTTP/p/7760690.html