天天看點

Python網絡爬蟲與資訊提取【Requests庫的安裝與用法】

1.Requests庫的安裝

Win平台:"windows+R"輸入cmd,在指令行中輸入

pip install requests

安裝完成後可以通過

import requests

進行檢測,不報錯,證明安裝成功

2.Requests庫的7個主要方法

方法 說明
requests.request() 構造一個請求,支撐以下各方法的基礎方法
requests.get() 擷取HTML網頁的主要方法,對應于HTTP的GET
requests.head() 擷取HTML網頁頭資訊的方法,對應于HTTP的HEAD
requests.post() 向HTML網頁送出POST請求的方法,對應于HTTP的POST
requests.put() 向HTML網頁送出PUT請求的方法,對應于HTTP的PUT
requests.patch() 向HTML網頁送出局部修改請求,對應于HTTP的PATCH
requests.delete() 向HTML頁面送出删除請求,對應于HTTP的DELETE

以get方法為例:

def get(url, params=None, **kwargs):
    r"""Sends a GET request.

    :param url: URL for the new :class:`Request` object.
    :param params: (optional) Dictionary, list of tuples or bytes to send
        in the body of the :class:`Request`.
    :param \*\*kwargs: Optional arguments that ``request`` takes.
    :return: :class:`Response <Response>` object
    :rtype: requests.Response
    """

    kwargs.setdefault('allow_redirects', True)
    return request('get', url, params=params, **kwargs)
           

參考get方法的文檔可以看出get方法使用了request方法進行封裝,也就是說request庫一共提供7常用方法,除了第一個request方法外,其它的6個方法都是通過調用request方法實作的。其實也可以這樣認為requests庫其實隻有一個方法,就是request方法,但是為了讓大家編寫程式更友善,提供了額外6個方法。

              r = requests.get ( url , params=None , **kwargs )

              url:拟擷取頁面的url連結

              params:url中的額外參數,字典或位元組流格式,可選

              **kwargs:12個控制通路的參數

3.Requests庫的2個重要對象

在requests庫中,有兩個重要的對象

同樣我們以get方法為例:

# response對象包含伺服器傳回的所有資訊,也包含請求的request資訊
import requests
r = requests.get("http://www.baidu.com")
print(r.status_code)
print(type(r))
# 200
# <class 'requests.models.Response'>
           
Python網絡爬蟲與資訊提取【Requests庫的安裝與用法】

Response對象的屬性

屬性 說明
r.status_code HTTP請求的傳回狀态, 200表示連接配接成功, 404表示失敗
r.text HTTP響應内容的字元串形式,即, url對應的頁面内容
r.encoding 從HTTP header中猜測的響應内容編碼方式
r.apparent_encoding 從内容中分析出的響應内容編碼方式(備選編碼方式)
r.content HTTP響應内容的二進制形式
Python網絡爬蟲與資訊提取【Requests庫的安裝與用法】

了解Response的編碼:

—r.encoding:編碼方式是從http的heder中的charset字段獲得的,如果header中不存在charset,則預設認為編碼為ISO-8859-1,這樣的編碼不能解析中文。

—r.apparent_encoding:根據http的内容部分,而不是頭部分,去分析内容中出現文本可能的編碼形式。即根據網頁内容分析出的編碼方式。

<!--HTML5網頁代碼基本架構-->
<!doctype html>
<html>
	<head>
		<meta charset="utf-8">
	<title>無标題文檔</title>
	</head>
	<body>
		<!--網頁主體-->
	</body>
</html>
           

為什麼将r.apparent_encoding解析出來的編碼方式賦給r.encoding後,網頁中的中文就可以分析出來,難道r.text是以r.encoding的方式進行編碼的嗎?為什麼頭部分析出來的編碼方式會與内容解析出來的不同?

了解Requests庫的異常

異常 說明

requests.ConnectionError 網絡連接配接錯誤異常,如DNS查詢失敗、拒絕連接配接等

requests.HTTPError HTTP錯誤異常

requests.URLRequired URL缺失異常

requests.TooManyRedirects 超過最大重定向次數, 産生重定向異常

requests.ConnectTimeout 連接配接遠端伺服器逾時異常

requests.Timeout 請求URL逾時,産生逾時異常

r.raise_for_status():在方法内部判斷r.status_code是否等于200,不需要增加額外的if語句,該語句便于利用try-except進行異常處理,如果狀态碼不是200,産生異常requests.HTTPError。

import requests
def getHTMLText(url):
    try:
        r = requests.get(url)
        r.raise_for_status()
        r.encoding = r.apparent_encoding
        return r.text
    except:
        # print(r.status_code)
        return "産生異常!"
if __name__=="__main__":
    url = "http://www.baidu.com"
    print(getHTMLText(url))
           

HTTP協定及Requests庫方法

HTTP,HyperText Transfer Protocol,超文本傳輸協定。是一個基于“請求與響應”模式的、無狀态的應用層協定。無狀态指的是第一次請求與第二次請求之間并沒有相關的關聯。

HTTP協定采用URL作為定位網絡資源的辨別,URL格式如下:

http://host[:port][path]

host:合法的Internet主機域名或IP位址

port:端口号,預設端口為80

path:請求資源的路徑

HTTP執行個體: http://www.bit.edu.cn

http://220,181,111,188/duty

URL是通過HTTP協定存取資源的Internet路徑,它就像我們電腦裡邊的一個檔案的路徑一樣,隻不過這個檔案不在電腦裡,在internet上,那每一個URL,對應了internet上的一個資料資源。

HTTP協定對資源的操作

方法 說明

GET 請求擷取URL位置的資源

HEAD 請求擷取URL位置資源的響應消息報告,即獲得該資源的頭部資訊

POST 請求向URL位置的資源後附加新的資料

PUT 請求向URL位置存儲一個資源,覆寫原URL位置的資源

PATCH 請求局部更新URL位置的資源,即改變該處資源的部分内容

DELETE 請求删除URL位置存儲的資源

了解PATCH和PUT的差別

假設URL位置有一組資料UserInfo,包括UserID、UserName等20個字段

需求:使用者修改了UserName,其他不變。

⿻采用PATCH,僅向URL送出UserName的局部更新請求。

⿻采用PUT,必須将所有20個字段一并送出到URL,未送出字段被删除。

PATCH的最主要好處:節省網絡帶寬(當URL對應的資源是很龐大資源的時候)

HTTP協定與Requests庫

HTTP協定方法 Requests庫方法 功能一緻性

GET requests. get( ) 一緻

HEAD requests . head( ) 一緻

POST requests . post( ) 一緻

PUT requests . put( ) 一緻

PATCH requests . patch( ) 一緻

DELETE requests . delete( ) 一緻

繼續閱讀