
先在爬蟲都在推薦用Requests庫,而不是Urllib,但是讀取網頁的時候中文會出現亂碼。
分析:
r = requests.get(“http://www.baidu.com“)
**r.text傳回的是Unicode型的資料。
使用r.content傳回的是bytes型的資料。
也就是說,如果你想取文本,可以通過r.text。
如果想取圖檔,檔案,則可以通過r.content。**
擷取一個網頁的内容
方法1:使用r.content,得到的是bytes型,再轉為strurl='http://music.baidu.com'
r = requests.get(url)
html=r.content
html_doc=str(html,'utf-8') #html_doc=html.decode("utf-8","ignore")
print(html_doc)
方法2:使用r.text
Requests 會自動解碼來自伺服器的内容。大多數 unicode 字元集都能被無縫地解碼。請求發出後,Requests 會基于 HTTP 頭部對響應的編碼作出有根據的推測。當你通路 r.text 之時,Requests 會使用其推測的文本編碼。你可以找出 Requests 使用了什麼編碼,并且能夠使用 r.encoding 屬性來改變它.
但是Requests庫的自身編碼為: r.encoding = ‘ISO-8859-1’
可以 r.encoding 修改編碼url='http://music.baidu.com'
r=requests.get(url)
r.encoding='utf-8'
print(r.text)