天天看點

python request.get亂碼_python的request中文亂碼怎麼辦

python request.get亂碼_python的request中文亂碼怎麼辦

先在爬蟲都在推薦用Requests庫,而不是Urllib,但是讀取網頁的時候中文會出現亂碼。

分析:

r = requests.get(“http://www.baidu.com“)

**r.text傳回的是Unicode型的資料。

使用r.content傳回的是bytes型的資料。

也就是說,如果你想取文本,可以通過r.text。

如果想取圖檔,檔案,則可以通過r.content。**

擷取一個網頁的内容

方法1:使用r.content,得到的是bytes型,再轉為strurl='http://music.baidu.com'

r = requests.get(url)

html=r.content

html_doc=str(html,'utf-8') #html_doc=html.decode("utf-8","ignore")

print(html_doc)

方法2:使用r.text

Requests 會自動解碼來自伺服器的内容。大多數 unicode 字元集都能被無縫地解碼。請求發出後,Requests 會基于 HTTP 頭部對響應的編碼作出有根據的推測。當你通路 r.text 之時,Requests 會使用其推測的文本編碼。你可以找出 Requests 使用了什麼編碼,并且能夠使用 r.encoding 屬性來改變它.

但是Requests庫的自身編碼為: r.encoding = ‘ISO-8859-1’

可以 r.encoding 修改編碼url='http://music.baidu.com'

r=requests.get(url)

r.encoding='utf-8'

print(r.text)