【Python爬蟲】基本原理和架構

開發者工具介紹

參考：https://blog.csdn.net/m0_37724356/article/details/79884006

右擊網頁-檢查，或者F12，打開網頁開發者工具

get方式将請求的參數包含在url裡面，post方式則在url中隐藏資訊，而在"Form data"中

相當于請求的配置資訊，User_agent用于判斷是否合法

響應體就是我們想擷取的内容

擷取響應内容：

1、抓取網頁文本

#抓取網頁文本
import requests
headers={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36'}#請求頭
url='http://www.zhihu.com'#請求url
response=requests.get(url,headers=headers)#獲得響應
print(response.status_code)#擷取響應狀态
print(response.headers)#擷取響應頭
print(response.text)#擷取響應體

           

2、抓取二進制檔案

#抓取圖檔、視訊的二進制檔案
import requests
headers={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36'}#請求頭
url='https://ss0.bdstatic.com/5aV1bjqh_Q23odCf/static/newmusic/img/default_8a5b42b2.png'#請求url
response=requests.get(url,headers=headers)#獲得響應
#将響應體儲存
with open('extract_test.gif','wb') as f:#wb模式：二進制模式的寫入,直接存入到指定格式即可
    f.write(response.content)
           

用selenium的webdriver解決javascript渲染問題：

from selenium import webdriver
driver=webdriver.Chrome()#控制浏覽器
driver.get('http://www.zhihu.com')#加載網頁
print(driver.page_source)#列印網頁已經渲染好的資訊