背景:
擷取需要登入的頁面,可在登陸後将擷取到的cookie添加到請求的腳本中。
方法:
import requests
url="http://webserver/admin"
cookies = dict(cookies_are='cookie内容')
##cookie内容可在登陸頁面後,通過浏覽器工具()擷取。
response = requests.get(url, cookies=cookies)
print response.content.decode("utf-8")
這樣就可以擷取登陸後的網頁源代碼。
如果要模拟的更真實點,加上user agent會更好些。
my_headers = {'User-Agent' : 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/45.0.2526.80 Safari/537.36 Core/1.45.933.400 QQBrowser/9.0.8699.400', 'Accept-Encoding' : 'gzip, deflate, sdch'}
response = requests.get(url, cookies=cookies,headers=my_headers)
print response.content.decode("utf-8")
隻要不被專門盯上,一般應該會被伺服器當做正常通路來對待的。