爬蟲使用cookie模拟登入

使用cooklelib庫和Httpcookieprocessora模拟登入

Cookie是指網站伺服器為了辨識使用者身份和進行 Session跟蹤,而儲存在使用者浏覽器的文本檔案, Cookie可以保持登入資訊到使用者下次與伺服器的會話。

這裡以人人網為例。人人網中,要訪回某個人的首頁,必須先登入才能通路,登入說白了就是要有cookie資訊。那麼如果我們想要用

代碼的方式通路,就必須要有正确的cookie資訊才能通路。解決方案有兩種,第一種是使用浏覽器通路,然後将 cookie資訊複制下來,放到 headers中。示例代碼如下:

from urllib import request
headers =(
user-Aent':'Hozi11a15.e(indosNT1e.e;in64;x64)AppleMebKt/537.36(KHTHL,11keGecko)Chrome/62.8.3282.,94'；
'cookie':'anonymidsjacduz2x-8bldx; 'depovince':WG;_re1_=1;_g-6A1.2.1455063316.1511436360;1d=6A1,2.862627163.15
url='http://www.renren.com/880151247/profile'
req = request.Request(url, headers-headers)
resp = request.urlopen(req)
with open('renren. html',w)as fp:
  fp.write(resp.read().decode(utf-8"))
           

但是每次在訪回需要cookie的頁面都要從覽器中複制cookie比麻煩。在Phon處理Cookie,一般是通過http.cookiejar子產品

和urllib子產品的Httpcookieprocessor處理器類一起使用, http.cookieiar子產品主要作用是提供用于存儲cookie的對象。而Httpcookieprocessor處理器主要作用是處理這些cookie對象,并建構handler對象。

儲存cookie到本地儲存cookie到本地，可以使用cookiejar的save方法，并且需要制定一個檔案名：

from urllib import request
from http.cookiejar import MozillaCookieJar

cookiejar = MozillaCookieJar("cookie.txt")
handler = request.HTTPCookieProcessor(cookiejar)
opener = request.build_opener(handler)

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.110 Safari/537.36'
}

req = request.Request('http://httpbin.org/cookies',headers=headers)

resp = opener.open(req)
print(resp.read())
cookiejar.save(ignore_discard=True,ignore_expires=True)