天天看点

Scrapy 学习篇(七)--模拟登录

scrapy模拟登陆两种方式:

  1. 直接携带cookie
  2. 找到发送post请求的url地址,带上信息,发送请求

直接携带cookie 

Scrapy 学习篇(七)--模拟登录

注意点:

cookie能够在不同的解析函数中传递,只需在start_requests中指定了cookies,后续cookie就会自带传递。

这是因为在setting中已经默认开启了,False被注释掉了:#COOKIES_ENABLED = False

可以在setting中添加:COOKIES_DEBUG = True查看cookie的传递过程

Post请求

通过FormRequest提交完整表单数据或者通过FormRequest.from_response找到form表单提交账号密码获取登录后页面

Scrapy 学习篇(七)--模拟登录
Scrapy 学习篇(七)--模拟登录

注意:除了通过FormRequest,还可通过以下方式发送请求

formdata = ''#表单数据
yield scrapy.Request(url,method="POST",body = formdata)
           

继续阅读