scrapy模拟登陆两种方式:
- 直接携带cookie
- 找到发送post请求的url地址,带上信息,发送请求
直接携带cookie
注意点:
cookie能够在不同的解析函数中传递,只需在start_requests中指定了cookies,后续cookie就会自带传递。
这是因为在setting中已经默认开启了,False被注释掉了:#COOKIES_ENABLED = False
可以在setting中添加:COOKIES_DEBUG = True查看cookie的传递过程
Post请求
通过FormRequest提交完整表单数据或者通过FormRequest.from_response找到form表单提交账号密码获取登录后页面
注意:除了通过FormRequest,还可通过以下方式发送请求
formdata = ''#表单数据
yield scrapy.Request(url,method="POST",body = formdata)