01 反爬虫简介
网络爬虫的目的和手段
1. 通过User-Agent校验反爬
- 浏览器在发送请求的时候，会附带一部分浏览器及当前系统环境的参数给服务器，服务器会通过User-Agent的值来区分不同的浏览器。
学习笔记 | python网络爬虫 反爬虫简介
2. 通过访问频率反爬
3. 通过验证码校验反爬
- 有部分网站不论访问频率如何，一定要来访者输入验证码才能继续操作。
- 例如，12306网站，不管是登陆还是购票，全部需要验证验证码，与访问频率无关。
4. 通过变换网页结果反爬
5. 通过账号权限反爬
爬取策略制定