爬虫反反爬

1. 识别User-Agent：使用UA池切换

2. 封IP：使用代理池切换，可搭建VPS服务集群、购买代理池服务

3. 存在验证码：使用OCR识别、机器学习、购买打码平台服务

4. 请求重定向、设置trap导致爬虫执行死循环：加强监测

5. Cookie加密运算、js加密运算、动态加密、组合叠加请求上下文、代码混淆：使用selenuim模拟浏览器