爬蟲反反爬

1. 識别User-Agent：使用UA池切換

2. 封IP：使用代理池切換，可搭建VPS服務叢集、購買代理池服務

3. 存在驗證碼：使用OCR識别、機器學習、購買打碼平台服務

4. 請求重定向、設定trap導緻爬蟲執行死循環：加強監測

5. Cookie加密運算、js加密運算、動态加密、組合疊加請求上下文、代碼混淆：使用selenuim模拟浏覽器