爬蟲遇到反爬，基本的幾個思路

經常遇到網站反爬的情況，一下是幾個基本的底層思路。

一：做好僞裝。請求頭、模拟浏覽器登陸等等。

二：請求頻率降低。time.sleep(1)，或者download.delay = 1  ,  對某些網站已經夠用了

三：上代理。效果最好的方式，隻是繁瑣了很多，甚至需要購買好用的代理。