随着網際網路的發展，越來越多的公司需要爬取各種資料來分析出自己公司業務的發展方向。而目前許多目标網站也有各種各樣的措施來反爬蟲，越是資料價值高的網站反爬做得也就越複雜。給大家列舉了幾個常見的反爬措施以及解決方案。
1、通過user-agent字段來反爬
最常見的反爬政策就是檢測使用者的請求頭。這個是比較容易實作的反爬，反爬起來也是比較容易的，解決方法就是僞裝header，隻要合理添加請求頭就可以正常通路目标網站擷取資料。
2、利用代理ip反爬
目前一般網站都會檢測某個ip在機關時間内的請求次數，如果機關次數超過了這個門檻值就會停止其請求通路。是以一般在爬取的時候我們都會用到代理ip來模拟真實使用者使用不同的ip來通路目标網站。
我們通過代理的原理就能夠很好地進行了解。
ip代理池架構
3、通過cookies反爬
cookies也是一個比較常見的反爬手段之一，可以把它和登入放在一起。這裡需要注意的是，有些不需要登入的網站也會通過cookies來過濾一些沒有經過僞裝的爬蟲。解決方案就是進行模拟登陸，成功擷取cookies之後再進行資料爬取。
cookie代理池子產品一般架構
同上
4、通過驗證碼反爬
驗證碼也是一種比較常見的反爬方式，有的目标網站伺服器在同一ip位址通路到一定數量之後，可以傳回驗證碼讓使用者進行驗證。我們常見的驗證碼形式也是非常多的，比如數字驗證碼、字母驗證碼、字元圖形驗證碼。簡單的驗證碼我們可以通過打碼平台進行。複雜的話我們可以嘗試模拟使用者的行為繞過去，但是通常比較繁瑣難度可能會比較大。
5、動态頁面的反爬
有部分目标網站，我們爬取的資料是通過ajax請求得到的，或者Java生成的。