巧破 Cloudflare 5秒盾
相信下面這個界面大家都不會陌生。【圖1-1】
圖1-1
當我們第一次通路使用 CloudFlare 加速的網站時，網站就會出現讓我們等待 5 秒種的提示，當我們需要的通過爬蟲爬取這類網站的時候，應該如何爬取呢？
分析請求
首先我們需要分析在這個等待的時間裡浏覽器做了哪些操作。
通過抓包，我們可以看到在等待的過程中，浏覽器做了下面的三次請求【圖1-2】- 【圖1-4】：
【圖1-2】請求 1 寫入 cookie 字段
__cfduid
圖1-2
【圖1-3】請求 2 帶有疑似加密的請求參數請求并寫入 cookie 字段
cf_clearance
圖1-3
【圖1-4】請求 3 帶上前面寫入的
cookie
請求網站首頁，傳回首頁内容。
圖1-4
這整個過程需要的請求現在已經分析清楚了，接下來就是使用 Python 實作這個請求流程，不過是這樣的話就配不上這個标題了。
先說說這個按照正常流程是怎麼實作抓取繞過的：
- 使用浏覽器模拟技術請求目标網站，例如：Selenium、 PhantomJS等
- 破解請求 2 的加密參數使用請求庫模拟整個請求過程
這兩個方法當然是可以抓取的，但是都不符合标題的
巧
字。
接下來給大家介紹一個專門為了繞過這個 CloudFlare 開發的 Python 庫
cloudflare-scrape
用上它就可以無感爬取使用了 CloudFlare 的網站，使用這個庫非常簡單。
安裝
使用
pip install cfscrape
安裝
cloudflare-scrape
，同時确認本地是否安裝
node.js
開發環境，如果沒有，需要安裝配置
nodejs
開發環境。
使用執行個體
處理 get 請求的 CloudFlare
import cfscrape
# 執行個體化一個create_scraper對象
scraper = cfscrape.create_scraper()
# 請求報錯，可以加上時延
# scraper = cfscrape.create_scraper(delay = 10)
# 擷取網頁源代碼
web_data = scraper.get("https://wallhere.com/").content
print(web_data)
複制
處理 post 請求的 CloudFlare
# import cfscrape
# 執行個體化一個create_scraper對象
scraper = cfscrape.create_scraper()
# 擷取真實網頁源代碼
web_data = scraper.post("http://example.com").content
print(web_data)
複制
使用
cloudflare-scrape
後整個請求過程如絲般順滑。