天天看點

Python網絡爬蟲之requests庫Scrapy爬蟲比較

requests庫Scrapy爬蟲比較

相同點:

都可以進行頁面請求和爬取,Python爬蟲的兩個重要技術路線

兩者可用性都好,文檔豐富,入門簡單。

兩者都沒有處理JS,送出表單,應對驗證碼等功能(可擴充)

想爬取有驗證碼的,換需要學習别的庫知識。

不同點:

Python網絡爬蟲之requests庫Scrapy爬蟲比較

Scrapy,異步性。可以同時爬取很多。(但是有些網站,會有反爬取子產品。爬取的太快,反而不好!被發現會被屏蔽IP爬取請求)

Python網絡爬蟲之requests庫Scrapy爬蟲比較

非常小的爬取需求:requests庫