requests庫Scrapy爬蟲比較
相同點:
都可以進行頁面請求和爬取,Python爬蟲的兩個重要技術路線
兩者可用性都好,文檔豐富,入門簡單。
兩者都沒有處理JS,送出表單,應對驗證碼等功能(可擴充)
想爬取有驗證碼的,換需要學習别的庫知識。
不同點:
![](https://img.laitimes.com/img/_0nNw4CM6IyYiwiM6ICdiwiI0gTMx81dsQWZ4lmZf1GLlpXazVmcvwFciV2dsQXYtJ3bm9CX9s2RkBnVHFmb1clWvB3MaVnRtp1XlBXe0xCMy81dvRWYoNHLwEzX5xCMx8FesU2cfdGLwMzX0xiRGZkRGZ0Xy9GbvNGLpZTY1EmMZVDUSFTU4VFRR9Fd4VGdsYTMfVmepNHLrJXYtJXZ0F2dvwVZnFWbp1zczV2YvJHctM3cv1Ce-cmbw5CMzMTM1QjYlVTMwEjNxQzYyYzXyMDN0gTM1AzLcdDMyIDMy8CXn9Gbi9CXzV2Zh1WavwVbvNmLvR3YxUjLyM3Lc9CX6MHc0RHaiojIsJye.png)
Scrapy,異步性。可以同時爬取很多。(但是有些網站,會有反爬取子產品。爬取的太快,反而不好!被發現會被屏蔽IP爬取請求)
非常小的爬取需求:requests庫
requests庫Scrapy爬蟲比較
相同點:
都可以進行頁面請求和爬取,Python爬蟲的兩個重要技術路線
兩者可用性都好,文檔豐富,入門簡單。
兩者都沒有處理JS,送出表單,應對驗證碼等功能(可擴充)
想爬取有驗證碼的,換需要學習别的庫知識。
不同點:
Scrapy,異步性。可以同時爬取很多。(但是有些網站,會有反爬取子產品。爬取的太快,反而不好!被發現會被屏蔽IP爬取請求)
非常小的爬取需求:requests庫