六大利器輕松搞定爬蟲

正所謂工欲善其事必先利其器，Python之是以被廣大程式員使用主要在于他有豐富的第三方包，是以不管是Web架構還是機器學習架構、抑或是爬蟲架構，讓人眼花缭亂，這樣給了程式員們更多的選擇，也是其他幾種程式設計語言無法企及的地方。今天本文将從六個方面教你如何輕松搞定爬蟲。

1、Requests

Requests是一個HTTP請求庫，完美展現了Python簡單、優雅、易勇的程式設計哲學，開發者經常拿它的源代碼作為參考，是不可多得的源代碼學習資料。

2、BeautifulSoup

如果說 Requests 是最好的 HTTP 請求庫，那麼 BeautifulSoup 就是最好的 HTML 解析庫，HTML 文檔傳回之後需要解析，我們可以用 BeautifulSoup 解析，它的API對程式員來說非常友好、用起來簡單，API非常人性化，支援css選擇器，有人說它的速度慢，在資料量并不是特别的情況下，其實沒人care，人力成本可以機器成本高多了。

3、Fiddler

Fiddler 本質上不是爬資料的，而是一個爬蟲輔助工具，在分析爬蟲的請求時，有時候僅僅依靠浏覽器來跟蹤請求力量太顯單薄了，特别是針對移動裝置的爬蟲束手無策，Fiddler 簡直就是移動裝置上爬蟲的克星，手機上如何HTTP請求都可以被Fiddler監控，有了它，再也不要擔心爬不到手機上的資料了。

4、Selenium

當你無法通過Requests擷取資料時，換一種方案用Selenium，Selenium 是什麼？本身是自動化測試工具。如果你在浏覽器裡面安裝一個 Selenium 的插件，那麼便可以友善地實作Web界面的測試，當然也可以用于爬蟲。比如自動打開百度：

5、Tesseract