Python爬蟲開源軟體工具

Python爬蟲  

（1）QuickRecon  

QuickRecon是一個簡單的資訊收集工具,它可以幫助你查找子域名名稱、perform zone transfe、收集電子郵件位址和使用microformats尋找人際關系等。

QuickRecon使用python編寫，支援linux和 windows作業系統。  

授權協定： GPLv3  

開發語言： Python  

作業系統： Windows Linux  

特點：具有查找子域名名稱、收集電子郵件位址并尋找人際關系等功能 

（2）PyRailgun  

這是一個非常簡單易用的抓取工具。支援抓取javascript渲染的頁面的簡單實用高效的python網頁爬蟲抓取子產品  

授權協定： MIT  

開發語言： Python  

作業系統： 跨平台 Windows Linux OS X  

特點：簡潔、輕量、高效的網頁抓取架構  

備注：此軟體也是由國人開放  

github下載下傳：princehaku/pyrailgun 

（3）Scrapy  

Scrapy 是一套基于基于Twisted的異步處理架構，純python實作的爬蟲架構，使用者隻需要定制開發幾個子產品就可以輕松的實作一個爬蟲，用來抓取網頁内容以及各種圖檔，非常之友善～  

授權協定： BSD  

開發語言： Python  

作業系統： 跨平台  

github源代碼：https://github.com/scrapy/scrapy  

特點：基于Twisted的異步處理架構，文檔齊全