Python爬蟲開源項目代碼（爬取微信、淘寶、豆瓣、知乎、新浪微網誌、QQ、去哪網 等等）

文章目錄

• ​​1、簡介​​
• ​​2、開源項目Github​​

• ​​2.1、WechatSogou [1]– 微信公衆号爬蟲​​
• ​​2.2、DouBanSpider [2]– 豆瓣讀書爬蟲​​
• ​​2.3、zhihu_spider [3]– 知乎爬蟲​​
• ​​2.4、bilibili-user [4]– Bilibili使用者爬蟲​​
• ​​2.5、SinaSpider [5]– 新浪微網誌爬蟲​​
• ​​2.6、distribute_crawler [6]– 小說下載下傳分布式爬蟲​​
• ​​2.7、CnkiSpider [7]– 中國知網爬蟲​​
• ​​2.8、LianJiaSpider [8]– 鍊家網爬蟲​​
• ​​2.9、scrapy_jingdong [9]– 京東爬蟲​​
• ​​2.10、QQ-Groups-Spider [10]– QQ 群爬蟲​​
• ​​2.11、wooyun_public[11]-烏雲爬蟲​​
• ​​2.12、spider[12]– hao123網站爬蟲​​
• ​​2.13、findtrip [13]– 機票爬蟲（去哪兒和攜程網）​​
• ​​2.14、163spider [14] – 基于requests、MySQLdb、torndb的網易用戶端内容爬蟲​​
• ​​2.15、doubanspiders[15]– 豆瓣電影、書籍、小組、相冊、東西等爬蟲集​​
• ​​2.16、QQSpider [16]– QQ空間爬蟲，包括日志、說說、個人資訊等，一天可抓取 400 萬條資料​​
• ​​2.17、baidu-music-spider [17]– 百度mp3全站爬蟲，使用redis支援斷點續傳​​
• ​​2.18、tbcrawler[18]– 淘寶和天貓的爬蟲,可以根據搜尋關鍵詞,物品id來抓去頁面的資訊，資料存儲在mongodb​​
• ​​2.19、stockholm [19]– 一個股票資料（滬深）爬蟲和選股政策測試架構。根據標明的日期範圍抓取所有滬深兩市股票的行情資料。支援使用表達式定義選股政策。支援多線程處理。儲存資料到JSON檔案、CSV檔案​​
• ​​2.20BaiduyunSpider[20]-百度雲盤爬蟲​​
• ​​2.21、Spider[21]-社交資料爬蟲。支援微網誌,知乎,豆瓣​​
• ​​2.22、proxy pool[22]-Python爬蟲代理IP池(proxy pool)​​
• ​​2.23、music-163[23]-爬取網易雲音樂所有歌曲的評論​​
• ​​2.24、jandan_spider[24]-爬取煎蛋妹紙圖檔​​
• ​​2.25、CnblogsSpider[25]-cnblogs清單頁爬蟲​​
• ​​2.26、spider_smooc[26]-爬取慕課網視訊​​
• ​​2.27、CnkiSpider[27]-中國知網爬蟲​​
• ​​2.28、knowsecSpider2[28]-知道創宇爬蟲題目​​
• ​​2.29、aiss-spider[29]-愛絲APP圖檔爬蟲​​
• ​​2.30、SinaSpider[30]-動态IP解決新浪的反爬蟲機制，快速抓取内容​​
• ​​2.31、csdn-spider[31]-爬取CSDN上的部落格文章​​
• ​​2.32、ProxySpider[32]-爬取西刺上的代理IP，并驗證代理可用性​​

1、簡介

今天為大家整理了32個Python爬蟲項目。

整理的原因是，爬蟲入門簡單快速，也非常适合新入門的小夥伴培養信心。所有連結指向GitHub，祝大家玩的愉快~

2、開源項目Github

2.1、WechatSogou [1]– 微信公衆号爬蟲

基于搜狗微信搜尋的微信公衆号爬蟲接口，可以擴充成基于搜狗搜尋的爬蟲，傳回結果是清單，每一項均是公衆号具體資訊字典。

github位址：https://github.com/Chyroc/WechatSogou

2.2、DouBanSpider [2]– 豆瓣讀書爬蟲

可以爬下豆瓣讀書标簽下的所有圖書，按評分排名依次存儲，存儲到Excel中，可友善大家篩選搜羅，比如篩選評價人數>1000的高分書籍；可依據不同的主題存儲到Excel不同的Sheet ，采用User Agent僞裝為浏覽器進行爬取，并加入随機延時來更好的模仿浏覽器行為，避免爬蟲被封。

github位址：https://github.com/lanbing510/DouBanSpider

2.3、zhihu_spider [3]– 知乎爬蟲

此項目的功能是爬取知乎使用者資訊以及人際拓撲關系，爬蟲架構使用scrapy，資料存儲使用mongo

github位址：https://github.com/LiuRoy/zhihu_spider

2.4、bilibili-user [4]– Bilibili使用者爬蟲

總資料數：20119918，抓取字段：使用者id，昵稱，性别，頭像，等級，經驗值，粉絲數，生日，位址，注冊時間，簽名，等級與經驗值等。抓取之後生成B站使用者資料報告。

github位址：https://github.com/airingursb/bilibili-user

2.5、SinaSpider [5]– 新浪微網誌爬蟲

主要爬取新浪微網誌使用者的個人資訊、微網誌資訊、粉絲和關注。代碼擷取新浪微網誌Cookie進行登入，可通過多賬号登入來防止新浪的反扒。主要使用 scrapy 爬蟲架構。

github位址：https://github.com/LiuXingMing/SinaSpider

2.6、distribute_crawler [6]– 小說下載下傳分布式爬蟲

使用scrapy,Redis, MongoDB,graphite實作的一個分布式網絡爬蟲,底層存儲MongoDB叢集,分布式使用Redis實作,爬蟲狀态顯示使用graphite實作，主要針對一個小說站點。

github位址：https://github.com/gnemoug/distribute_crawler

2.7、CnkiSpider [7]– 中國知網爬蟲

設定檢索條件後，執行src/CnkiSpider.py抓取資料，抓取資料存儲在/data目錄下，每個資料檔案的第一行為字段名稱。

github位址：https://github.com/yanzhou/CnkiSpider

2.8、LianJiaSpider [8]– 鍊家網爬蟲

爬取北京地區鍊家曆年二手房成交記錄。涵蓋鍊家爬蟲一文的全部代碼，包括鍊家模拟登入代碼。

github位址：https://github.com/lanbing510/LianJiaSpider

2.9、scrapy_jingdong [9]– 京東爬蟲

基于scrapy的京東網站爬蟲，儲存格式為csv。

github位址：https://github.com/taizilongxu/scrapy_jingdong

2.10、QQ-Groups-Spider [10]– QQ 群爬蟲

批量抓取 QQ 群資訊，包括群名稱、群号、群人數、群主、群簡介等内容，最終生成 XLS(X) / CSV 結果檔案。

github位址：https://github.com/caspartse/QQ-Groups-Spider

2.11、wooyun_public[11]-烏雲爬蟲

烏雲公開漏洞、知識庫爬蟲和搜尋。全部公開漏洞的清單和每個漏洞的文本内容存在MongoDB中，大概約2G内容；如果整站爬全部文本和圖檔作為離線查詢，大概需要10G空間、2小時（10M電信帶寬）；爬取全部知識庫，總共約500M空間。漏洞搜尋使用了Flask作為web server，bootstrap作為前端。

​​https://github.com/hanc00l/wooyun_public​​

2.12、spider[12]– hao123網站爬蟲

以hao123為入口頁面，滾動爬取外鍊，收集網址，并記錄網址上的内鍊和外鍊數目，記錄title等資訊，windows7 32位上測試，目前每24個小時，可收集資料為10萬左右

​​https://github.com/simapple/spider​​

2.13、findtrip [13]– 機票爬蟲（去哪兒和攜程網）

Findtrip是一個基于Scrapy的機票爬蟲，目前整合了國内兩大機票網站（去哪兒 + 攜程）。

​​https://github.com/fankcoder/findtrip​​

2.14、163spider [14] – 基于requests、MySQLdb、torndb的網易用戶端内容爬蟲

​​https://github.com/leyle/163spider​​

2.15、doubanspiders[15]– 豆瓣電影、書籍、小組、相冊、東西等爬蟲集

​​https://github.com/fanpei91/doubanspiders​​

2.16、QQSpider [16]– QQ空間爬蟲，包括日志、說說、個人資訊等，一天可抓取 400 萬條資料

​​https://github.com/LiuXingMing/QQSpider​​

2.17、baidu-music-spider [17]– 百度mp3全站爬蟲，使用redis支援斷點續傳

​​https://github.com/Shu-Ji/baidu-music-spider​​

2.18、tbcrawler[18]– 淘寶和天貓的爬蟲,可以根據搜尋關鍵詞,物品id來抓去頁面的資訊，資料存儲在mongodb

​​https://github.com/pakoo/tbcrawler​​

2.19、stockholm [19]– 一個股票資料（滬深）爬蟲和選股政策測試架構。根據標明的日期範圍抓取所有滬深兩市股票的行情資料。支援使用表達式定義選股政策。支援多線程處理。儲存資料到JSON檔案、CSV檔案

​​https://github.com/benitoro/stockholm​​

2.20BaiduyunSpider[20]-百度雲盤爬蟲

​​https://github.com/k1995/BaiduyunSpider​​

2.21、Spider[21]-社交資料爬蟲。支援微網誌,知乎,豆瓣

​​https://github.com/Qutan/Spider​​

2.22、proxy pool[22]-Python爬蟲代理IP池(proxy pool)

​​https://github.com/jhao104/proxy_pool​​

2.23、music-163[23]-爬取網易雲音樂所有歌曲的評論

​​https://github.com/RitterHou/music-163​​

2.24、jandan_spider[24]-爬取煎蛋妹紙圖檔

使用selenium爬取煎蛋妹紙圖檔(Python3)

​​https://github.com/Tony-Chiong/jandan_spider​​

​​https://github.com/jackgitgz/CnblogsSpider​​

2.26、spider_smooc[26]-爬取慕課網視訊

​​https://github.com/qiyeboy/spider_smooc​​

2.27、CnkiSpider[27]-中國知網爬蟲

​​https://github.com/yanzhou/CnkiSpider​​

2.28、knowsecSpider2[28]-知道創宇爬蟲題目

​​https://github.com/littlethunder/knowsecSpider2​​

2.29、aiss-spider[29]-愛絲APP圖檔爬蟲

​​https://github.com/x-spiders/aiss-spider​​

2.30、SinaSpider[30]-動态IP解決新浪的反爬蟲機制，快速抓取内容

​​https://github.com/LiuXingMing/SinaSpider​​

2.32、ProxySpider[32]-爬取西刺上的代理IP，并驗證代理可用性