天天看點

程式員的選房神技,GitHub上的房源爬蟲

買房,在中國是任何一個年輕人都繞不開都話題。特别是在當下限購搖号等多重政策打壓的情況,要選到一個自己心儀的房子可謂難度不小。

而且,伴随着房價上漲的還有房租。買不起房的,想要租個合适的小窩也不容易啊!

正在看房路上的我,隻能用下圖表達此時心情!

萬萬沒想到的是,在選房這個難題上,程式員小哥哥卻自有神技。利用爬蟲技術輕松擷取所有房源,搭配資料分析輕松就搞定了自己的小窩。

此時的你,是不是流下了“不懂技術”的眼淚。不哭不哭站起來撸,來看看 Github 上的房源爬蟲,直接拿來就用豈不更妙!

1.自如實時房源提醒

房源監控腳本,自動檢測符合條件的高成本效益房源,1個小時更新一次。一旦出現符合條件的房源就列印出來。代碼量不大,卻十分好用。

項目位址:facert/ziroom_realtime_spider

2.鍊家二手房租房線上資料

一個鍊家網全國房源爬蟲工具,輕松擷取存量房交易資料以及現存房源。還搭配了資料分析的教程,提供可視化。

項目位址:XuefengHuang/lianjia-scrawler

資料分析教程:https://www.ershoufangdata.com/

3.貝殼網爬蟲API:

直接通過

pip install ke

安裝即可使用,一行代碼将指定篩選條件的全量資料儲存為JSON/csv。

項目位址:rangduju/Ke

使用指令:

from Ke.ke import Ke
%%time
df = Ke(username='17810375258', password='abcd1234').ke_scraper_rent(url='https://bj.zu.ke.com/zufang/sanlitun/l0', keyword='北京三裡屯', export='csv')
df
           

4.鍊家網和貝殼網房價爬蟲

采集北京上海廣州深圳等21個中國主要城市的房價資料(小區,二手房,出租房,新房),穩定可靠快速!支援csv,MySQL, MongoDB,Excel, json存儲,并且同時支援Python2和3。具有圖表展示資料功能,并且擁有詳細注釋,可進行功能擴充。

項目位址:jumper2014/lianjia-beike-spider

5.北京地區鍊家房屋成交

爬下了北京所有的小區資訊及北京的所有曆史成交記錄,很簡單的一個爬蟲,可供北京地區的購房者進行價格比較。

項目位址:lanbing510/LianJiaSpider

6.号稱宇宙最快的鍊家爬蟲

直接使用鍊家API抓取資料的技術爬蟲,作者自嗨号稱宇宙最快,具體快不快,還等你親自試試呢。

項目位址:CaoZ/Fast-LianJia-Crawler

7.地圖搜租房

爬蟲全天不間斷擷取公開租房資訊,彙總處理分析後落地到資料庫中。整合房源衆多,包括豆瓣租房小組】、【豆瓣租房小程式】、【Zuber合租】、【蘑菇租房】、【CCB建融家園】、【58同城品牌較高價的電梯大廈】、【Hi住租房】、【房多多】、【貝殼租房】、【v2ex租房文章】、【上海互助租房】。并且支援房價篩選、個人房源。可以直接利用高的地圖展示房源。現在都擁有自己的官網産品了。

項目位址:liguobao/58HouseSearch

官網位址:地圖搜租房

實驗樓曾經有一個實習生,把自己畢業時利用高德 API 和 Python 找到房子的租房經曆。寫成了一個課程,感興趣的同學也可以關注學習一下!《高德API + Python 解決租房問題》​

知乎專欄同步:https://zhuanlan.zhihu.com/p/86133918

繼續閱讀