
前言
利用Scrapy架構爬取并簡單分析安居客租房資訊,讓我們愉快地開始吧~
開發工具
Python版本:3.6.4
相關子產品:
scrapy子產品;
pyecharts子產品;
以及一些Python自帶的子產品。
環境搭建
安裝Python并添加到環境變量,pip安裝需要的相關子產品即可。
原理簡介
這依舊是scrapy爬蟲架構的一個簡單應用,然後加了點資料可視化分析。
首先還是先建立一個爬蟲項目:
[外鍊圖檔轉存失敗,源站可能有防盜鍊機制,建議将圖檔儲存下來直接上傳(img-LR1V3BLF-1617415512941)(https://upload-images.jianshu.io/upload_images/2539976-2a2bc246fb424e04?imageMogr2/auto-orient/strip|imageView2/2/w/1240)]
我們需要爬的網站是:
我選的上海,想爬的資訊大概是這些:
先定義一下要爬取的内容(items.py):
然後随便設定一下(settings.py):
最後寫下我們的爬蟲代碼(spider.py):
好的,我們很輕松地寫完了我們的爬蟲代碼。完整爬蟲項目詳見個人簡介擷取相關檔案。
資料分析
首先讓我們來看看想租上海的房子,大概每個月需要多少錢:
[外鍊圖檔轉存失敗,源站可能有防盜鍊機制,建議将圖檔儲存下來直接上傳(img-Czc7wVo6-1617415512952)(https://upload-images.jianshu.io/upload_images/2539976-5cca19094461bd9b?imageMogr2/auto-orient/strip|imageView2/2/w/1240)]
把房價除以面積可能更客觀一點:
[外鍊圖檔轉存失敗,源站可能有防盜鍊機制,建議将圖檔儲存下來直接上傳(img-Zc6iUfaZ-1617415512954)(https://upload-images.jianshu.io/upload_images/2539976-40971810439d591c?imageMogr2/auto-orient/strip|imageView2/2/w/1240)]
再來看看這些房子的朝向吧:
向南的挺多~
還有住房類型:
文章到這裡就結束了,感謝你的觀看,關注我每天分享Python模拟登入系列,下篇文章分享Python擷取IP位址對應的地理位置資訊。