天天看點

Python爬蟲實戰,Scrapy實戰,爬取并簡單分析安居客租房資訊

Python爬蟲實戰,Scrapy實戰,爬取并簡單分析安居客租房資訊

前言

利用Scrapy架構爬取并簡單分析安居客租房資訊,讓我們愉快地開始吧~

開發工具

Python版本:3.6.4

相關子產品:

scrapy子產品;

pyecharts子產品;

以及一些Python自帶的子產品。

環境搭建

安裝Python并添加到環境變量,pip安裝需要的相關子產品即可。

原理簡介

這依舊是scrapy爬蟲架構的一個簡單應用,然後加了點資料可視化分析。

首先還是先建立一個爬蟲項目:

[外鍊圖檔轉存失敗,源站可能有防盜鍊機制,建議将圖檔儲存下來直接上傳(img-LR1V3BLF-1617415512941)(https://upload-images.jianshu.io/upload_images/2539976-2a2bc246fb424e04?imageMogr2/auto-orient/strip|imageView2/2/w/1240)]

我們需要爬的網站是:

Python爬蟲實戰,Scrapy實戰,爬取并簡單分析安居客租房資訊

我選的上海,想爬的資訊大概是這些:

Python爬蟲實戰,Scrapy實戰,爬取并簡單分析安居客租房資訊

先定義一下要爬取的内容(items.py):

Python爬蟲實戰,Scrapy實戰,爬取并簡單分析安居客租房資訊

然後随便設定一下(settings.py):

Python爬蟲實戰,Scrapy實戰,爬取并簡單分析安居客租房資訊

最後寫下我們的爬蟲代碼(spider.py):

Python爬蟲實戰,Scrapy實戰,爬取并簡單分析安居客租房資訊

好的,我們很輕松地寫完了我們的爬蟲代碼。完整爬蟲項目詳見個人簡介擷取相關檔案。

資料分析

首先讓我們來看看想租上海的房子,大概每個月需要多少錢:

[外鍊圖檔轉存失敗,源站可能有防盜鍊機制,建議将圖檔儲存下來直接上傳(img-Czc7wVo6-1617415512952)(https://upload-images.jianshu.io/upload_images/2539976-5cca19094461bd9b?imageMogr2/auto-orient/strip|imageView2/2/w/1240)]

Python爬蟲實戰,Scrapy實戰,爬取并簡單分析安居客租房資訊

把房價除以面積可能更客觀一點:

[外鍊圖檔轉存失敗,源站可能有防盜鍊機制,建議将圖檔儲存下來直接上傳(img-Zc6iUfaZ-1617415512954)(https://upload-images.jianshu.io/upload_images/2539976-40971810439d591c?imageMogr2/auto-orient/strip|imageView2/2/w/1240)]

再來看看這些房子的朝向吧:

Python爬蟲實戰,Scrapy實戰,爬取并簡單分析安居客租房資訊

向南的挺多~

還有住房類型:

Python爬蟲實戰,Scrapy實戰,爬取并簡單分析安居客租房資訊

文章到這裡就結束了,感謝你的觀看,關注我每天分享Python模拟登入系列,下篇文章分享Python擷取IP位址對應的地理位置資訊。