天天看點

爬蟲架構--Scrapy學習筆記二Scrapy項目檔案目錄簡述

Scrapy項目檔案目錄簡述

前言:通過學習筆記一的總結,大緻上已經對Scrapy架構的資料流程以及元件的分工有了了解。這次來真正的建立一個Scrapy項目,來具體的看一看這些元件都被放置在哪些py檔案中。(ps:就是找找它們住的地方!)

爬蟲架構--Scrapy學習筆記二Scrapy項目檔案目錄簡述

建立一個Scrapy項目

scrapy startproject Scrapy_web

在終端輸入上述指令後,會建立一個名字叫Scrapy_web的scrapy項目。接着輸入

cd Scrapy_web

進入該項目目錄運作下面的指令來建立一個新的spider

scrapy genspider dmoz_spider doubanmovie

解釋下名詞:在這個 dmoz_spider 是你的py檔案的名字,後面的doubanmovie 是 spider 的name,當你用

scrapy crawl ***

指令來運作爬蟲時,* 就是你這裡輸入的doubanmovie

真是生成的Scrapy檔案與Scrapy 項目圖 對比

爬蟲架構--Scrapy學習筆記二Scrapy項目檔案目錄簡述

将運作指令後生成的Scrapy檔案,與文章剛開始貼出來的項目圖做,對比,鮮明的了解下一個Scrapy項目吧。(ps:spiders檔案夾下生成的是一個名字叫dmoz_spider.py的爬蟲測試dome,與項目檔案圖中的jd_spider.py不同,它們就是你要些的爬蟲了!:)

結束語

簡單的看過scrapy的項目檔案過後,是不是對Scrapy架構多了一層了解了。接下來我會寫一個關于scrapy架構測試的小dome,來爬取豆瓣top250的電影,來對Scrapy的實作運用做下測試。