scrapy 流程圖詳解

Scrapy是一個為了爬取網站資料，提取結構性資料而編寫的應用架構。 可以應用在包括資料挖掘，資訊處理或存儲曆史資料等一系列的程式中。

其最初是為了頁面抓取 (更确切來說, 網絡抓取 )所設計的， 也可以應用在擷取API所傳回的資料(例如 Amazon Associates Web Services ) 或者通用的網絡爬蟲。Scrapy用途廣泛，可以用于資料挖掘、監測和自動化測試。

1.Scrapy 使用了 Twisted 異步網絡庫來處理網絡通訊。整體架構大緻如下：

2.Scrapy運作流程大概如下：

• 首先，引擎從排程器中取出一個連結(URL)用于接下來的抓取
• 引擎把URL封裝成一個請求(Request)傳給下載下傳器，下載下傳器把資源下載下傳下來，并封裝成應答包(Response)
• 然後，爬蟲解析Response
• 若是解析出實體（Item）,則交給實體管道進行進一步的處理。
• 若是解析出的是連結（URL）,則把URL交給Scheduler等待抓取

3.Scrapy主要包括了以下元件：

• 引擎(Scrapy): 用來處理整個系統的資料流處理, 觸發事務(架構核心)
• 排程器(Scheduler): 用來接受引擎發過來的請求, 壓入隊列中, 并在引擎再次請求的時候傳回. 可以想像成一個URL（抓取網頁的網址或者說是連結）的優先隊列, 由它來決定下一個要抓取的網址是什麼, 同時去除重複的網址
• 下載下傳器(Downloader): 用于下載下傳網頁内容, 并将網頁内容傳回給蜘蛛(Scrapy下載下傳器是建立在twisted這個高效的異步模型上的)
• 爬蟲(Spiders): 爬蟲是主要幹活的, 用于從特定的網頁中提取自己需要的資訊, 即所謂的實體(Item)。使用者也可以從中提取對外連結接,讓Scrapy繼續抓取下一個頁面
• 項目管道(Pipeline): 負責處理爬蟲從網頁中抽取的實體，主要的功能是持久化實體、驗證明體的有效性、清除不需要的資訊。當頁面被爬蟲解析後，将被發送到項目管道，并經過幾個特定的次序處理資料。
• 下載下傳器中間件(Downloader Middlewares): 位于Scrapy引擎和下載下傳器之間的架構，主要是處理Scrapy引擎與下載下傳器之間的請求及響應。
• 爬蟲中間件(Spider Middlewares): 介于Scrapy引擎和爬蟲之間的架構，主要工作是處理蜘蛛的響應輸入和請求輸出。
• 排程中間件(Scheduler Middewares): 介于Scrapy引擎和排程之間的中間件，從Scrapy引擎發送到排程的請求和響應。