scrapy是一個為了爬取網站資料，提取結構性資料而編寫的應用架構。 可以應用在包括資料挖掘，資訊處理或存儲曆史資料等一系列的程式中。
所謂網絡爬蟲，就是一個在網上到處或定向抓取資料的程式，當然，這種說法不夠專業，更專業的描述就是，抓取特定網站網頁的html資料。抓取網頁的一般方法是，定義一個入口頁面，然後一般一個頁面會有其他頁面的url，于是從目前頁面擷取到這些url加入到爬蟲的抓取隊列中，然後進入到新頁面後再遞歸的進行上述的操作，其實說來就跟深度周遊或廣度周遊一樣。
scrapy 使用 twisted這個異步網絡庫來處理網絡通訊，架構清晰，并且包含了各種中間件接口，可以靈活的完成各種需求。
引擎(scrapy engine)，用來處理整個系統的資料流處理，觸發事務。 排程器(scheduler)，用來接受引擎發過來的請求，壓入隊列中，并在引擎再次請求的時候傳回。 下載下傳器(downloader)，用于下載下傳網頁内容，并将網頁内容傳回給蜘蛛。 蜘蛛(spiders)，蜘蛛是主要幹活的，用它來制訂特定域名或網頁的解析規則。編寫用于分析response并提取item(即擷取到的item)或額外跟進的url的類。 每個spider負責處理一個特定(或一些)網站。 項目管道(item pipeline)，負責處理有蜘蛛從網頁中抽取的項目，他的主要任務是清晰、驗證和存儲資料。當頁面被蜘蛛解析後，将被發送到項目管道，并經過幾個特定的次序處理資料。 下載下傳器中間件(downloader middlewares)，位于scrapy引擎和下載下傳器之間的鈎子架構，主要是處理scrapy引擎與下載下傳器之間的請求及響應。 蜘蛛中間件(spider middlewares)，介于scrapy引擎和蜘蛛之間的鈎子架構，主要工作是處理蜘蛛的響應輸入和請求輸出。 排程中間件(scheduler middlewares)，介于scrapy引擎和排程之間的中間件，從scrapy引擎發送到排程的請求和響應。
上圖綠線是資料流向，首先從初始url開始，scheduler會将其交給downloader進行下載下傳，下載下傳之後會交給spider進行分析，spider分析出來的結果有兩種：一種是需要進一步抓取的連結，例如之前分析的“下一頁”的連結，這些東西會被傳回scheduler；另一種是需要儲存的資料，它們則被送到item pipeline那裡，那是對資料進行後期處理（詳細分析、過濾、存儲等）的地方。另外，在資料流動的通道裡還可以安裝各種中間件，進行必要的處理。
scrapy中的資料流由執行引擎控制，其過程如下:
引擎打開一個網站(open a domain)，找到處理該網站的spider并向該spider請求第一個要爬取的url(s)。 引擎從spider中擷取到第一個要爬取的url并在排程器(scheduler)以request排程。 引擎向排程器請求下一個要爬取的url。 排程器傳回下一個要爬取的url給引擎，引擎将url通過下載下傳中間件(請求(request)方向)轉發給下載下傳器(downloader)。 一旦頁面下載下傳完畢，下載下傳器生成一個該頁面的response，并将其通過下載下傳中間件(傳回(response)方向)發送給引擎。 引擎從下載下傳器中接收到response并通過spider中間件(輸入方向)發送給spider處理。 spider處理response并傳回爬取到的item及(跟進的)新的request給引擎。 引擎将(spider傳回的)爬取到的item給item pipeline，将(spider傳回的)request給排程器。 (從第二步)重複直到排程器中沒有更多地request，引擎關閉該網站。
文／jasonding（簡書作者）
原文連結：http://www.jianshu.com/p/a8aad3bf4dc4
著作權歸作者所有，轉載請聯系作者獲得授權，并标注“簡書作者”。
首先先要回答一個問題。
問：把網站裝進爬蟲裡，總共分幾步？
答案很簡單，四步：
建立項目 (project)：建立一個新的爬蟲項目
明确目标（items）：明确你想要抓取的目标
制作爬蟲（spider）：制作爬蟲開始爬取網頁
存儲内容（pipeline）：設計管道存儲爬取内容
好的，基本流程既然确定了，那接下來就一步一步的完成就可以了。
1.建立項目（project）
在空目錄下按住shift鍵右擊，選擇“在此處打開指令視窗”，輸入一下指令：
scrapy startproject tutorial
其中，tutorial為項目名稱。
可以看到将會建立一個tutorial檔案夾，目錄結構如下：
tutorial/
scrapy.cfg
tutorial/
__init__.py
items.py
pipelines.py
settings.py
spiders/
__init__.py
...
下面來簡單介紹一下各個檔案的作用：
scrapy.cfg：項目的配置檔案
tutorial/：項目的python子產品，将會從這裡引用代碼
tutorial/items.py：項目的items檔案
tutorial/pipelines.py：項目的pipelines檔案
tutorial/settings.py：項目的設定檔案
tutorial/spiders/：存儲爬蟲的目錄
2.明确目标（item）
一般來說，item可以用scrapy.item.item類來建立，并且用scrapy.item.field對象來定義屬性（可以了解成類似于orm的映射關系）。
接下來，我們開始來建構item模型（model）。
首先，我們想要的内容有：
名稱（name）
連結（url）
描述（description）
修改tutorial目錄下的items.py檔案，在原本的class後面添加我們自己的class。
因為要抓dmoz.org網站的内容，是以我們可以将其命名為dmozitem：
# define here the models for your scraped items
#
# see documentation in:
# http://doc.scrapy.org/en/latest/topics/items.html
from scrapy.item import item, field
class tutorialitem(item):
# define the fields for your item here like:
# name = field()
pass
class dmozitem(item):
title = field()
link = field()
desc = field()
剛開始看起來可能會有些看不懂，但是定義這些item能讓你用其他元件的時候知道你的 items到底是什麼。
可以把item簡單的了解成封裝好的類對象。
3.制作爬蟲（spider）
制作爬蟲，總體分兩步：先爬再取。
也就是說，首先你要擷取整個網頁的所有内容，然後再取出其中對你有用的部分。
3.1爬
spider是使用者自己編寫的類，用來從一個域（或域組）中抓取資訊。
他們定義了用于下載下傳的url清單、跟蹤連結的方案、解析網頁内容的方式，以此來提取items。
要建立一個spider，你必須用scrapy.spider.basespider建立一個子類，并确定三個強制的屬性：
name：爬蟲的識别名稱，必須是唯一的，在不同的爬蟲中你必須定義不同的名字。
start_urls：爬取的url清單。爬蟲從這裡開始抓取資料，是以，第一次下載下傳的資料将會從這些urls開始。其他子url将會從這些起始url中繼承性生成。
parse()：解析的方法，調用的時候傳入從每一個url傳回的response對象作為唯一參數，負責解析并比對抓取的資料(解析為item)，跟蹤更多的url。
也就是把url存儲下來并依此為起點逐漸擴散開去，抓取所有符合條件的網頁url存儲起來繼續爬取。
下面我們來寫第一隻爬蟲，命名為dmoz_spider.py，儲存在tutorial\spiders目錄下。
dmoz_spider.py代碼如下：
from scrapy.spider import spider
class dmozspider(spider):
name = "dmoz"
allowed_domains = ["dmoz.org"]
start_urls = [
"http://www.dmoz.org/computers/programming/languages/python/books/",
"http://www.dmoz.org/computers/programming/languages/python/resources/"
]
def parse(self, response):
filename = response.url.split("/")[-2]
open(filename, 'wb').write(response.body)
allow_domains是搜尋的域名範圍，也就是爬蟲的限制區域，規定爬蟲隻爬取這個域名下的網頁。
從parse函數可以看出，将連結的最後兩個位址取出作為檔案名進行存儲。
然後運作一下看看，在tutorial目錄下按住shift右擊，在此處打開指令視窗，輸入：
scrapy crawl dmoz
運作結果如圖：
報錯了：
unicodedecodeerror: 'ascii' codec can't decode byte 0xb0 in position 1: ordinal not in range(128)
運作第一個scrapy項目就報錯，真是命運多舛。
應該是出了編碼問題，谷歌了一下找到了解決方案：
在python的lib\site-packages檔案夾下建立一個sitecustomize.py：
import sys
sys.setdefaultencoding('gb2312')
再次運作，ok，問題解決了，看一下結果：
最後一句info: closing spider (finished)表明爬蟲已經成功運作并且自行關閉了。
包含 [dmoz]的行 ，那對應着我們的爬蟲運作的結果。
可以看到start_urls中定義的每個url都有日志行。
還記得我們的start_urls嗎？
http://www.dmoz.org/computers/programming/languages/python/books
http://www.dmoz.org/computers/programming/languages/python/resources
因為這些url是起始頁面，是以他們沒有引用(referrers)，是以在它們的每行末尾你會看到 (referer: <none>)。
在parse 方法的作用下，兩個檔案被建立：分别是 books 和 resources，這兩個檔案中有url的頁面内容。
那麼在剛剛的電閃雷鳴之中到底發生了什麼呢？
首先，scrapy為爬蟲的 start_urls屬性中的每個url建立了一個 scrapy.http.request 對象 ，并将爬蟲的parse 方法指定為回調函數。
然後，這些 request被排程并執行，之後通過parse()方法傳回scrapy.http.response對象，并回報給爬蟲。
3.2取
爬取整個網頁完畢，接下來的就是的取過程了。
光存儲一整個網頁還是不夠用的。
在基礎的爬蟲裡，這一步可以用正規表達式來抓。
在scrapy裡，使用一種叫做 xpath selectors的機制，它基于 xpath表達式。
這是一些xpath表達式的例子和他們的含義
/html/head/title: 選擇html文檔<head>元素下面的<title> 标簽。
/html/head/title/text(): 選擇前面提到的<title> 元素下面的文本内容
//td: 選擇所有 <td> 元素
//div[@class="mine"]: 選擇所有包含 class="mine" 屬性的div 标簽元素
以上隻是幾個使用xpath的簡單例子，但是實際上xpath非常強大。
為了友善使用xpaths，scrapy提供xpathselector 類，有兩種可以選擇，htmlxpathselector(html資料解析)和xmlxpathselector(xml資料解析)。
必須通過一個 response 對象對他們進行執行個體化操作。
你會發現selector對象展示了文檔的節點結構。是以，第一個執行個體化的selector必與根節點或者是整個目錄有關 。
3.3xpath實驗
下面我們在shell裡面嘗試一下selector的用法。
熟悉完了實驗的小白鼠，接下來就是用shell爬取網頁了。
進入到項目的頂層目錄，也就是第一層tutorial檔案夾下，在cmd中輸入：
scrapy shell http://www.dmoz.org/computers/programming/languages/python/books/
回車後可以看到如下的内容：
在shell載入後，你将獲得response回應，存儲在本地變量 response中。
是以如果你輸入response.body，你将會看到response的body部分，也就是抓取到的頁面内容：
或者輸入response.headers 來檢視它的 header部分：
現在就像是一大堆沙子握在手裡，裡面藏着我們想要的金子，是以下一步，就是用篩子搖兩下，把雜質出去，選出關鍵的内容。
selector就是這樣一個篩子。
在舊的版本中，shell執行個體化兩種selectors，一個是解析html的 hxs 變量，一個是解析xml 的 xxs 變量。
而現在的shell為我們準備好的selector對象，sel，可以根據傳回的資料類型自動選擇最佳的解析方案(xml or html)。
然後我們來搗弄一下！~
要徹底搞清楚這個問題，首先先要知道，抓到的頁面到底是個什麼樣子。
比如，我們要抓取網頁的标題，也就是<title>這個标簽：
可以輸入：
sel.xpath('//title')
結果就是：
這樣就能把這個标簽取出來了，用extract()和text()還可以進一步做處理。
備注：簡單的羅列一下有用的xpath路徑表達式：
表達式
描述
nodename
選取此節點的所有子節點。
/
從根節點選取。
//
從比對選擇的目前節點選擇文檔中的節點，而不考慮它們的位置。
.
選取目前節點。
..
選取目前節點的父節點。
@
選取屬性。
in [1]: sel.xpath('//title')
out[1]: [<selector xpath='//title' data=u'<title>open directory - computers: progr'>]
in [2]: sel.xpath('//title').extract()
out[2]: [u'<title>open directory - computers: programming: languages: python: books</title>']
in [3]: sel.xpath('//title/text()')
out[3]: [<selector xpath='//title/text()' data=u'open directory - computers: programming:'>]
in [4]: sel.xpath('//title/text()').extract()
out[4]: [u'open directory - computers: programming: languages: python: books']
in [5]: sel.xpath('//title/text()').re('(\w+):')
out[5]: [u'computers', u'programming', u'languages', u'python']
當然title這個标簽對我們來說沒有太多的價值，下面我們就來真正抓取一些有意義的東西。
使用火狐的審查元素我們可以清楚地看到，我們需要的東西如下：
我們可以用如下代碼來抓取這個<li>标簽：
sel.xpath('//ul/li')
從<li>标簽中，可以這樣擷取網站的描述：
sel.xpath('//ul/li/text()').extract()
可以這樣擷取網站的标題：
sel.xpath('//ul/li/a/text()').extract()
可以這樣擷取網站的超連結：
sel.xpath('//ul/li/a/@href').extract()
當然，前面的這些例子是直接擷取屬性的方法。
我們注意到xpath傳回了一個對象清單，
那麼我們也可以直接調用這個清單中對象的屬性挖掘更深的節點
3.4xpath實戰
我們用shell做了這麼久的實戰，最後我們可以把前面學習到的内容應用到dmoz_spider這個爬蟲中。
在原爬蟲的parse函數中做如下修改：
from scrapy.selector import selector
sel = selector(response)
sites = sel.xpath('//ul/li')
for site in sites:
title = site.xpath('a/text()').extract()
link = site.xpath('a/@href').extract()
desc = site.xpath('text()').extract()
print title
注意，我們從scrapy.selector中導入了selector類，并且執行個體化了一個新的selector對象。這樣我們就可以像shell中一樣操作xpath了。
我們來試着輸入一下指令運作爬蟲（在tutorial根目錄裡面）：
運作結果如下：
果然，成功的抓到了所有的标題。但是好像不太對啊，怎麼top，python這種導航欄也抓取出來了呢？
我們隻需要紅圈中的内容：
看來是我們的xpath語句有點問題，沒有僅僅把我們需要的項目名稱抓取出來，也抓了一些無辜的但是xpath文法相同的元素。
審查元素我們發現我們需要的<ul>具有class='directory-url'的屬性，
那麼隻要把xpath語句改成sel.xpath('//ul[@class="directory-url"]/li')即可
将xpath語句做如下調整：
sites = sel.xpath('//ul[@class="directory-url"]/li')
成功抓出了所有的标題，絕對沒有濫殺無辜：
3.5使用item
接下來我們來看一看如何使用item。
前面我們說過，item 對象是自定義的python字典，可以使用标準字典文法擷取某個屬性的值：
>>> item = dmozitem()
>>> item['title'] = 'example title'
>>> item['title']
'example title'
作為一隻爬蟲，spiders希望能将其抓取的資料存放到item對象中。為了傳回我們抓取資料，spider的最終代碼應當是這樣:
from tutorial.items import dmozitem
items = []
item = dmozitem()
item['title'] = site.xpath('a/text()').extract()
item['link'] = site.xpath('a/@href').extract()
item['desc'] = site.xpath('text()').extract()
items.append(item)
return items
4.存儲内容（pipeline）
我們将結果用最常用的json導出，指令如下：
scrapy crawl dmoz -o items.json -t json
-o 後面是導出檔案名，-t 後面是導出類型。
然後來看一下導出的結果，用文本編輯器打開json檔案即可（為了友善顯示，在item中删去了除了title之外的屬性）：
因為這個隻是一個小型的例子，是以這樣簡單的處理就可以了。
如果你想用抓取的items做更複雜的事情，你可以寫一個 item pipeline(條目管道)。
這個我們以後再慢慢玩^_^