學習Scrapy架構，研究了好久也隻是初步階段，碰到了不少的困難，寫個小例子鞏固一下。
Scrapy架構圖(綠線是資料流向)
Scrapy Engine(引擎): 負責Spider、ItemPipeline、Downloader、Scheduler中間的通訊，信号、資料傳遞等。
Scheduler(排程器): 它負責接受引擎發送過來的Request請求，并按照一定的方式進行整理排列，入隊，當引擎需要時，交還給引擎。
Downloader(下載下傳器): 負責下載下傳Scrapy Engine(引擎)發送的所有Requests請求，并将其擷取到的Responses交還給Scrapy Engine(引擎)，由引擎交給Spider來處理。
Spider(爬蟲): 它負責處理所有Responses,從中分析提取資料，擷取Item字段需要的資料，并将需要跟進的URL送出給引擎，再次進入Scheduler(排程器)。
Item Pipeline(管道)： 它負責處理Spider中擷取到的Item，并進行進行後期處理（詳細分析、過濾、存儲等）的地方。
Downloader Middlewares(下載下傳中間件): 你可以當作是一個可以自定義擴充下載下傳功能的元件。
Spider Middlewares(Spider中間件): 你可以了解為是一個可以自定擴充和操作引擎和Spider中間通信的功能元件（比如進入Spider的Responses;和從Spider出去的Requests）。
制作 Scrapy 爬蟲僅需要4步：
1、建立項目 (scrapy startproject xxx)：建立一個新的爬蟲項目
2、明确目标 （編寫items.py）：明确你想要抓取的目标
3、制作爬蟲 （spiders/xxspider.py）：制作爬蟲開始爬取網頁
4、存儲内容 （pipelines.py）：設計管道存儲爬取内容
工欲善其事必先利其器，下面啰嗦一些安裝Scrapy的方法
安裝：win+r->輸入cmd->複制粘貼以下内容
Windows 安裝方式
#更新 pip 版本：
pip install --upgrade pip
#通過 pip 安裝 Scrapy 架構:
pip install Scrapy
若是更新失敗，可以參考一下該文章：解決You are using pip version 19.0.3, however version 19.2.3 is available.問題
這地方用了好長時間才解決，痛苦 ?
Ubuntu 安裝方式
#安裝非 Python 的依賴:
sudo apt-get install python-dev python-pip libxml2-dev libxslt1-dev zlib1g-dev libffi-dev libssl-dev
#通過 pip 安裝 Scrapy 架構：
sudo pip install scrapy
Mac OS 安裝方式
對于Mac OS系統來說，由于系統本身會引用自帶的python2.x的庫，是以預設安裝的包是不能被删除的，但是你用python2.x來安裝Scrapy會報錯，用python3.x來安裝也是報錯，我最終沒有找到直接安裝Scrapy的方法，是以我用另一種安裝方式來說一下安裝步驟，解決的方式是就是使用virtualenv來安裝。
$ sudo pip install virtualenv
$ virtualenv scrapyenv
$ cd scrapyenv
$ source bin/activate
$ pip install Scrapy
想要在别的盤安裝，可以這樣輸入
輸入dir可以檢視硬碟中的檔案，重複上面操作就可以儲存在項目檔案下。
安裝後，在指令終端輸入 scrapy，提示類似以下結果，代表已經安裝成功
準備階段完畢，接下來進入正題階段
一、建立項目(scrapy startproject)
在開始爬取之前，必須建立一個新的Scrapy項目。進入自定義的項目目錄中，運作下列指令：
scrapy startproject mySpider
mySpider 為項目名稱，相當于建立了一個mySpider的檔案夾，目錄結構大緻如下：
mySpider/
scrapy.cfg #項目的配置檔案。
mySpider/ #項目的Python子產品，将會從這裡引用代碼。
__init__.py
items.py #項目的目标檔案。
pipelines.py #項目的管道檔案
settings.py #項目的設定檔案
spiders/#存儲爬蟲代碼目錄。
__init__.py
...
二、明确目标(mySpider/items.py)
我們打算抓取 http://www.itcast.cn/channel/teacher.shtml 網站裡的所有講師的姓名、職稱和個人資訊。
打開 mySpider 目錄下的 items.py。（直接在硬碟中用記事本、pycharm等的打開就可以）
接下來，建立一個 ItcastItem 類，和建構 item 模型（model）。
import scrapy
#以下類中的name、title、info是我們準備爬取的資訊，對于不同網站可以增加或減少變量
class ItcastItem(scrapy.Item):
name = scrapy.Field()
title = scrapy.Field()
info = scrapy.Field()
三、制作爬蟲 （spiders/itcastSpider.py）
爬蟲主要分為兩步
1、爬資料
在目前目錄下輸入指令，将在mySpider/spiders目錄下建立一個名為itcast的爬蟲，并指定爬取域的範圍：
打開 mySpider/spiders目錄裡的 itcast.py，預設增加了下列代碼:
import scrapy
class ItcastSpider(scrapy.Spider):
name = "itcast"
allowed_domains = ["itcast.cn"]
start_urls = ( 'http://www.itcast.cn/', )
def parse(self, response):
pass
其實也可以由我們自行建立itcast.py并編寫上面的代碼，隻不過使用指令可以免去編寫固定代碼的麻煩
要建立一個Spider， 你必須用scrapy.Spider類建立一個子類，并确定了三個強制的屬性和一個方法。
1、name = “” ：這個爬蟲的識别名稱，必須是唯一的，在不同的爬蟲必須定義不同的名字。
2、allow_domains = [] 是搜尋的域名範圍，也就是爬蟲的限制區域，規定爬蟲隻爬取這個域名下的網頁，不存在的URL會被忽略。
3、start_urls = () ：爬取的URL元祖/清單。爬蟲從這裡開始抓取資料，是以，第一次下載下傳的資料将會從這些urls開始。其他子URL将會從這些起始URL中繼承性生成。
4、parse(self, response) ：解析的方法，每個初始URL完成下載下傳後将被調用，調用的時候傳入從每一個URL傳回的Response對象來作為唯一參數，主要作用如下：
負責解析傳回的網頁資料(response.body)，提取結構化資料(生成item)
生成需要下一頁的URL請求。
進行下面修改：
start_urls = ("http://www.itcast.cn/channel/teacher.shtml",)
def parse(self, response):
filename = "teacher.html"
open(filename, 'w').write(response.body)
然後運作一下看看，在mySpider目錄下執行：
scrapy crawl itcast
當傳回來的html檔案都是空的時，把open函數中的"w"改成"wr"即可解決問題
是的，就是 itcast，看上面代碼，它是 ItcastSpider 類的 name 屬性，也就是使用 scrapy genspider指令的唯一爬蟲名。
運作之後，如果列印的日志出現 [scrapy] INFO: Spider closed (finished)，代表執行完成。 之後目前檔案夾中就出現了一個 teacher.html 檔案，裡面就是我們剛剛要爬取的網頁的全部源代碼資訊。
注意: Python2.x預設編碼環境是ASCII，當和取回的資料編碼格式不一緻時，可能會造成亂碼；我們可以指定儲存内容的編碼格式，一般情況下，我們可以在代碼最上方添加
import sys
reload(sys)
sys.setdefaultencoding("utf-8")
這三行代碼是 Python2.x 裡解決中文編碼的萬能鑰匙，大家使用Python3。
2、取資料
取資料需要一些前端基礎，去找标簽
爬取整個網頁完畢，接下來的就是的取過程了，首先觀察頁面源碼：
<div class="li_txt">
<h3> xxx </h3>
<h4> xxxxx </h4>
<p> xxxxxxxx </p>
xpath 方法，我們隻需要輸入的 xpath 規則就可以定位到相應 html 标簽節點，詳細内容可以檢視 xpath 教程。
不會 xpath 文法沒關系，Chrome 給我們提供了一鍵擷取 xpath 位址的方法（右鍵->檢查->copy->copy xpath）
谷歌浏覽器現在點選需要的資訊右鍵，檢查就可以直接跳轉。
這裡給出一些 XPath 表達式的例子及對應的含義:
/html/head/title: 選擇HTML文檔中 标簽内的
/html/head/title/text(): 選擇上面提到的
//td: 選擇所有的 元素
//div[@class=“mine”]: 選擇所有具有 class=“mine” 屬性的 div 元素
我們之前在 mySpider/items.py 裡定義了一個 ItcastItem 類。 這裡引入進來:
這個地方總是引不進去的話可以嘗試複制items檔案，找到Python的檔案夾->Lib->site-packages
拷貝進去
from mySpider.items import ItcastItem
然後将我們得到的資料封裝到一個 ItcastItem 對象中，可以儲存每個老師的屬性：
import scrapy
item檔案的類
from mySpider.items import ItcastItem
class ItspidSpider(scrapy.Spider):
# 爬蟲名，啟動爬蟲是需要的參數*必須
name = 'itcast'
# 爬取域範圍，循序爬蟲再這個域名下進行爬取（可選）
allowed_domains = ['itcast.cn']
# 起始url,爬蟲執行後第一批請求，将從這個清單裡擷取
start_urls = ['http://www.itcast.cn/channel/teacher.shtml']
def parse(self, response):
node_list = response.xpath("//div[@class='li_txt']")
# 存放老師資訊的集合
items = []
for node in node_list:
# 将我們得到的資料封裝到一個 `ItcastItem` 對象
item = ItcastItem()
#extract()方法傳回的都是unicode字元串
name = node.xpath("./h3/text()").extract()
title = node.xpath("./h4/text()").extract()
info = node.xpath("./p/text()").extract()
#xpath傳回的是包含一個元素的清單
item['name'] = name[0]
item['title'] = title[0]
item['info'] = info[0]
items.append(item)
# 直接傳回最後資料
return items
最後還需要在setting檔案裡邊設定一些東西：（不遵守爬蟲協定）
四、 儲存資料
scrapy儲存資訊的最簡單的方法主要有四種，-o 輸出指定格式的檔案，指令如下：
json格式，預設為Unicode編碼
scrapy crawl itcast -o teachers.json
json lines格式，預設為Unicode編碼
scrapy crawl itcast -o teachers.jsonl
csv 逗号表達式，可用Excel打開
scrapy crawl itcast -o teachers.csv
xml格式
scrapy crawl itcast -o teachers.xml
若csv格式亂碼，在setting.py檔案中加入以下語句即可：
希望這篇文章對初學架構的有幫助，我也是初學，多多指教，有錯的地方請大佬們斧正，謝謝。
相關作者連結：
https://blog.csdn.net/qq_43656233/article/details/97492148
https://segmentfault.com/a/1190000013178839#articleHeader8
https://blog.csdn.net/weixin_40569991/article/details/81296908
https://www.runoob.com/w3cnote/scrapy-detail.html