在之前的文章中我們介紹了 scrapy 架構并給予 scrapy 架構寫了一個爬蟲來爬取《糗事百科》的糗事，本章我們繼續說一下 scrapy 架構并對之前的糗百爬蟲做一下優化和豐富。
在上一篇文章中，我們在項目中建立了一個 qiushiSpider.py 的檔案，代碼如下：
1 import scrapy
2 from ..items import QiushiItem
3
4
5 class QiushiSpider(scrapy.Spider):
6 # 爬蟲名
7 name = "qiubai"
8 # 允許爬蟲作用的範圍，不能越界
9 allowd_domains = ["https://www.qiushibaike.com/"]
10 # 爬蟲起始url
11 start_urls = ["https://www.qiushibaike.com/text/page/1/"]
12
13 # 我們無需再像之前利用 urllib 庫那樣去請求位址傳回資料，在 scrapy 架構中直接利用下面的 parse 方法進行資料處理即可。
14 def parse(self, response):
15 # 通過 scrayy 自帶的 xpath 比對想要的資訊
16 qiushi_list = response.xpath('//div[contains(@id,"qiushi_tag")]')
17 for site in qiushi_list:
18 # 執行個體化從 items.py 導入的 QiushiItem 類
19 item = QiushiItem()
20 # 根據查詢發現匿名使用者和非匿名使用者的标簽不一樣
21 try:
22 # 非匿名使用者
23 username = site.xpath('./div/a/img/@alt')[0].extract() # 作者
24 imgUrl = site.xpath('./div/a/img/@src')[0].extract() # 頭像
25 except Exception:
26 # 匿名使用者
27 username = site.xpath('./div/span/img/@alt')[0].extract() # 作者
28 imgUrl = site.xpath('./div/span/img/@src')[0].extract() # 頭像
29 content = site.xpath('.//div[@class="content"]/span[1]/text()').extract()
30 item['username'] = username
31 item['imgUrl'] = "https:" + imgUrl
32 item['content'] = content
33 yield item 在上面的代碼中我們定義了一個 QiubaiSpider 的類，并且內建了 scrapy.Spider，我們就對這個類做一下詳細分析。
Spider類定義了如何爬取某個(或某些)網站。包括了爬取的動作(例如:是否跟進連結)以及如何從網頁的内容中提取結構化資料(爬取item)。 換句話說，Spider就是您定義爬取的動作及分析某個網頁(或者是有些網頁)的地方。
class scrapy.Spider
是最基本的類，所有編寫的爬蟲必須繼承這個類。
主要用到的函數及調用順序為：
__init__() 初始化爬蟲名字和start_urls清單
start_requests() 調用 make_requests_from url() 生成Requests對象交給Scrapy下載下傳并傳回response
parse() 解析response，并傳回Item或Requests（需指定回調函數）。Item傳給Item pipline持久化 ， 而Requests交由Scrapy下載下傳，并由指定的回調函數處理（預設parse() )，一直進行循環，直到處理完所有的資料為止。
1 #所有爬蟲的基類，使用者定義的爬蟲必須從這個類繼承
2 class Spider(object_ref):
3
4 #定義spider名字的字元串(string)。spider的名字定義了Scrapy如何定位(并初始化)spider，是以其必須是唯一的。
5 #name是spider最重要的屬性，而且是必須的。
6 #一般做法是以該網站(domain)(加或不加 字尾 )來命名spider。 例如，如果spider爬取 mywebsite.com ，該spider通常會被命名為 mywebsite
7 name = None
8
9 #初始化，提取爬蟲名字，start_ruls
10 def __init__(self, name=None, **kwargs):
11 if name is not None:
12 self.name = name
13 # 如果爬蟲沒有名字，中斷後續操作則報錯
14 elif not getattr(self, 'name', None):
15 raise ValueError("%s must have a name" % type(self).__name__)
16
17 # python 對象或類型通過内置成員__dict__來存儲成員資訊
18 self.__dict__.update(kwargs)
19
20 #URL清單。當沒有指定的URL時，spider将從該清單中開始進行爬取。 是以，第一個被擷取到的頁面的URL将是該清單之一。 後續的URL将會從擷取到的資料中提取。
21 if not hasattr(self, 'start_urls'):
22 self.start_urls = []
23
24 # 列印Scrapy執行後的log資訊
25 def log(self, message, level=log.DEBUG, **kw):
26 log.msg(message, spider=self, level=level, **kw)
27
28 # 判斷對象object的屬性是否存在，不存在做斷言處理
29 def set_crawler(self, crawler):
30 assert not hasattr(self, '_crawler'), "Spider already bounded to %s" % crawler
31 self._crawler = crawler
32
33 @property
34 def crawler(self):
35 assert hasattr(self, '_crawler'), "Spider not bounded to any crawler"
36 return self._crawler
37
38 @property
39 def settings(self):
40 return self.crawler.settings
41
42 #該方法将讀取start_urls内的位址，并為每一個位址生成一個Request對象，交給Scrapy下載下傳并傳回Response
43 #該方法僅調用一次
44 def start_requests(self):
45 for url in self.start_urls:
46 yield self.make_requests_from_url(url)
47
48 #start_requests()中調用，實際生成Request的函數。
49 #Request對象預設的回調函數為parse()，送出的方式為get
50 def make_requests_from_url(self, url):
51 return Request(url, dont_filter=True)
52
53 #預設的Request對象回調函數，處理傳回的response。
54 #生成Item或者Request對象。使用者必須實作這個類
55 def parse(self, response):
56 raise NotImplementedError
57
58 @classmethod
59 def handles_request(cls, request):
60 return url_is_from_spider(request.url, cls)
61
62 def __str__(self):
63 return "<%s %r at 0x%0x>" % (type(self).__name__, self.name, id(self))
64
65 __repr__ = __str__ 主要屬性和方法
- name
定義spider名字的字元串。
例如，如果spider爬取 mywebsite.com ，該spider通常會被命名為 mywebsite
- allowed_domains
包含了spider允許爬取的域名(domain)的清單，可選。
- start_urls
初始URL元祖/清單。當沒有制定特定的URL時，spider将從該清單中開始進行爬取。
- start_requests(self)
該方法必須傳回一個可疊代對象(iterable)。該對象包含了spider用于爬取（預設實作是使用 start_urls 的url）的第一個Request。
當spider啟動爬取并且未指定start_urls時，該方法被調用。
- parse(self, response)
當請求url傳回網頁沒有指定回調函數時，預設的Request對象回調函數。用來處理網頁傳回的response，以及生成Item或者Request對象。
- log(self, message[, level, component])
使用 scrapy.log.msg() 方法記錄(log)message。
接下來我們再将之前的的糗百爬蟲進行一下豐富。之前的爬蟲，我們隻是爬取了第一頁内糗事，即 start_urls = ["https://www.qiushibaike.com/text/page/1/"] ，其中最末尾的 1 即代表了目前頁碼，是以當該頁資料爬取完畢後讓其自動 +1 即為下一頁内容，然後再接着爬取我們想要的資料。
1 import scrapy
2 from ..items import QiushiItem
3 import re
4
5
6 class QiushiSpider(scrapy.Spider):
7 # 爬蟲名
8 name = "qiubai"
9 # 允許爬蟲作用的範圍，不能越界
10 allowd_domains = ["https://www.qiushibaike.com/"]
11 # 爬蟲起始url
12 start_urls = ["https://www.qiushibaike.com/text/page/1/"]
13
14 # 我們無需再像之前利用 urllib 庫那樣去請求位址傳回資料，在 scrapy 架構中直接利用下面的 parse 方法進行資料處理即可。
15 def parse(self, response):
16 # 通過 scrayy 自帶的 xpath 比對想要的資訊
17 qiushi_list = response.xpath('//div[contains(@id,"qiushi_tag")]')
18 for site in qiushi_list:
19 # 執行個體化從 items.py 導入的 QiushiItem 類
20 item = QiushiItem()
21 # 根據查詢發現匿名使用者和非匿名使用者的标簽不一樣
22 try:
23 # 非匿名使用者
24 username = site.xpath('./div/a/img/@alt')[0].extract() # 作者
25 imgUrl = site.xpath('./div/a/img/@src')[0].extract() # 頭像
26 except Exception:
27 # 匿名使用者
28 username = site.xpath('./div/span/img/@alt')[0].extract() # 作者
29 imgUrl = site.xpath('./div/span/img/@src')[0].extract() # 頭像
30 content = site.xpath('.//div[@class="content"]/span[1]/text()').extract()
31 item['username'] = username
32 item['imgUrl'] = "https:" + imgUrl
33 item['content'] = content
34
35 # 通過 re 子產品比對到請求的 url 裡的數字
36 currentPage = re.search('(\d+)', response.url).group(1)
37 page = int(currentPage) + 1
38 url = re.sub('\d+', str(page), response.url)
39
40 # 将擷取的資料交給 pipeline
41 yield item
42
43 # 發送新的 url 請求加入待爬隊列，并調用回調函數 self.parse
44 yield scrapy.Request(url, callback=self.parse) 在上面的代碼中，我們在将擷取到的 item 資料交給管道檔案 pipeline 之後，擷取到此時的請求 url 連結，根據 re 子產品擷取到連結裡的數字，即頁碼數，然後将頁碼數 +1，再次發送新的 url 連結請求即可擷取其餘頁碼的資料了。
![Python 爬蟲從入門到進階之路（八）[圖]](data:image/gif;base64,R0lGODlhAQABAIAAAP///wAAACwAAAAAAQABAAACAkQBADs=)