之前的文章我們介紹了一下 Xpath 子產品，接下來我們就利用 Xpath 子產品爬取《糗事百科》的糗事。
之前我們已經利用 re 子產品爬取過一次糗百，我們隻需要在其基礎上做一些修改就可以了，為了保證項目的完整性，我們重新再來一遍。
我們要爬取的網站連結是 https://www.qiushibaike.com/text/page/1/ 。
我們通過 Xpath Helper 的谷歌插件經過分析擷取到我們想要的内容為： //div[@class="content"]/span[1]
然後我們就可以通過 text() 來擷取裡面的内容了， //div[@class="content"]/span[1]/text()
1 import urllib.request
2 from lxml import etree
3 import ssl
4
5 # 取消代理驗證
6 ssl._create_default_https_context = ssl._create_unverified_context
7
8 url = "https://www.qiushibaike.com/text/page/1/"
9 # User-Agent頭
10 user_agent = 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.157 Safari/537.36'
11 headers = {'User-Agent': user_agent}
12 req = urllib.request.Request(url, headers=headers)
13 response = urllib.request.urlopen(req)
14 # 擷取每頁的HTML源碼字元串
15 html = response.read().decode('utf-8')
16 # 解析html 為 HTML 文檔
17 selector = etree.HTML(html)
18 content_list = selector.xpath('//div[@class="content"]/span[1]/text()')
19 print(content_list) 輸出結果為：
從上面的輸出結果可以看出我們已經拿到了我們想要的資料，并且是一個清單類型，我們對清單進行操作扥别拿到糗事再存儲到本地即可。
1 for item in item_list:
2 item = item.replace("\n", "")
3 self.writePage(item) 上面的代碼中 item_list 即為我們上面所擷取到的 content_list 清單，在之前通過 re 子產品擷取資料時通過對清單的内容分析，我們發現有 <span> ，<span class="contentForAll">檢視全文，</span>，<br/>，\n 等多餘内容，而通過 Xpath 隻有 \n 為多餘，我們通過 replace 方法将其轉為空，剩下的就是我們想要的内容了，接下來就是存儲到本地即可了。
上面就可以實作一個擷取 糗事百科 的糗事的簡單爬蟲，但是隻能爬取單個頁面的内容，通過分析 url 我們發現 https://www.qiushibaike.com/text/page/1/ 中最後的 1 即為頁碼，我們就可以根據這個頁碼逐一爬取更多頁面的内容，最終的代碼如下：
1 import urllib.request
2 from lxml import etree
3 import ssl
4
5 # 取消代理驗證
6 ssl._create_default_https_context = ssl._create_unverified_context
7
8
9 class Spider:
10 def __init__(self):
11 # 初始化起始頁位置
12 self.page = 1
13 # 爬取開關，如果為True繼續爬取
14 self.switch = True
15
16 def loadPage(self):
17 """
18 作用：打開頁面
19 """
20 url = "https://www.qiushibaike.com/text/page/" + str(self.page) + "/"
21 # User-Agent頭
22 user_agent = 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.157 Safari/537.36'
23 headers = {'User-Agent': user_agent}
24 req = urllib.request.Request(url, headers=headers)
25 response = urllib.request.urlopen(req)
26 # 擷取每頁的HTML源碼字元串
27 html = response.read().decode('utf-8')
28 # 解析html 為 HTML 文檔
29 selector = etree.HTML(html)
30 content_list = selector.xpath('//div[@class="content"]/span[1]/text()')
31 # 調用dealPage() 處理糗事裡的雜七雜八
32 self.dealPage(content_list)
33
34 def dealPage(self, item_list):
35 """
36 @brief 處理得到的糗事清單
37 @param item_list 得到的糗事清單
38 @param page 處理第幾頁
39 """
40 for item in item_list:
41 item = item.replace("\n", "")
42 self.writePage(item)
43
44 def writePage(self, text):
45 """
46 @brief 将資料追加寫進檔案中
47 @param text 檔案内容
48 """
49 myFile = open("./qiushi.txt", 'a') # 追加形式打開檔案
50 myFile.write(text + "\n\n")
51 myFile.close()
52
53 def startWork(self):
54 """
55 控制爬蟲運作
56 """
57 # 循環執行，直到 self.switch == False
58 while self.switch:
59 # 使用者确定爬取的次數
60 self.loadPage()
61 command = input("如果繼續爬取，請按回車（退出輸入quit)")
62 if command == "quit":
63 # 如果停止爬取，則輸入 quit
64 self.switch = False
65 # 每次循環，page頁碼自增1
66 self.page += 1
67 print("爬取結束！")
68
69
70 if __name__ == '__main__':
71 # 定義一個Spider對象
72 qiushiSpider = Spider()
73 qiushiSpider.startWork() 最終會在本地添加一個 qiushi.txt 的檔案，結果如下：