之前的文章我們介紹了一下 Python 中的正規表達式和與爬蟲正則相關的 re 子產品，本章我們就利用正規表達式和 re 子產品來做一個案例，爬取《糗事百科》的糗事并存儲到本地。
我們要爬取的網站連結是 https://www.qiushibaike.com/text/page/1/ 。
我們要爬取的是裡面的糗事，在之前的文章中我們已經可以爬取整個 url 連結裡的 html 内容，那麼我們就可以根據爬取到的 html 代碼，再通過 re 子產品比對我們想要的内容即可。
我們通過調用開發者工具檢查 HTML 元素發現我們想要的内容在 <div class="content"> ...... </div> 内，根據這個我們可以寫出代碼如下：
1 import urllib.request
2 import re
3 import ssl
4
5 # 取消代理驗證
6 ssl._create_default_https_context = ssl._create_unverified_context
7
8 url = "https://www.qiushibaike.com/text/page/1/"
9 # User-Agent頭
10 user_agent = 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.157 Safari/537.36'
11 headers = {'User-Agent': user_agent}
12 req = urllib.request.Request(url, headers=headers)
13 response = urllib.request.urlopen(req)
14 # 擷取每頁的HTML源碼字元串
15 html = response.read().decode('utf-8')
16 # 建立正規表達式規則對象，比對每頁裡的糗事内容，re.S 表示比對全部字元串内容
17 # re.S 如果沒有re.S 則是隻比對一行有沒有符合規則的字元串，如果沒有則下一行重新比對
18 # 如果加上re.S 則是将所有的字元串将一個整體進行比對
19 pattern = re.compile(r'<div.*?class="content">(.*?)</div>', re.S)
20 # 将正則比對對象應用到html源碼字元串裡，傳回這個頁面裡的所有糗事的清單
21 content_list = pattern.findall(html)
22 # 調用dealPage() 處理糗事裡的雜七雜八
23 print(content_list) 最終我們列印結果如下：
從上面的列印結果可以看出我們已經拿到了我們想要的資料，并且存儲在了一個清單裡，那麼接下來我們隻需要再處理一下清單，叫清單内雜七雜八的内容，如上圖中的 \n <span>标簽等去掉，就是我們想要的内容了。
1 for item in item_list:
2 item = item.replace('<span>', "").replace('<span class="contentForAll">檢視全文', "").replace("</span>","").replace("<br/>", "").replace("\n", "")
3 print(item)
4 self.writePage(item) 上面的代碼中 item_list 即為我們上面所擷取到的 content_list 清單，通過對清單的内容分析，我們發現有 <span> ，<span class="contentForAll">檢視全文，</span>，<br/>，\n 等多餘内容，我們通過 replace 方法将其轉為空，剩下的就是我們想要的内容了，接下來就是存儲到本地即可了。
上面就可以實作一個擷取 糗事百科 的糗事的簡單爬蟲，但是隻能爬取單個頁面的内容，通過分析 url 我們發現 https://www.qiushibaike.com/text/page/1/ 中最後的 1 即為頁碼，我們就可以根據這個頁碼逐一爬取更多頁面的内容，最終的代碼如下：
1 import urllib.request
2 import re
3 import ssl
4
5 # 取消代理驗證
6 ssl._create_default_https_context = ssl._create_unverified_context
7
8
9 class Spider:
10 def __init__(self):
11 # 初始化起始頁位置
12 self.page = 1
13 # 爬取開關，如果為True繼續爬取
14 self.switch = True
15
16 def loadPage(self):
17 """
18 作用：打開頁面
19 """
20 url = "https://www.qiushibaike.com/text/page/" + str(self.page) + "/"
21 # User-Agent頭
22 user_agent = 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.157 Safari/537.36'
23 headers = {'User-Agent': user_agent}
24 req = urllib.request.Request(url, headers=headers)
25 response = urllib.request.urlopen(req)
26 # 擷取每頁的HTML源碼字元串
27 html = response.read().decode('utf-8')
28 # 建立正規表達式規則對象，比對每頁裡的糗事内容，re.S 表示比對全部字元串内容
29 # re.S 如果沒有re.S 則是隻比對一行有沒有符合規則的字元串，如果沒有則下一行重新比對
30 # 如果加上re.S 則是将所有的字元串将一個整體進行比對
31 pattern = re.compile(r'<div.*?class="content">(.*?)</div>', re.S)
32 # 将正則比對對象應用到html源碼字元串裡，傳回這個頁面裡的所有糗事的清單
33 content_list = pattern.findall(html)
34 # 調用dealPage() 處理糗事裡的雜七雜八
35 self.dealPage(content_list)
36
37 def dealPage(self, item_list):
38 """
39 @brief 處理得到的糗事清單
40 @param item_list 得到的糗事清單
41 @param page 處理第幾頁
42 """
43 for item in item_list:
44 item = item.replace('<span>', "").replace('<span class="contentForAll">檢視全文', "").replace("</span>","").replace("<br/>", "").replace("\n", "")
45 self.writePage(item)
46
47 def writePage(self, text):
48 """
49 @brief 将資料追加寫進檔案中
50 @param text 檔案内容
51 """
52 myFile = open("./duanzi.txt", 'a') # 追加形式打開檔案
53 myFile.write(text + "\n\n")
54 myFile.close()
55
56 def startWork(self):
57 """
58 控制爬蟲運作
59 """
60 # 循環執行，直到 self.switch == False
61 while self.switch:
62 # 使用者确定爬取的次數
63 self.loadPage()
64 command = input("如果繼續爬取，請按回車（退出輸入quit)")
65 if command == "quit":
66 # 如果停止爬取，則輸入 quit
67 self.switch = False
68 # 每次循環，page頁碼自增1
69 self.page += 1
70 print("爬取結束！")
71
72
73 if __name__ == '__main__':
74 # 定義一個Spider對象
75 qiushiSpider = Spider()
76 qiushiSpider.startWork() 最終會在本地添加一個 qiushi.txt 的檔案，結果如下：