之前的文章我们介绍了一下 Python 中的正则表达式和与爬虫正则相关的 re 模块,本章我们就利用正则表达式和 re 模块来做一个案例,爬取《糗事百科》的糗事并存储到本地。
我们要爬取的网站链接是 https://www.qiushibaike.com/text/page/1/ 。
![](https://img.laitimes.com/img/9ZDMuAjOiMmIsIjOiQnIsISM9AnYldnJwAzN9c3PnBnauQ0MlQ0MlcnW3BXbMVzaE90dZpWTxUEVPhHMT9UMjpnT5lEVONTRq5EeVRUT1UERNlHMD9EejRlTw0EVNZXVE1UNFRUT5hzQPh3YU5EMNRVT2NmMiNnSywEd5ITW110MaZHetlVdO1GT0UERNl3YXJGc5kHT20ESjBjUIF2Lc12bj5SYphXa5VWen5WY35iclN3Ztl2Lc9CX6MHc0RHaiojIsJye.jpg)
我们要爬取的是里面的糗事,在之前的文章中我们已经可以爬取整个 url 链接里的 html 内容,那么我们就可以根据爬取到的 html 代码,再通过 re 模块匹配我们想要的内容即可。
我们通过调用开发者工具检查 HTML 元素发现我们想要的内容在 <div class="content"> ...... </div> 内,根据这个我们可以写出代码如下:
1 import urllib.request
2 import re
3 import ssl
4
5 # 取消代理验证
6 ssl._create_default_https_context = ssl._create_unverified_context
7
8 url = "https://www.qiushibaike.com/text/page/1/"
9 # User-Agent头
10 user_agent = 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.157 Safari/537.36'
11 headers = {'User-Agent': user_agent}
12 req = urllib.request.Request(url, headers=headers)
13 response = urllib.request.urlopen(req)
14 # 获取每页的HTML源码字符串
15 html = response.read().decode('utf-8')
16 # 创建正则表达式规则对象,匹配每页里的糗事内容,re.S 表示匹配全部字符串内容
17 # re.S 如果没有re.S 则是只匹配一行有没有符合规则的字符串,如果没有则下一行重新匹配
18 # 如果加上re.S 则是将所有的字符串将一个整体进行匹配
19 pattern = re.compile(r'<div.*?class="content">(.*?)</div>', re.S)
20 # 将正则匹配对象应用到html源码字符串里,返回这个页面里的所有糗事的列表
21 content_list = pattern.findall(html)
22 # 调用dealPage() 处理糗事里的杂七杂八
23 print(content_list)
最终我们打印结果如下:
从上面的打印结果可以看出我们已经拿到了我们想要的数据,并且存储在了一个列表里,那么接下来我们只需要再处理一下列表,叫列表内杂七杂八的内容,如上图中的 \n <span>标签等去掉,就是我们想要的内容了。
1 for item in item_list:
2 item = item.replace('<span>', "").replace('<span class="contentForAll">查看全文', "").replace("</span>","").replace("<br/>", "").replace("\n", "")
3 print(item)
4 self.writePage(item)
上面的代码中 item_list 即为我们上面所获取到的 content_list 列表,通过对列表的内容分析,我们发现有 <span> ,<span class="contentForAll">查看全文,</span>,<br/>,\n 等多余内容,我们通过 replace 方法将其转为空,剩下的就是我们想要的内容了,接下来就是存储到本地即可了。
上面就可以实现一个获取 糗事百科 的糗事的简单爬虫,但是只能爬取单个页面的内容,通过分析 url 我们发现 https://www.qiushibaike.com/text/page/1/ 中最后的 1 即为页码,我们就可以根据这个页码逐一爬取更多页面的内容,最终的代码如下:
1 import urllib.request
2 import re
3 import ssl
4
5 # 取消代理验证
6 ssl._create_default_https_context = ssl._create_unverified_context
7
8
9 class Spider:
10 def __init__(self):
11 # 初始化起始页位置
12 self.page = 1
13 # 爬取开关,如果为True继续爬取
14 self.switch = True
15
16 def loadPage(self):
17 """
18 作用:打开页面
19 """
20 url = "https://www.qiushibaike.com/text/page/" + str(self.page) + "/"
21 # User-Agent头
22 user_agent = 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.157 Safari/537.36'
23 headers = {'User-Agent': user_agent}
24 req = urllib.request.Request(url, headers=headers)
25 response = urllib.request.urlopen(req)
26 # 获取每页的HTML源码字符串
27 html = response.read().decode('utf-8')
28 # 创建正则表达式规则对象,匹配每页里的糗事内容,re.S 表示匹配全部字符串内容
29 # re.S 如果没有re.S 则是只匹配一行有没有符合规则的字符串,如果没有则下一行重新匹配
30 # 如果加上re.S 则是将所有的字符串将一个整体进行匹配
31 pattern = re.compile(r'<div.*?class="content">(.*?)</div>', re.S)
32 # 将正则匹配对象应用到html源码字符串里,返回这个页面里的所有糗事的列表
33 content_list = pattern.findall(html)
34 # 调用dealPage() 处理糗事里的杂七杂八
35 self.dealPage(content_list)
36
37 def dealPage(self, item_list):
38 """
39 @brief 处理得到的糗事列表
40 @param item_list 得到的糗事列表
41 @param page 处理第几页
42 """
43 for item in item_list:
44 item = item.replace('<span>', "").replace('<span class="contentForAll">查看全文', "").replace("</span>","").replace("<br/>", "").replace("\n", "")
45 self.writePage(item)
46
47 def writePage(self, text):
48 """
49 @brief 将数据追加写进文件中
50 @param text 文件内容
51 """
52 myFile = open("./duanzi.txt", 'a') # 追加形式打开文件
53 myFile.write(text + "\n\n")
54 myFile.close()
55
56 def startWork(self):
57 """
58 控制爬虫运行
59 """
60 # 循环执行,直到 self.switch == False
61 while self.switch:
62 # 用户确定爬取的次数
63 self.loadPage()
64 command = input("如果继续爬取,请按回车(退出输入quit)")
65 if command == "quit":
66 # 如果停止爬取,则输入 quit
67 self.switch = False
68 # 每次循环,page页码自增1
69 self.page += 1
70 print("爬取结束!")
71
72
73 if __name__ == '__main__':
74 # 定义一个Spider对象
75 qiushiSpider = Spider()
76 qiushiSpider.startWork()
最终会在本地添加一个 qiushi.txt 的文件,结果如下: