天天看点
返回

python爬虫编程实战task2-bs4、xpath、re学习与相关实战1、bs4学习与实战2、xpath学习与实战3 re学习与实战

1、bs4学习与实战

我感觉bs4虽然可以解析和提取 HTML/XML 数据，但是匹配效率还是远远不如正则以及xpath的，一般不推荐使用，在这里不作为重点学习。

实战之中国大学排名定向爬取：

# 导入库
import requests
from bs4 import BeautifulSoup
import bs4
# 1. 从网络上获取大学排名网页内容
def getHTMLText(url):
    try:
        r = requests.get(url, timeout=30) 
        r.raise_for_status()
        r.encoding = r.apparent_encoding
        return r.text
    except:
        return ""
# 2. 提取网页内容中信息到合适的数据结构（二维数组）
# 查看网页源代码，观察并定位到需要爬取内容的标签；
# 使用bs4的查找方法提取所需信息-'排名，学校名称，总分'
def fillUnivList(ulist, html):
    soup = BeautifulSoup(html, "html.parser")
    for tr in soup.find('tbody').children: 
        if isinstance(tr, bs4.element.Tag):
            tds = tr('td')
            # 根据实际提取需要的内容，
            ulist.append([tds[0].string, tds[1].string, tds[3].string])
# 3. 利用数据结构展示并输出结果
# 对中英文混排输出问题进行优化:对format()，设定宽度和添加参数chr(12288)
def printUnivList(ulist, num=20):
    tplt = "{0:^10}\t{1:{3}^10}\t{2:^10}"
    print(tplt.format('排名', '学校名称', '总分', chr(12288)))
    for i in range(num):
        u = ulist[i]
        print(tplt.format(u[0], u[1], u[2], chr(12288)))
u_info = [] # 存储爬取结果的容器
url = 'http://www.zuihaodaxue.cn/zuihaodaxuepaiming2019.html'
html = getHTMLText(url)
fillUnivList(u_info, html) # 爬取
printUnivList(u_info, num=30) # 打印输出30个信息

2、xpath学习与实战

2.1 学习目标： 

学习xpath，使用lxml+xpath提取内容。

使用xpath提取丁香园论坛的回复内容。

抓取丁香园网页：http://www.dxy.cn/bbs/thread/626626#626626 。

2.2 Xpath常用的路径表达式： 

XPath即为XML路径语言（XML Path Language），它是一种用来确定XML文档中某部分位置的语言。
在XPath中，有七种类型的节点：元素、属性、文本、命名空间、处理指令、注释以及文档（根）节点。
XML文档是被作为节点树来对待的。

XPath使用路径表达式在XML文档中选取节点。节点是通过沿着路径选取的。下面列出了最常用的路径表达式：

nodename 选取此节点的所有子节点。

/ 从根节点选取。

// 从匹配选择的当前节点选择文档中的节点，而不考虑它们的位置。

. 选取当前节点。

.. 选取当前节点的父节点。

@ 选取属性。

/text() 提取标签下面的文本内容

如：
/标签名 逐层提取
/标签名 提取所有名为<>的标签
//标签名[@属性=“属性值”] 提取包含属性为属性值的标签
@属性名 代表取某个属性名的属性值
详细学习：https://www.cnblogs.com/gaojun/archive/2012/08/11/2633908.html

2.3 使用lxml解析 

导入库：from lxml import etree

lxml将html文本转成xml对象

	tree = etree.HTML(html)
用户名称：tree.xpath(’//div[@class=“auth”]/a/text()’)

回复内容：tree.xpath(’//td[@class=“postbody”]’) 因为回复内容中有换行等标签，所以需要用string()来获取数据。

	string()的详细见链接：https://www.cnblogs.com/CYHISTW/p/12312570.html
Xpath中text()，string()，data()的区别如下：

	text()仅仅返回所指元素的文本内容。
	string()函数会得到所指元素的所有节点文本内容，这些文本讲会被拼接成一个字符串。
	data()大多数时候，data()函数和string()函数通用，而且不建议经常使用data()函数，有数据表明，该函数会影响XPath的性能。

2.4 实战：爬取丁香园-用户名和回复内容 

# 导入库
from lxml import etree
import requests

url = "http://www.dxy.cn/bbs/thread/626626#626626"
# 1、获取url的html
req = requests.get(url)
html = req.text
# 2、lxml解析html
tree = etree.HTML(html) 
# 3. 利用Xpath表达式获取user和content（重点）
user = tree.xpath('//div[@class="auth"]/a/text()')
content = tree.xpath('//td[@class="postbody"]')
# 4. 保存爬取的内容
results = []
for i in range(0, len(user)):
    # 因为回复内容中有换行等标签，所以需要用string()来获取数据
    results.append(user[i].strip() + ":  " + content[i].xpath('string(.)').strip())
# 打印爬取的结果
for i,result in zip(range(0, len(user)),results):
    print("user"+ str(i+1) + "-" + result)
    print("*"*100)

3 re学习与实战

3.1 为什么使用正则表达式？ 

典型的搜索和替换操作要求您提供与预期的搜索结果匹配的确切文本。虽然这种技术对于对静态文本执行简单搜索和替换任务可能已经足够了，但它缺乏灵活性，若采用这种方法搜索动态文本，即使不是不可能，至少也会变得很困难。

通过使用正则表达式，可以：

- 测试字符串内的模式。
	例如，可以测试输入字符串，以查看字符串内是否出现电话号码模式或信用卡号码模式。这称为数据验证。
- 替换文本。
	可以使用正则表达式来识别文档中的特定文本，完全删除该文本或者用其他文本替换它。
- 基于模式匹配从字符串中提取子字符串。
	可以查找文档内或输入域内特定的文本。
-可以使用正则表达式来搜索和替换标记。

使用正则表达式的优势是什么？ 简洁
正则表达式是用来简洁表达一组字符串的表达式
正则表达式是一种通用的字符串表达框架
正则表达式是一种针对字符串表达“简洁”和“特征”思想的工具
正则表达式可以用来判断某字符串的特征归属
正则表达式在文本处理中十分常用：
同时查找或替换一组字符串
匹配字符串的全部或部分(主要)

3.2 正则表达式语法

正则表达式语法由字符和操作符构成:

常用操作符

. 表示任何单个字符

[ ] 字符集，对单个字符给出取值范围 ，如[abc]表示a、b、c，[a‐z]表示a到z单个字符

[^ ] 非字符集，对单个字符给出排除范围 ，如[^abc]表示非a或b或c的单个字符

* 前一个字符0次或无限次扩展，如abc* 表示 ab、abc、abcc、abccc等

+ 前一个字符1次或无限次扩展 ，如abc+ 表示 abc、abcc、abccc等

? 前一个字符0次或1次扩展 ，如abc? 表示 ab、abc

| 左右表达式任意一个 ，如abc|def 表示 abc、def

{m} 扩展前一个字符m次 ，如ab{2}c表示abbc

{m,n} 扩展前一个字符m至n次（含n） ，如ab{1,2}c表示abc、abbc

^ 匹配字符串开头 ，如^abc表示abc且在一个字符串的开头

$ 匹配字符串结尾 ，如abc$表示abc且在一个字符串的结尾

( ) 分组标记，内部只能使用 | 操作符 ，如(abc)表示abc，(abc|def)表示abc、def

\d 数字，等价于[0‐9]

\w 单词字符，等价于[A‐Za‐z0‐9_]

3.3 正则表达式re库的使用 

调用方式：import re
re库采用raw string类型表示正则表达式，表示为：r'text'，raw string是不包含对转义符再次转义的字符串;

re库的主要功能函数：

re.search() 在一个字符串中搜索匹配正则表达式的第一个位置，返回match对象
	re.search(pattern, string, flags=0)
re.match() 从一个字符串的开始位置起匹配正则表达式，返回match对象
	re.match(pattern, string, flags=0)
re.findall() 搜索字符串，以列表类型返回全部能匹配的子串
	re.findall(pattern, string, flags=0)
re.split() 将一个字符串按照正则表达式匹配结果进行分割，返回列表类型
	re.split(pattern, string, maxsplit=0, flags=0)
re.finditer() 搜索字符串，返回一个匹配结果的迭代类型，每个迭代元素是match对象
	re.finditer(pattern, string, flags=0)
re.sub() 在一个字符串中替换所有匹配正则表达式的子串，返回替换后的字符串
	re.sub(pattern, repl, string, count=0, flags=0)
	flags : 正则表达式使用时的控制标记：
		re.I --> re.IGNORECASE : 忽略正则表达式的大小写，[A‐Z]能够匹配小写字符
		re.M --> re.MULTILINE : 正则表达式中的^操作符能够将给定字符串的每行当作匹配开始
		re.S --> re.DOTALL : 正则表达式中的.操作符能够匹配所有字符，默认匹配除换行外的所有字符

re库的另一种等价用法（编译）

regex = re.compile(pattern, flags=0)：将正则表达式的字符串形式编译成正则表达式对象

re 库的贪婪匹配和最小匹配

.* Re库默认采用贪婪匹配，即输出匹配最长的子串
*? 只要长度输出可能不同的，都可以通过在操作符后增加?变成最小匹配

3.4 实战：淘宝商品比价定向爬虫

爬取网址：https://s.taobao.com/search?q=书包&js=1&stats_click=search_radio_all%25

爬取思路：

提交商品搜索请求，循环获取页面

对于每个页面，提取商品名称和价格信息

将信息输出到屏幕上

实现代码如下：

import requests
import re
def getHTMLText(url):
    """
    请求获取html，（字符串）
    :param url: 爬取网址
    :return: 字符串
    """
    try:
        # 添加头信息,
        kv = {
            'cookie': 'cna=/djLFQ8jF2ACAXWINWH5tONp; miid=1550538301329058581; hng=CN%7Czh-CN%7CCNY%7C156; thw=cn; _samesite_flag_=true; cookie2=18e02cf90d454c8cb926a114f60ec7cc; t=688ab2add990e3bffb0ed2a50ed372a6; _tb_token_=eb3da51a61f59; sgcookie=ECGrrC7L0rNhRvhN%2B1145; unb=4210925800; uc3=lg2=U%2BGCWk%2F75gdr5Q%3D%3D&id2=Vy65UIACXO2M1g%3D%3D&vt3=F8dBxGR1SmOsGPiY82E%3D&nk2=F5RMGyVIy88whPU%3D; csg=3ce250f7; lgc=tb926953644; cookie17=Vy65UIACXO2M1g%3D%3D; dnk=tb926953644; skt=8e1b9d0b02177148; existShop=MTU4NzYzOTY0Mg%3D%3D; uc4=nk4=0%40FY4HXg9QErMhoZFWuJFJVNeezM6cXg%3D%3D&id4=0%40VXkerg5gGAYhi1vj74vRDu5h8rY4; tracknick=tb926953644; _cc_=URm48syIZQ%3D%3D; _l_g_=Ug%3D%3D; sg=40e; _nk_=tb926953644; cookie1=ACux%2Fc1GxpWNNJyD3iL%2BFynlCW5Ee7Kf63jSrmtUsqU%3D; tfstk=cKURBvw4etXo82NrbyImRhCFnzCGaA6KhQMHJ69Py1kN8tTwSsXTSPlEKgGBeqCA.; enc=a552yClWGHYG%2FJ5A40IGImVJ%2FBLDMVEw8f3Xgy8g0boJ9eryWA2QY%2FE4RFJD1KKCJ7FoRcSsBp2Un540LK1taA%3D%3D; mt=ci=31_1; v=0; uc1=cookie16=WqG3DMC9UpAPBHGz5QBErFxlCA%3D%3D&cookie21=W5iHLLyFe3xm&cookie15=W5iHLLyFOGW7aA%3D%3D&existShop=false&pas=0&cookie14=UoTUPcqfFetGuw%3D%3D; JSESSIONID=1E7324D67003202D798CD0F5DE2668C9; isg=BJycKuUFLg4Esdm1F5aeOK_AbbpOFUA_AfYh3Had4gdqwT1Lnib0z1V3ISk5z3iX; l=eBMvzQKIqfn3dCYMBOfaPurza77TKIRbouPzaNbMiT5POTCp5qeGWZjXETT9CnGVHs6pR37el_8YBAYNcydqJxpsw3k_J_qI3dC..',
            'user-agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 Safari/537.36'
        }
        r = requests.get(url, timeout=30, headers=kv)
        # r = requests.get(url, timeout=30)
        # print(r.status_code)
        r.raise_for_status()
        r.encoding = r.apparent_encoding
        return r.text
    except:
        return "爬取失败"
def parsePage(glist, html):
    '''
    解析网页，搜索需要的信息
    :param glist: 列表作为存储容器
    :param html: 由getHTMLText()得到的
    :return: 商品信息的列表
    '''
    try:
        # 使用正则表达式提取信息
        price_list = re.findall(r'\"view_price\"\:\"[\d\.]*\"', html)
        name_list = re.findall(r'\"raw_title\"\:\".*?\"', html)
        for i in range(len(price_list)):
            price = eval(price_list[i].split(":")[1])  #eval（）在此可以去掉""
            name = eval(name_list[i].split(":")[1])
            glist.append([price, name])
    except:
        print("解析失败")
def printGoodList(glist):
    tplt = "{0:^4}\t{1:^6}\t{2:^10}"
    print(tplt.format("序号", "商品价格", "商品名称"))
    count = 0
    for g in glist:
        count = count + 1
        print(tplt.format(count, g[0], g[1]))
# 根据页面url的变化寻找规律，构建爬取url
goods_name = "书包"  # 搜索商品类型
start_url = "https://s.taobao.com/search?q=" + goods_name
info_list = []
page = 3  # 爬取页面数量
count = 0
for i in range(page):
    count += 1
    try:
        url = start_url + "&s=" + str(44 * i)
        html = getHTMLText(url)  # 爬取url
        parsePage(info_list, html) #解析HTML和爬取内容
        print("\r爬取页面当前进度: {:.2f}%".format(count * 100 / page), end="")  # 显示进度条
    except:
        continue
print()
printGoodList(info_list)
爬虫学习 正则表达式
上一篇: 爬虫实战——绝对通俗易懂，爬取房产数据爬虫介绍实战目标1.获取url2.利用BeautifulSoup获取html的索引3.查找所需数据索引4.正则表达式获取所需要的信息完整代码
下一篇: 小白的python爬虫入门学习记录一、准备工作二、工作逻辑三、案例

继续阅读