Python爬虫（四）lxml、xpath

安装

pip install lxml
           

模块导入

from lxml import etree
           

使用xpath查询

解析html源代码，得到html节点对象

html=etree.HTML(r.text)

查看html元素节点的内容

print(etree.tostring(html,encoding="utf-8").decode("utf-8"))

查找节点

xpath() 返回查找到的元素列表

nodename，直接写节点名称，查找标签，/代表层级

html.xpath("head") #查找head标签

html.xpath("head/title") #查找head标签下的title标签

html.xpath("body/div") #查找body下的所有div列表，bs4的.语法只能找到第一个

/开头代表最顶层

html.xpath("/html/head") #查找根节点下的html节点下一层的head

//代表从任意位置查找节点

html.xpath("//img") #查找任意位置的img标签，所有的img标签列表

html.xpath("//li/div") #查找所有li标签下面的div标签

属性查找 @ 符号使用

html.xpath("//li[@class='column']") #查找class是column的所有li元素列表

如果有多个class，比如<div class='nav1 nav2 nav3'>

html.xpath("//div[@class='nav1']") #无法找到

html.xpath("//div[@class='nav1 nav2 nav3']")  #可以找到

属性查找的是等于class的，少一个字符都不行

contains()函数，xpath语法的包含

html.xpath("//div[contains(@class,'nav1')]") # class中包含nav1的所有div节点

. 当前层级

div.xpath(".//img/@src")

搜索div当前节点下的所有img的src属性列表

.. 上一层及

谓语

html.xpath("//li[@class='column'][1]") # 找到class为column的li标签的第一个元素

html.xpath("//li[@class='column']/ul/li[1]") # 找到class为column的li标签下的ul下的第一个li

last() 最后一个

html.xpath("//li[@class='column']/ul/li[last()]") # ul下的最后一个li

html.xpath("//li[@class='column']/ul/li[last()-1]") # ul下的倒数第二个li

html.xpath("//li[@class='column']/ul/li[last()-1]") # ul下的倒数第二个li

position()

html.xpath("//li[@class='column']/ul/li[position()=2 or position()=4]") # ul下的第二个li 和第四个li

html.xpath("//li[@class='column']/ul/li[position()>=2 and position()<=4]") # ul下的第2、3、4个li 

text搜索

不用@，后续补充

选取未知节点

未知节点类型

html.xpath("//*[@class='column']") # 找到class为column的所有节点

未知属性名

html.xpath("//*[@*='container']") # 选取任意属性为container的所有节点

未知属性值，只知道有该属性

html.xpath("//*[@data-id]") # 选取包含data-id属性的所有标签，不考虑属性值

选取标签下的所有节点

node() 获取所有子孙节点，包括换行。等于bs4里面的contents

html.xpath("//head/node()") 

xpath运算符

获取文本和属性

文本

text()  只能获取该节点的文本

string() 获取该节点下和所有子孙节点的所有文本

html.xpath("//h1/text()") # 返回的是列表集

html.xpath("//h1//text()") # 搜索h1节点下的所有文本列表

html.xpath("string(//div)") # 获取第一个div下的所有文本内容

属性获取

标签/@属性

html.xpath("//img/@src") #获取所有img标签的src属性，列表