洗禮靈魂，修煉python（71）--爬蟲篇—【轉載】xpath/lxml子產品，爬蟲精髓講解

Xpath，lxml子產品用法

轉載的原因和前面的一樣，我寫的沒别人寫的好，是以我也不浪費時間了，直接轉載這位崔慶才大佬的

原帖連結：傳送門

以下為轉載内容：

--------------------------------------------------------------------------------------------------------------------------------

參考來源

lxml用法源自 lxml python 官方文檔，更多内容請直接參閱官方文檔，本文對其進行翻譯與整理。

lxml

XPath文法參考 w3school

w3school

安裝

pip install lxml

利用 pip 安裝即可

XPath文法

XPath 是一門在 XML 文檔中查找資訊的語言。XPath 可用來在 XML 文檔中對元素和屬性進行周遊。XPath 是 W3C XSLT 标準的主要元素，并且 XQuery 和 XPointer 都建構于 XPath 表達之上。

節點關系

（1）父（Parent）

每個元素以及屬性都有一個父。

在下面的例子中，book 元素是 title、author、year 以及 price 元素的父：

<book> <title>Harry Potter</title> <author>J K. Rowling</author> <year>2005</year> <price>29.99</price> </book>

（2）子（Children）

元素節點可有零個、一個或多個子。

在下面的例子中，title、author、year 以及 price 元素都是 book 元素的子：

<book> <title>Harry Potter</title> <author>J K. Rowling</author> <year>2005</year> <price>29.99</price> </book>

（3）同胞（Sibling）

擁有相同的父的節點

在下面的例子中，title、author、year 以及 price 元素都是同胞：

<book> <title>Harry Potter</title> <author>J K. Rowling</author> <year>2005</year> <price>29.99</price> </book>

（4）先輩（Ancestor）

某節點的父、父的父，等等。

在下面的例子中，title 元素的先輩是 book 元素和 bookstore 元素：

<bookstore> <book> <title>Harry Potter</title> <author>J K. Rowling</author> <year>2005</year> <price>29.99</price> </book> </bookstore>

（5）後代（Descendant）

某個節點的子，子的子，等等。

在下面的例子中，bookstore 的後代是 book、title、author、year 以及 price 元素：

<bookstore> <book> <title>Harry Potter</title> <author>J K. Rowling</author> <year>2005</year> <price>29.99</price> </book> </bookstore>

選取節點

XPath 使用路徑表達式在 XML 文檔中選取節點。節點是通過沿着路徑或者 step 來選取的。

下面列出了最有用的路徑表達式：

表達式	描述
nodename	選取此節點的所有子節點。
/	從根節點選取。
//	從比對選擇的目前節點選擇文檔中的節點，而不考慮它們的位置。
.	選取目前節點。
..	選取目前節點的父節點。
@	選取屬性。

執行個體

在下面的表格中，我們已列出了一些路徑表達式以及表達式的結果：

路徑表達式	結果
bookstore	選取 bookstore 元素的所有子節點。
/bookstore	選取根元素 bookstore。注釋：假如路徑起始于正斜杠( / )，則此路徑始終代表到某元素的絕對路徑！
bookstore/book	選取屬于 bookstore 的子元素的所有 book 元素。
//book	選取所有 book 子元素，而不管它們在文檔中的位置。
bookstore//book	選擇屬于 bookstore 元素的後代的所有 book 元素，而不管它們位于 bookstore 之下的什麼位置。
//@lang	選取名為 lang 的所有屬性。

謂語（Predicates）

謂語用來查找某個特定的節點或者包含某個指定的值的節點。

謂語被嵌在方括号中。

執行個體

在下面的表格中，我們列出了帶有謂語的一些路徑表達式，以及表達式的結果：

路徑表達式	結果
/bookstore/book[1]	選取屬于 bookstore 子元素的第一個 book 元素。
/bookstore/book[last()]	選取屬于 bookstore 子元素的最後一個 book 元素。
/bookstore/book[last()-1]	選取屬于 bookstore 子元素的倒數第二個 book 元素。
/bookstore/book[position()<3]	選取最前面的兩個屬于 bookstore 元素的子元素的 book 元素。
//title[@lang]	選取所有擁有名為 lang 的屬性的 title 元素。
//title[@left">選取所有 title 元素，且這些元素擁有值為 eng 的 lang 屬性。
/bookstore/book[price>35.00]	選取 bookstore 元素的所有 book 元素，且其中的 price 元素的值須大于 35.00。
/bookstore/book[price>35.00]/title	選取 bookstore 元素中的 book 元素的所有 title 元素，且其中的 price 元素的值須大于 35.00。

選取未知節點

XPath 通配符可用來選取未知的 XML 元素。

通配符	描述
*	比對任何元素節點。
@*	比對任何屬性節點。
node()	比對任何類型的節點。

執行個體

在下面的表格中，我們列出了一些路徑表達式，以及這些表達式的結果：

路徑表達式	結果
/bookstore/*	選取 bookstore 元素的所有子元素。
//*	選取文檔中的所有元素。
//title[@*]	選取所有帶有屬性的 title 元素。

選取若幹路徑

通過在路徑表達式中使用“|”運算符，您可以選取若幹個路徑。

執行個體

在下面的表格中，我們列出了一些路徑表達式，以及這些表達式的結果：

路徑表達式	結果
//book/title | //book/price	選取 book 元素的所有 title 和 price 元素。
//title | //price	選取文檔中的所有 title 和 price 元素。
/bookstore/book/title | //price	選取屬于 bookstore 元素的 book 元素的所有 title 元素，以及文檔中所有的 price 元素。

XPath 運算符

下面列出了可用在 XPath 表達式中的運算符：

運算符	描述	執行個體	傳回值
|	計算兩個節點集	//book | //cd	傳回所有擁有 book 和 cd 元素的節點集
+	加法	6 + 4	10
–	減法	6 – 4	2
*	乘法	6 * 4	24
div	除法	8 div 4	2
=	等于	price=9.80	如果 price 是 9.80，則傳回 true。如果 price 是 9.90，則傳回 false。
!=	不等于	price!=9.80	如果 price 是 9.90，則傳回 true。如果 price 是 9.80，則傳回 false。
<	小于	price<9.80	如果 price 是 9.00，則傳回 true。如果 price 是 9.90，則傳回 false。
<=	小于或等于	price<=9.80	如果 price 是 9.00，則傳回 true。如果 price 是 9.90，則傳回 false。
>	大于	price>9.80	如果 price 是 9.90，則傳回 true。如果 price 是 9.80，則傳回 false。
>=	大于或等于	price>=9.80	如果 price 是 9.90，則傳回 true。如果 price 是 9.70，則傳回 false。
or	或	price=9.80 or price=9.70	如果 price 是 9.80，則傳回 true。如果 price 是 9.50，則傳回 false。
and	與	price>9.00 and price<9.90	如果 price 是 9.80，則傳回 true。如果 price 是 8.50，則傳回 false。
mod	計算除法的餘數	5 mod 2	1

lxml用法

初步使用

首先我們利用它來解析 HTML 代碼，先來一個小例子來感受一下它的基本用法。

from lxml import etree text = ''' <div> <ul> <li class="item-0"><a href="link1.html" target="_blank" rel="external nofollow" target="_blank" rel="external nofollow" target="_blank" rel="external nofollow" target="_blank" rel="external nofollow" >first item</a></li> <li class="item-1"><a href="link2.html" target="_blank" rel="external nofollow" target="_blank" rel="external nofollow" target="_blank" rel="external nofollow" >second item</a></li> <li class="item-inactive"><a href="link3.html" target="_blank" rel="external nofollow" target="_blank" rel="external nofollow" target="_blank" rel="external nofollow" >third item</a></li> <li class="item-1"><a href="link4.html" target="_blank" rel="external nofollow" target="_blank" rel="external nofollow" target="_blank" rel="external nofollow" >fourth item</a></li> <li class="item-0"><a href="link5.html" target="_blank" rel="external nofollow" target="_blank" rel="external nofollow" target="_blank" rel="external nofollow" >fifth item</a> </ul> </div> ''' html = etree.HTML(text) result = etree.tostring(html) print(result)

首先我們使用 lxml 的 etree 庫，然後利用 etree.HTML 初始化，然後我們将其列印出來。

其中，這裡展現了 lxml 的一個非常實用的功能就是自動修正 html 代碼，大家應該注意到了，最後一個 li 标簽，其實我把尾标簽删掉了，是不閉合的。不過，lxml 因為繼承了 libxml2 的特性，具有自動修正 HTML 代碼的功能。

是以輸出結果是這樣的

<html><body> <div> <ul> <li class="item-0"><a href="link1.html" target="_blank" rel="external nofollow" target="_blank" rel="external nofollow" target="_blank" rel="external nofollow" target="_blank" rel="external nofollow" >first item</a></li> <li class="item-1"><a href="link2.html" target="_blank" rel="external nofollow" target="_blank" rel="external nofollow" target="_blank" rel="external nofollow" >second item</a></li> <li class="item-inactive"><a href="link3.html" target="_blank" rel="external nofollow" target="_blank" rel="external nofollow" target="_blank" rel="external nofollow" >third item</a></li> <li class="item-1"><a href="link4.html" target="_blank" rel="external nofollow" target="_blank" rel="external nofollow" target="_blank" rel="external nofollow" >fourth item</a></li> <li class="item-0"><a href="link5.html" target="_blank" rel="external nofollow" target="_blank" rel="external nofollow" target="_blank" rel="external nofollow" >fifth item</a></li> </ul> </div> </body></html>

不僅補全了 li 标簽，還添加了 body，html 标簽。

檔案讀取

除了直接讀取字元串，還支援從檔案讀取内容。比如我們建立一個檔案叫做 hello.html，内容為

<div> <ul> <li class="item-0"><a href="link1.html" target="_blank" rel="external nofollow" target="_blank" rel="external nofollow" target="_blank" rel="external nofollow" target="_blank" rel="external nofollow" >first item</a></li> <li class="item-1"><a href="link2.html" target="_blank" rel="external nofollow" target="_blank" rel="external nofollow" target="_blank" rel="external nofollow" >second item</a></li> <li class="item-inactive"><a href="link3.html" target="_blank" rel="external nofollow" target="_blank" rel="external nofollow" target="_blank" rel="external nofollow" ><span class="bold">third item</span></a></li> <li class="item-1"><a href="link4.html" target="_blank" rel="external nofollow" target="_blank" rel="external nofollow" target="_blank" rel="external nofollow" >fourth item</a></li> <li class="item-0"><a href="link5.html" target="_blank" rel="external nofollow" target="_blank" rel="external nofollow" target="_blank" rel="external nofollow" >fifth item</a></li> </ul> </div>

利用 parse 方法來讀取檔案。

from lxml import etree html = etree.parse('hello.html') result = etree.tostring(html, pretty_print=True) print(result)

同樣可以得到相同的結果。

XPath執行個體測試

依然以上一段程式為例

（1）擷取所有的 <li> 标簽

from lxml import etree html = etree.parse('hello.html') print type(html) result = html.xpath('//li') print result print len(result) print type(result) print type(result[0])

運作結果

<type 'lxml.etree._ElementTree'> [<Element li at 0x1014e0e18>, <Element li at 0x1014e0ef0>, <Element li at 0x1014e0f38>, <Element li at 0x1014e0f80>, <Element li at 0x1014e0fc8>] 5 <type 'list'> <type 'lxml.etree._Element'>

可見，etree.parse 的類型是 ElementTree，通過調用 xpath 以後，得到了一個清單，包含了 5 個 <li> 元素，每個元素都是 Element 類型

（2）擷取 <li> 标簽的所有 class

result = html.xpath('//li/@class') print result

運作結果

['item-0', 'item-1', 'item-inactive', 'item-1', 'item-0']

（3）擷取 <li> 标簽下 href 為 link1.html 的 <a> 标簽

result = html.xpath('//li/a[@href="link1.html" target="_blank" rel="external nofollow" target="_blank" rel="external nofollow" target="_blank" rel="external nofollow" target="_blank" rel="external nofollow" ]') print result

運作結果

[<Element a at 0x10ffaae18>]

（4）擷取 <li> 标簽下的所有 <span> 标簽

注意這麼寫是不對的

result = html.xpath('//li/span')

因為 / 是用來擷取子元素的，而 <span> 并不是 <li> 的子元素，是以，要用雙斜杠

result = html.xpath('//li//span') print result

運作結果

[<Element span at 0x10d698e18>]

（5）擷取 <li> 标簽下的所有 class，不包括 <li>

result = html.xpath('//li/a//@class') print result

運作結果

['blod']

（6）擷取最後一個 <li> 的 <a> 的 href

result = html.xpath('//li[last()]/a/@href') print result

運作結果

['link5.html']

（7）擷取倒數第二個元素的内容

result = html.xpath('//li[last()-1]/a') print result[0].text

運作結果

fourth item

（8）擷取 class 為 bold 的标簽名

result = html.xpath('//*[@class="bold"]') print result[0].tag

結果

span

通過以上執行個體的練習，相信大家對 XPath 的基本用法有了基本的了解。也可以利用 text 方法來擷取元素的内容。

大家多加練習！

結語

XPath 是一個非常好用的解析方法，同時也作為爬蟲學習的基礎，在後面的 selenium 以及 scrapy 架構中都會涉及到這部分知識，希望大家可以把它的文法掌握清楚，為後面的深入研究做好鋪墊

--------------------------------------------------------------------------------------------------------------------------------

以上為轉載内容

爬蟲精髓視訊講解

也是那位大佬的傑作，可以看下，絕對有收獲

爬蟲精髓連結：Python3爬蟲三大案例實戰分享

爬取知乎：爬取知乎所有使用者詳細資訊

有了上面知識的儲備，後期學習就更輕松了，爬蟲篇也快結束了，爬蟲過了就真的到項目進階實戰了

轉載于:https://www.cnblogs.com/Eeyhan/p/7919867.html