使用lxml解析HTML网页并批量获取数据

当我们需要从网页中获取一些需要的数据时，我们可以使用一些html网页分析的函数库来快速的获取数据。目前有多款解析HTML网页的第三方库可供使用，例如lxml，beautiful soup等等。下面以lxml为例从网页中爬取我们需要的统计数据

我希望从北京公交网站获取北京公交的所有线路信息，从而为后续处理做准备

首先引用requests用于向网页发出访问请求，获取html网页原始数据

import requests

再引用lxml中的etree类

import lxml.etree

首先输入我们起始的爬取地址，公交线路网页的索引页，以此为起点，获取所有的线路对应的url的值

lxml.etree将html网页按照标签进行一层一层的划分，形成逐渐向下生长的树结构，我们通过查看网页的源代码找到我们想要的数据在哪个标签内，使用xpath函数提取对应标签内的数据`

```python
import requests
import lxml.etree

def get_all_line():
      url = 'http://beijing.gongjiao.com/lines_all.html'
      text = requests.get(url).text
      doc = lxml.etree.HTML(text)
      all_lines = doc.xpath("//div[@class='list']/ul/li")
      f=open("./data/"+'allline.txt','a')
      print(len(all_lines))
      for line in all_lines:
            line_name = line.xpath("./a/text()")[0].strip()
       　  line_url = line.xpath("./a/@href")[0]
       　    f.write(line_name+'$$'+line_url+'\n')
       f.close()
           

这样我们获得了所有线路对应的url，在此基础上再依次爬取每一个线路网页的相关数据
在爬取线路数据之前，我们需要先建立字典用于保存不同字段的数据，便于管理。根据需要，我建立了一个13个字段的字典