网络爬虫的好处
将爬虫过程自动化，避免了手工收集数据，节省时间，还可以让所有数据都放在一个结构化文件中。
网页抓取常见python 库
● Beautiful Soup
● Requests
● Scrapy
● Selenium
网络爬虫的步骤
● 连接到网页
● 使用BeautifulSoup解析html
● 循环通过soup对象找到元素
● 执行一些简单的数据清理
● 将数据写入csv
实例分析–利用Beautiful Soup从Fast Track上收集2018年百强公司的数据（http://www.fasttrack.co.uk/）
使用Beautiful Soup解析网页html
-
step1:导入将用于网络爬虫的库
BeautifulSoup，有助于我们处理html；我们导入的下一个库是urllib，它连接到网页；最后，我们将输出写入csv，因此我们还需要导入csv 库。
#导入库
from bs4 import BeautifulSoup
import urllib.request
import csv
-
step2:定义正在抓取的网址
地址栏中的完整url：
urlpage = ‘http://www.fasttrack.co.uk/league-tables/tech-track-100/league-table/’
- step3:建立与网页的连接，使用BeautifulSoup解析html，将对象存储在变量’soup’中：
-
step4:查询网站并将HTML返回到变量“页面”
page = urllib.request.urlopen(urlpage)
#使用beautiful soup 解释 HTML并存储在变量’soup’中
soup = BeautifulSoup(page, ‘html.parser’)
打印soup变量，它应该返回我们请求网页的完整解析的html。
print(soup)
搜索html元素
-
使用find 方法搜索表的soup对象
table = soup.find(‘table’, attrs={‘class’: ‘tableSorter’})
-
然后再使用find_all 方法查找表中的每一行
results = table.find_all(‘tr’)
print(‘Number of results’, len(results))
循环遍历元素并保存变量
-
定义rows表格和列名
rows = []
rows.append([‘Rank’, ‘Company Name’, ‘Webpage’, ‘Description’, ‘Location’, ‘Year end’, ‘Annual sales rise over 3 years’, ‘Sales £000s’, ‘Staff’, ‘Comments’])
print(rows)
其中，表格Webpage和Description是额外的字段
-
循环中查找结果：
#循环结果
for result in results:
#找到每个结果的所有列
data = result.find_all(‘td’)
#检查列是否有数据
if len(data) == 0:
continue
-
处理数据并保存到变量中。
rank = data[0].getText()
company = data[1].getText()
location = data[2].getText()
yearend = data[3].getText()
salesrise = data[4].getText()
sales = data[5].getText()
staff = data[6].getText()
comments = data[7].getText()
-
进一步清理以删除不需要的字符或提取更多信息
company 有两个字段，用find方法保存元素（只含公司名称）
companyname = data[1].find(‘span’, attrs={‘class’:‘company-name’}).getText()
然后使用strip 或replace 从company 变量中删除公司名称，这样它只留下描述
description = company.replace(companyname, ‘’)
sales = sales.strip(’*’).strip(’†’).replace(’,’,’’)
从每个表中抓取url并将其保存为变量，使用与上面相同的步骤：
● 在fast track网站上找到具有公司页面网址的元素
● 向每个公司页面网址发出请求
● 使用Beautifulsoup解析html
● 找到感兴趣的元素
第二列包含指向另一个页面的链接，该页面具有每个公司的概述, 每个公司页面都有一个表格，大部分时间都包含公司网站（网址位于表格的最后一行，因此我们可以在最后一行内搜索）
#连接并摘取公司网站
url = data[1].find(‘a’).get(‘href’)
page = urllib.request.urlopen(url)
#解析HTML
soup = BeautifulSoup(page, ‘html.parser’)
#查找表中的最后结果并获得链接
try:
tableRow = soup.find(‘table’).find_all(‘tr’)[-1]
webpage = tableRow.find(‘a’).get(‘href’)
except:
webpage = None
（有可能出现公司网站未显示的情况，使用try except条件，以防万一找不到网址）
写入输出文件
with open(‘techtrack100.csv’,‘w’, newline=’’) as f_output:
csv_output = csv.writer(f_output)
csv_output.writerows(rows)
参考https://github.com/kaparker/tutorials/blob/master/pythonscraper/websitescrapefasttrack.py
云栖社区合作伙伴Kerry Parker