Python &1 简单爬虫的实现

通过一个简单的数据获取初步认识爬虫，例如从中国大学排名网站获取大学排名

大学排名爬虫的构建需要三步：

第一，从网络上获取网页内容

第二，分析网页内容并提取有用的数据到数据结构中

第三，利用数据结构展示或进每一步数据处理

具体说就是采用request库爬取网页内容，用beautsoup4库分析网页中的数据，提取答案学排名及相关数据，储存在二位列表中，最后采取用户偏好的方式展示出来

代码如下

import requests
from bs4 import BeautifulSoup
allUniv = []
def getHTMLText(url):
    try:
        r = requests.get(url,timeout=30)
        r.raise_for_status()
        r.encoding = 'utf-8'
        return r.text
    except:
        return ""
def fillUnivList(soup):
    data = soup.find_all('tr')
    for tr in data:
        ltd = tr.find_all('td')
        if len(ltd)==0:
            continue
        singleUniv = []
        for td in ltd:
            singleUniv.append(td.string)
        allUniv.append(singleUniv)
def printUnivList(num):
    print("{1:^2}{2:{0}^10}{3:{0}^6}{4:{0}^4}{5:{0}^10}".format(chr(12288),"排名","学校名称","省市","总分","培养规模"))
    for i in range(num):
        u=allUniv[i]
        print("{1:^4}{2:{0}^10}{3:{0}^5}{4:{0}^8.1f}{5:{0}^10}".format(chr(12288),u[0],u[1],u[2],eval(u[3]),u[6]))
def main(num):
    url = 'http://www.zuihaodaxue.cn/zuihaodaxuepaiming2019.html'
    html = getHTMLText(url)
    soup = BeautifulSoup(html, "html.parser")
    fillUnivList(soup)
    printUnivList(num)
main(30)
           

最后main()里面的数可以改变获取前多少名的数据。

接下来看一下运行结果