Python使用BeautifulSoup與Requests爬取大學排名

我們經常看到各種大學排行榜

那能不能通過爬蟲随時知道學校的排名呢

當然可以

看看下面抓取的效果圖

那麼具體怎麼實作呢

實作工具

pycharm+BeautifulSoup+requests

具體代碼

import requests
from bs4 import BeautifulSoup
import bs4

def getHTMLText(url):
    try:
        r = requests.get(url,timeout = 30)
        r.raise_for_status()
        r.encoding = r.apparent_encoding
        return r.text
    except:
        print("getError")
        return ""
    return ""

def fillUnivList(ulist,html):
    soup = BeautifulSoup(html,"html.parser")
    for tr in soup.find('tbody').children:
        print(tr)
        if isinstance(tr,bs4.element.Tag):
            tds = tr('td')
            ulist.append([tds[0].string,tds[1].string,tds[3].string])

def printUnivList(ulist,num):
    tplt = "{0:^10}\t{1:{3}^10}\t{2:^10}"
    print(tplt.format("排名","學校名稱","分數",chr(12288)))
    for i in range(num):
        u = ulist[i]
        print(tplt.format(u[0],u[1],u[2],chr(12288)))
        
def main():
    unifo = []
    url = "http://www.zuihaodaxue.cn/zuihaodaxuepaiming2019.html"
    html = getHTMLText(url)
    fillUnivList(unifo,html)
    printUnivList(unifo,100)

main()
           

代碼分析

網站分析

這次我們爬取的是最好大學網2019年的大學排名

首先用requests請求網頁

并且加上異常處理

def getHTMLText(url):
    try:
        r = requests.get(url,timeout = 30)
        r.raise_for_status()
        r.encoding = r.apparent_encoding
        return r.text
    except:
        print("getError")
        return ""
    return ""
           

然後使用Beautifulsoup解析網頁

結構分析
排名位于tbody标簽下
每個tr标簽是一個學校的資訊
tr标簽下有多個td标簽，儲存有該學校的各類名額
周遊tr标簽 tr标簽是tbody标簽的孩子
           

def fillUnivList(ulist,html):
    soup = BeautifulSoup(html,"html.parser")
    for tr in soup.find('tbody').children:
        print(tr)
        if isinstance(tr,bs4.element.Tag):
            # 擷取tr标簽下的td标簽
            tds = tr('td')
            # 擷取相關名額 隻需要第 0 1 3 個相關td标簽，分别是學校名稱，排名，分數
            ulist.append([tds[0].string,tds[1].string,tds[3].string])
           

列印前100的榜單

def printUnivList(ulist,num):
    # 優化，解決中文不對齊問題
    #^num   num代表占位
    tplt = "{0:^10}\t{1:{3}^10}\t{2:^10}"
    # chr(12288)是中文空白符
    print(tplt.format("排名","學校名稱","分數",chr(12288)))
    for i in range(num):
        u = ulist[i]
        print(tplt.format(u[0],u[1],u[2],chr(12288)))
           

最後成功發現了我的學校