Python &1 簡單爬蟲的實作

通過一個簡單的資料擷取初步認識爬蟲，例如從中國大學排名網站擷取大學排名

大學排名爬蟲的建構需要三步：

第一，從網絡上擷取網頁内容

第二，分析網頁内容并提取有用的資料到資料結構中

第三，利用資料結構展示或進每一步資料處理

具體說就是采用request庫爬取網頁内容，用beautsoup4庫分析網頁中的資料，提取答案學排名及相關資料，儲存在二位清單中，最後采取使用者偏好的方式展示出來

代碼如下

import requests
from bs4 import BeautifulSoup
allUniv = []
def getHTMLText(url):
    try:
        r = requests.get(url,timeout=30)
        r.raise_for_status()
        r.encoding = 'utf-8'
        return r.text
    except:
        return ""
def fillUnivList(soup):
    data = soup.find_all('tr')
    for tr in data:
        ltd = tr.find_all('td')
        if len(ltd)==0:
            continue
        singleUniv = []
        for td in ltd:
            singleUniv.append(td.string)
        allUniv.append(singleUniv)
def printUnivList(num):
    print("{1:^2}{2:{0}^10}{3:{0}^6}{4:{0}^4}{5:{0}^10}".format(chr(12288),"排名","學校名稱","省市","總分","培養規模"))
    for i in range(num):
        u=allUniv[i]
        print("{1:^4}{2:{0}^10}{3:{0}^5}{4:{0}^8.1f}{5:{0}^10}".format(chr(12288),u[0],u[1],u[2],eval(u[3]),u[6]))
def main(num):
    url = 'http://www.zuihaodaxue.cn/zuihaodaxuepaiming2019.html'
    html = getHTMLText(url)
    soup = BeautifulSoup(html, "html.parser")
    fillUnivList(soup)
    printUnivList(num)
main(30)
           

最後main()裡面的數可以改變擷取前多少名的資料。

接下來看一下運作結果