網絡爬蟲_BeautifulSoup

import requests
from bs4 import BeautifulSoup




r = requests.get("https://www.python123.io/ws/demo.html")
demo = r.text  # demo擷取url所有源代碼




# BeautifulSoup 解析網頁源代碼
# 格式：BeautifulSoup('url', 'html.parser')
# 格式：BeautifulSoup(open('file'), 'html.parser')
soup = BeautifulSoup(demo, 'html.parser')  # html.parser解析器
print(soup.prettify())  # 檢視解析内容




"""BeautifulSoup庫的基本元素


<p class="title">...</p>
<></>: 标簽，成對出現。
p: 名字。             # <tag>.name
class="title": 屬性。 # <tag>.attrs
...: 字元串。         # <tag>.string """




# BeautifulSoup 基本操作
url = "https://www.python123.io/ws/demo.html"
r = requests.get(url)
demo = r.text
soup = BeautifulSoup(demo, 'html.parser')
print(soup.title)
a = soup.a  # 傳回a标簽，隻擷取第一個a标簽。
a_name = soup.a.name  # 擷取a标簽的名字
a_parent_name = soup.a.parent.name  # 擷取a标簽上一層标簽的名字
print(a.attrs)  # a标簽屬性
print(a.string)  # a标簽内容




print(soup.prettify())  # HTML格式化和編碼




# 擷取頁面中所有url内容。
soup = BeautifulSoup(demo, "html.parser")
for link in soup.find_all('a'):
    print(link.get('href'))








# 基于bs4庫中HTML查找方法。
import requests
from bs4 import BeautifulSoup




url = "https://www.python123.io/ws/demo.html"
r = requests.get(url)
demo = r.text
soup = BeautifulSoup(demo, "html.parser")
for tag in soup.find_all(True):
    print(tag.name)
"""<>.find_all()


<>.find_all(name, attrs, recursive, string, **kwargs)
name  # 對标簽名稱的檢索字元串。
attrs  # 對屬性值檢索。
resursive  # 是否對子孫檢索，預設True。
string  # 對<>...</>區域檢索。
**kwargs 


擴充方法
<>.find()  # 同find_all()隻傳回一個結果。
<>.find_parents()  # 在先輩節點中搜尋。
<>.find_parent()  # 在先輩節點中搜尋，隻傳回一個元素。
<>.find_next_siblings()  # 後續平行節點中搜尋。
<>.find_next_sibling()  # 後續平行節點中搜尋，隻傳回一個元素。
<>.find_previous_siblings()  # 前序平行節點中搜尋。
<>.find_previous_sibling()  # 前序平行節點中搜尋，隻傳回一個元素。"""






# 爬取中國大學排名前20大學排名總分名稱
import requests
from bs4 import BeautifulSoup
import bs4




def get_html_text(url):
    """擷取url中的text資訊"""
    try:
        r = requests.get(url, timeout=30)
        r.raise_for_status()
        r.encoding = r.apparent_encoding
        return r.text
    except():
        return ""




def fill_univ_list(u_list, html):
    """将text中的資訊存入u_list中"""
    soup = BeautifulSoup(html, 'html.parser')
    for tr in soup.find('tbody'):
        if isinstance(tr, bs4.element.Tag):  # 檢測标簽類型
            tds = tr('td')
            u_list.append([tds[0].string, tds[1].string, tds[3].string])  # 将排名的參數作為字元串存儲




def print_univ_list(u_list, num):
    """輸出u_list中的資訊"""
    print("{:^10}\t{:^6}\t{:^10}".format("排名", "學校名稱", "總分"))
    for i in range(num):
        u = u_list[i]
        print("{:^10}\t{:^6}\t{:^10}".format(u[0], u[1], u[2]))
    print("Suc" + str(num))




def main():
    u_info = []
    url = "http://www.zuihaodaxue.cn/zuihaodaxuepaiming2016.html"
    html = get_html_text(url)
    fill_univ_list(u_info, html)
    print_univ_list(u_info, 20)  # 20所學校相關資訊




if __name__ == "__main__":
    main()