bs4 子產品的 BeautifulSoup 可以用來爬取html頁面的内容,配合requests庫可以寫簡單的爬蟲。
1、利用requests請求html頁面,擷取HTML頁面内容
import requests
from bs4 import BeautifulSoup
session = requests.session()
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36'
}
session.headers.update(headers)
# step 1 打開登陸頁面
url = 'http://10.10.10.10/xx'
r = session.get(url)
html = r.text
2、利用BeautifulSoup,解析HTML得到想要的資訊
soup = BeautifulSoup(html, 'html.parser')
# BeautifulSoup支援多種元素定位方式,也支援CSS定位,得到的是一個清單,清單中的元素資訊可以用get方法擷取
s1 = soup.select('#id')[0].get('value')
#S1 就是對應元素value屬性的值
print(s1)