天天看點

爬取一些資料

随着現在越來越多的學python的在爬取一些網站的資料,有一些知名的網站有着反爬蟲,是以有的時候爬蟲比較困難

爬取一些資料
import requests
 import bs4
 res = requests.get(“https://search.bilibili.com/all?keyword=%E7%BC%96%E7%A8%8B&from_source=nav_search_new&order=totalrank&duratinotallow=0&tids_1=0”)
 res.text
 soup = bs4.BeautifulSoup(res.text,“html.parser”)
 titles = soup.find_all(“li”,class_=“video-item matrix”)
 for each in titles:
 print(each.a[‘title’])