【selenium实例一】网易云歌单封面图片

文章目录

• • 一、前言
  • 二、selenium获取数据
  • • • 1、第一种方法
      • 2、第二种方法
      • 3、总结

一、前言

本文仅用于交流学习，不得用于商业行为

如果单纯的使用requests库，是不能获取到完整的源代码的；

如果想进行分析的话，刷新获取数据，则会出现这样的界面：

因此，选择使用selenium是非常好的一个选择！

二、selenium获取数据

以歌单广场的一页为例，获取到歌单的封面

这里使用两个方法：

1. 使用selenium获取到网页源代码，然后使用pyquery库进行解析，从而获取数据
2. 直接使用selenium获取数据，利用selenium的页面元素定位

1、第一种方法

from selenium import webdriver
from selenium.webdriver.chrome.options import Options
from pyquery import PyQuery as pq
import time

start = time.time()
# 配置
option = Options()
# 为Chrome配置无头模式
option.add_argument("--headless")
# 启动浏览器时加入配置
driver = webdriver.Chrome(options=option)
# 访问网页
driver.get('https://music.163.com/#/discover/playlist/?order=hot&cat=%E5%85%A8%E9%83%A8&limit=35&offset=35')
# 切换到iframe表单
driver.switch_to.frame('g_iframe')
# 获取源代码
html = driver.execute_script('return document.documentElement.outerHTML')
# 利用pyquery库进行解析
doc = pq(html)
# 定位到所有含有封面图片链接的节点
links = doc('#m-pl-container li div img')
# 打印封面图片链接数量
print(f"该页面含有{len(links)}张图片")
# 进行遍历
for link in links.items():
    # 获取封面图片链接
    src = link.attr('src')
    # 打印链接
    print(src)
# 关闭所有页面
driver.quit()
print("总共用时：{}".format(time.time()-start))
           

• 输出结果：

  图片链接过多，仅展示部分结果

该页面含有35张图片
http://p2.music.126.net/DHRO3u68N0HbSF_Is08S6A==/109951166538173595.jpg?param=140y140
http://p2.music.126.net/FkcsntKQ2JgvJZktcJ0uPw==/109951166647447993.jpg?param=140y140
http://p2.music.126.net/9ROYGXi0iJyY97bgbdEDSg==/109951166741042192.jpg?param=140y140
总共用时：5.121241807937622
           

2、第二种方法

from selenium import webdriver
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.common.by import By
import time

start = time.time()
# 配置
option = Options()
# 为Chrome配置无头模式
option.add_argument("--headless")
# 启动浏览器时加入配置
driver = webdriver.Chrome(options=option)
# 访问网页
driver.get('https://music.163.com/#/discover/playlist/?order=hot&cat=%E5%85%A8%E9%83%A8&limit=35&offset=35')
# 切换到iframe表单
driver.switch_to.frame('g_iframe')
# 定位到所有含有封面图片链接的节点
links = driver.find_elements(By.CSS_SELECTOR, '#m-pl-container .j-flag')
# 打印封面图片链接数量
print(f"该页面含有{len(links)}张图片")
# 进行遍历
for element in links:
    # 打印封面图片链接
    print(element.get_attribute('src'))
# 关闭所有页面
driver.quit()
print("总共用时：{}".format(time.time()-start))
           

• 输出结果：

  图片链接过多，仅展示部分结果

该页面含有35张图片
http://p2.music.126.net/DHRO3u68N0HbSF_Is08S6A==/109951166538173595.jpg?param=140y140
http://p2.music.126.net/FkcsntKQ2JgvJZktcJ0uPw==/109951166647447993.jpg?param=140y140
http://p2.music.126.net/9ROYGXi0iJyY97bgbdEDSg==/109951166741042192.jpg?param=140y140
http://p2.music.126.net/fkZa3CIMPpwv45MwjaGtVQ==/109951166623085189.jpg?param=140y140
总共用时：5.274672031402588
           

3、总结

这两种方法进行比较，就速度而言，第一种方法略快。

且第一种方法更适合喜欢通过页面源代码进行获取数据的小伙伴。

作者：远方的星

CSDN：https://blog.csdn.net/qq_44921056

本文仅用于交流学习，未经作者允许，禁止转载，更勿做其他用途，违者必究。