大家好，我是不溫蔔火，是一名計算機學院大資料專業大三的學生，昵稱來源于成語—不溫不火，本意是希望自己性情溫和。作為一名網際網路行業的小白，部落客寫部落格一方面是為了記錄自己的學習過程，另一方面是總結自己所犯的錯誤希望能夠幫助到很多和自己一樣處于起步階段的萌新。但由于水準有限，部落格中難免會有一些錯誤出現，有纰漏之處懇請各位大佬不吝賜教！暫時隻在csdn這一個平台進行更新，

一文帶你快速爬取網易雲音樂，就是這麼簡單！一、URL分析二、局部代碼實作2.1 擷取所有的歌手類型2.2 爬歌手資料2.3 發現問題三、完整代碼四、運作結果

PS:如有侵權聯系小編删除！著作權歸作者所有！

前幾篇博文，爬取的都是比較正常的網站。大家是不是都有點膩了呢？如果大家感覺膩了的話，部落客此次帶來的比較新奇的内容。如果大家沒有膩的話，當我沒說。話不多說，網抑雲時間到了！

一、URL分析

在此，部落客爬取的是網易雲網頁版，因為一般網頁版都是最好爬取的，不要問我為什麼，問就是不會！

網易雲網頁版連結：https://music.163.com/

歌手資訊連結：https://music.163.com//discover/artist

但是由上圖我們可以看出，雖然直接給出了網頁連結，但是我們通過檢視網頁源代碼，發現我們想要爬取的資訊并沒有在這個網頁中。

這個時候，我們就需要通過Sreach查找歌手資訊，進而得到我們所需要的各種資訊。

我們首先就以薛之謙為例

通過上圖，我們可以知道我們所需要的爬取内容的網址：

我們可以多嘗試幾次，然後就會發現每個分類代表其中一個id

規律來了，那麼我們是不是就可以使用xpath進行解析提取了呢？我們可以先試驗一下：

我們發現這個頁面是不能直接使用xpath進行解析得，xpath隻能解析html标簽。因為該網頁攜帶有iframe标簽，内容有不規則内容。

既然出現問題了，那麼我們首先要想的就是要解決xpath不能進行解析這一問題。

通過驗證我們發現，雖然在頁面插件中不能通路，但是我們發現向另一個url發送請求依然可以擷取資料，且裡面沒有iframe，可以直接使用xpath。

測試代碼如下：

import requests
from lxml import etree

headers={
    'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.110 Safari/537.36',
}
base_url = "https://music.163.com/discover/artist/cat?id=1001"

response = requests.get(url=base_url, headers=headers)
html = response.content.decode("utf-8")
print(html)
1234567891011

我們通過查找iframe，發現裡面沒有包含iframe，這裡就可以直接使用xpath進行解析了

查找華語男歌手

先把華語男歌手這一部分複制出來

<li><a href="/discover/artist/cat?id=1001" target="_blank" rel="external nofollow"  target="_blank" rel="external nofollow" 
class="cat-flag z-slt"
data-cat="1001">華語男歌手</a>
</li>
1234

我們先來嘗試使用xpath進行解析

# 隻有華語男歌手
ret = etree_obj.xpath('//a[@class="cat-flag z-slt"]/text()')
print(ret)
123

🆗，我們發現，可以擷取到華語男歌手，那麼我們嘗試擷取所有歌手的分類

# 所有歌手
ret = etree_obj.xpath('//a[@class="cat-flag"]/text()')
print(ret)
123

擷取了分類之後，我們就可以擷取到每個類所對應的連結

# 連結
ret = etree_obj.xpath('//a[@class="cat-flag"]/@href')
print(ret)
123

下面就開始看看拼接的URL能否正常打開

"""
華語男歌手： https://music.163.com/discover/artist/cat?id=1001
華語女歌手： https://music.163.com/discover/artist/cat?id=1002
"""
1234

🆗，我們發現正是我們想要爬取内容的URL，至于前兩個推薦歌手以及入住歌手為什麼不爬取，是因為推薦的這些歌手都在我們要爬取的分類之中，如果全部爬取，會出現重複現象。

二、局部代碼實作

2.1 擷取所有的歌手類型

def get_type_url():
    """擷取所有的歌手類型"""
    types = []

    html = parse_url(start_url)
    etree_obj =parse_html(html)
    type_name_list = etree_obj.xpath('//a[@class="cat-flag"]/text()')
    # print(type_name_list)
    type_url_list = etree_obj.xpath('//a[@class="cat-flag"]/@href')
    data_zip = zip(type_name_list[1:],type_url_list[1:])

    for data in data_zip:
        type = {}
        type["name"] = data[0]
        type["url"] = data[1]
        types.append(type)

    return types

2.2 爬歌手資料

1. 分析

把此部分的源碼拿出來

<a href=" /artist?id=5781" target="_blank" rel="external nofollow"  class="nm nm-icn f-thide s-fc0" title="薛之謙的音樂">薛之謙</a>
<a class="f-tdn" href="/user/home?id=97137413" target="_blank" rel="external nofollow"  title="薛之謙的個人首頁"><i class="u-icn u-icn-5"></i></a>
12

2. 代碼

def get_data(url, type_name):
    """爬歌手資料"""
    item = {
        "type": type_name,
        "name": "",
        "url": ""
    }

    html = parse_url(url)
    etree_obj = parse_html(html)
    artist_name_list = etree_obj.xpath('//a[@class="nm nm-icn f-thide s-fc0"]/text()')
    artist_url_list = etree_obj.xpath('//a[@class="nm nm-icn f-thide s-fc0"]/@href')

    data_zip = zip(artist_name_list, artist_url_list)
    for data in data_zip:
        item["name"] = data[0]
        item["url"] = base_url + data[1][1:]
        items.append(item)

我們通過觀察，發現歌手正好是100個，說明我們已經成功拿到資料了。

2.3 發現問題

1.分析

經過上述過程，我們已經把資料拿全了。但是我們經過檢視，發現我們拿的資料并不準确，我們發現我們拿的資料應該是從A到Z才對。

并且通過點選，我們也是發現有規律的，規律如下

https://music.163.com/#/discover/artist/cat?id=1001&initial=65
https://music.163.com/#/discover/artist/cat?id=1001&initial=66
https://music.163.com/#/discover/artist/cat?id=1001&initial=90
123

通過上述的規律，我們發現還要在我們已經擷取的URL的基礎上再加上&initial=(65,90)才行

2. 實作

def start():
    """開始爬蟲"""
    types = get_type_url()
    # print(types)
    for type in types:
        # url = base_url+type["url"]
        # url還不夠完整
        # print(url)
        for i in range(65,91):
            url = "{}{}&initial={}".format(base_url,type["url"],i)
            print(url)
            get_data(url, type["name"])
123456789101112

三、完整代碼

# encoding: utf-8
'''
  @author 李華鑫
  @create 2020-10-08 8:27
  Mycsdn：https://buwenbuhuo.blog.csdn.net/
  @contact: [email protected]
  @software: Pycharm
  @file: 作業：網易雲音樂.py
  @Version：1.0
  
'''
"""
華語男歌手： https://music.163.com/discover/artist/cat?id=1001
華語女歌手： https://music.163.com/discover/artist/cat?id=1002
"""
import requests
import random
import csv
import time
from lxml import etree

# num = [1001,1002,1003,2001,2002,2003,6001,6002,6003,7001,7002,7003,4001,4002,4003]
base_url = "https://music.163.com/"
# start_url = "https://music.163.com/discover/artist/cat?id=1001"
start_url = "https://music.163.com/discover/artist/"
headers={
    'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.110 Safari/537.36',
}

items = []

def parse_url(url):
    """解析url，得到響應内容"""
    time.sleep(random.random())
    response = requests.get(url=url,headers=headers)
    return response.content.decode("utf-8")


def parse_html(html):
    """使用xpath解析html,傳回xpath對象"""
    etree_obj = etree.HTML(html)
    return etree_obj


def get_type_url():
    """擷取所有的歌手類型"""
    types = []

    html = parse_url(start_url)
    etree_obj =parse_html(html)
    type_name_list = etree_obj.xpath('//a[@class="cat-flag"]/text()')
    # print(type_name_list)
    type_url_list = etree_obj.xpath('//a[@class="cat-flag"]/@href')
    data_zip = zip(type_name_list[1:],type_url_list[1:])

    for data in data_zip:
        type = {}
        type["name"] = data[0]
        type["url"] = data[1]
        types.append(type)

    return types

def get_data(url, type_name):
    """爬歌手資料"""
    item = {
        "type": type_name,
        "name": "",
        "url": ""
    }

    html = parse_url(url)
    etree_obj = parse_html(html)
    artist_name_list = etree_obj.xpath('//a[@class="nm nm-icn f-thide s-fc0"]/text()')
    artist_url_list = etree_obj.xpath('//a[@class="nm nm-icn f-thide s-fc0"]/@href')

    data_zip = zip(artist_name_list, artist_url_list)
    for data in data_zip:
        item["name"] = data[0]
        item["url"] = base_url + data[1][1:]
        items.append(item)

def save():
    """将資料儲存到csv中"""
    with open("./wangyinyun.csv", "a", encoding="utf-8") as file:
        writer = csv.writer(file)
        for item in items:
            writer.writerow(item.values())



def start():
    """開始爬蟲"""
    types = get_type_url()
    # print(types)
    for type in types:
        # url = base_url+type["url"]
        # url還不夠完整
        # print(url)
        for i in range(65,91):
            url = "{}{}&initial={}".format(base_url,type["url"],i)
            print(url)
            get_data(url, type["name"])
    save()
            # exit()

if __name__ == '__main__':
    start()

"""測試代碼"""
# start_url = "https://music.163.com/discover/artist/cat?id=1001&initial=65"   a _ z
# response = requests.get(url=base_url,headers=headers)
# # print(response.content.decode("utf-8"))
# html = response.content.decode("utf-8")
# print(html)
# etree_obj = etree.HTML(html)
# # 隻有華語男歌手
# # ret = etree_obj.xpath('//a[@class="cat-flag z-slt"]/text()')
# # 所有歌手
# ret = etree_obj.xpath('//a[@class="cat-flag"]/text()')
# print(ret)
# print(len(ret))
#
# # 連結
# ret = etree_obj.xpath('//a[@class="cat-flag"]/@href')
# print(ret)

"""
<li><a href="/discover/artist/cat?id=1001" target="_blank" rel="external nofollow"  target="_blank" rel="external nofollow" 
class="cat-flag z-slt"
data-cat="1001">華語男歌手</a>
</li>

https://music.163.com/discover/artist/cat?id=1001&initial=65
"""

四、運作結果

美好的日子總是短暫的，雖然還想繼續與大家暢談，但是本篇博文到此已經結束了，如果還嫌不夠過瘾，不用擔心，我們下篇見！

PS：如有需要Python學習資料的小夥伴可以加點選下方連結自行擷取

python免費學習資料以及群交流解答點選即可加入

一文帶你快速爬取網易雲音樂，就是這麼簡單！一、URL分析二、局部代碼實作2.1 擷取所有的歌手類型2.2 爬歌手資料2.3 發現問題三、完整代碼四、運作結果

一、URL分析

二、局部代碼實作

2.1 擷取所有的歌手類型

2.2 爬歌手資料

2.3 發現問題

三、完整代碼

四、運作結果

繼續閱讀

無法解析的外部符号 wmain，該符号在函數 "void cdecl mainCRTStartupHelper(struct HINSTANCE *,unsigned short con......

TestLink導出用例轉換工具(XML2Excel)

YAML簡介和PyYAML安全操作YAML支援的類型YAML的優點：yaml的基本文法python操作

Small tricks

libsvm for python 安裝

學習軟體測試基礎測試第七天

Zeppelin 配置通路 REST APIApache Zeppelin Configuration REST API

【Torch】最簡潔logging使用指南

27. Remove Element(清單)題目代碼

sort()函數到底是怎樣進行數字排序的

Cloud Studio初體驗

使用 ctypes 進行 Python 和 C 的混合程式設計

【python】【資料處理】畫多元資料分布圖

【python】netconf協定對接管理裝置

「Python 網絡自動化」NETCONF —— Python 使用 NETCONF 管理配置 H3C 網絡裝置

在python中建立excel并寫入