在17的四月份，我曾經寫了一篇關于網易雲音樂爬蟲的文章，還寫了一篇關于評論資料可視化的文章。在這大半年的時間裡，有時會有一些朋友給我發私信詢問一些關于代碼方面的問題。是以我最近抽空幹脆将原來的代碼整理了一下，做成了一個Python子產品NetCloud放在Pypi上了。目前隻是對原來的代碼做了一些整理與重構，功能還很不完善，後續打算抽空繼續完善，如果有人用的話可能會長期維護下去。
目前隻需要使用指令pip install NetCloud 即可以完成子產品的安裝，支援Windows與Linux系統，以前代碼是基于python2的，現在支援Python3(我簡單測試了一下python3.6應該也沒問題了),python2下運作應該也基本沒問題,但是考慮到編碼問題，以及Python社群即将在2020年不再支援2.x的版本，是以強烈建議使用Python3.x運作子產品。代碼github的位址是 Netcloud
關于實作功能以及一些主要接口的說明:
1.主要實作了:
- 對于一首歌曲全部評論的抓取,儲存為csv檔案格式
- 對于一個歌手全部熱門評論的抓取，存為csv檔案
- 對于一首歌曲下全部評論使用者基本資訊的抓取，包括:使用者首頁url,使用者年齡,聽歌次數,動态次數,使用者所在地區,使用者動态總數等，這些資訊也存為csv檔案格式
- 利用全部評論以及熱門評論分詞生成詞雲，統計關鍵詞的頻率
- 利用一首歌曲全部評論使用者的資訊，基于pyecharts可視化，包括：使用者所在地區分布使用geo表示(地圖),使用者年齡的分布，使用者聽歌數目的分布，使用者動态的數目分布，歌曲評論數量關于時間的分布等等。以前是基于matplotlib來做的，但是隻能生成靜态的圖檔，而pyecharts可以産生基于網頁的互動式的顯示效果，我感覺效果可能會更好一點。
- 以前抓取是單線程的，效率較低，現在支援多線程了，可以極大地提高抓取效率
2.還需要去完善的(Todolist)
- 如何很好的應對反爬。我實驗發現，在開啟多線程的情況下，抓取一段時間伺服器可能會限制抓取(封ip),目前應對的措施主要是開啟代理ip，不過如何找到較高品質的代理ip位址，就隻能自己去想辦法了
-目前還不支援模拟登入網易雲音樂，檢視個人資訊，聽歌記錄等，不過Python裡應該已經有其他子產品做到了這一點，而且這個應該也不是特别難，後面有空會加上。
-目前還不支援對于歌單的批量抓取，以及擷取使用者聽歌的詳細記錄，後續考慮增加。如果有這部分資料，可以深挖更多東西，比如預測使用者聽歌風格，對使用者按聽歌洗喜好分類，以及做推薦等等。
-目前的分析僅限于簡單的分析統計等等，後續考慮加入更深入的NLP分析。
3.安裝以及主要的函數接口
- 安裝很簡單，隻需要 pip install NetCloud，因為子產品以來于一些第三方庫，是以在安裝這些第三方庫的時候可能會出現問題，可以參考4的說明
- 快速使用，一個簡單的例子如下：
from NetCloud.NetCloudCrawler import NetCloudCrawl
from NetCloud.NetCloudAnalyse import NetCloudAnalyse
if __name__ == '__main__':
song_name = "敢愛"
song_id = 186888
singer_name = "張國榮"
singer_id = 6457
crawler = NetCloudCrawl(song_name,song_id,singer_name,singer_id)
crawler.generate_all_necessary_files(threads=10)
analyse = NetCloudAnalyse(song_name,singer_name,song_id,singer_id)
analyse.generate_all_analyse_files(threads=20) 3.1 上面的10行左右的代碼就完成了對于張國榮的《敢愛》這首歌的全部評論的抓取，張國榮歌曲熱門評論的抓取，以及歌曲使用者基本資訊的抓取，并生成了相應的詞雲圖檔，以及一些基本的可視化分析。産生的檔案結構如下圖所示：
首先生成檔案全部都會在songs這個檔案夾下，然後對于每一首歌曲會産生以歌手名字命名的檔案夾，然後是歌曲名字的檔案夾，最後是相應的抓取檔案，比如敢愛.csv就是《敢愛》的全部評論檔案，敢愛.jpg就是歌曲評論的詞雲圖檔,hot_comments.csv是歌手的熱門評論檔案，最後所有的可視化結果都存放在plots檔案夾下，可視化檔案為html檔案需要在浏覽器打開檢視可視化結果。
3.2 子產品主要是兩個類，一個是NetCloudCrawl，用于資料抓取；另一個是 NetCloudAnalyse用于資料的分析。NetCloudCrawl 的 generate_all_necessary_files函數會生成必要的全部評論檔案，熱門評論檔案，支援多線程，預設是開啟10個線程抓取。NetCloudAnalyse的 generate_all_analyse_files 顧名思義會産生全部的可視化檔案，首先它會抓取使用者的全部資訊存入檔案，然後産生一系列的可視化分析檔案(html格式)，最後會産生評論的詞雲檔案。基本上調用這兩個函數就可以輕松使用NetCloud的主要功能了。
3.3 如果你想自定義抓取，或者不想使用提供的可視化函數接口，也可以使用子產品的其他基本函數完成抓取和分析，子產品的主要函數接口調用格式說明如下：
NetCloudCrawl類
- AES_encrypt(text,key,iv) 這個函數用于網易雲API的解密，基本用不到，不用管
- get_params(page) 獲得必要的解密參數
- get_all_comments() 擷取全部評論
- get_hot_comments() 擷取熱門評論
- get_json(url,params, encSecKey) 擷取網易API json檔案
- threading_save_all_comments_to_file(threads = 10) 使用多線程将全部評論檔案存入檔案，預設是10個線程
- save_pages_comments(begin_page,end_page) 将 begin_page到end_page頁的評論存入檔案，主要是供 threading_save_all_comments_to_file 函數調用
- save_to_file(comments_list,filename) 将評論資訊清單 comments_list 存入filename 檔案
- save_all_comments_to_file() 單線程按順序儲存全部評論檔案
- get_singer_hot_songs_ids(singer_url) 得到歌手全部熱門歌曲id清單,singer_url為歌手資訊頁url
- save_singer_all_hot_comments_to_file() 将歌手的全部熱門評論存入檔案
- generate_all_necessary_files(threads = 10) 生成全部必要的檔案，包括歌手的全部熱門評論檔案，以及歌曲的全部評論檔案
- _test 開頭的均為測試函數，請不要調用
NetCloudAnalyse類
- load_comments_csv() 加載全部評論檔案為dataframe格式(pandas)
- save_users_info_to_file() 儲存歌曲評論下全部使用者(已去重)的資訊到檔案(單線程)
- threading_save_users_info_to_file(threads = 10) 采用多線程儲存使用者資訊到檔案,預設是10個線程
- save_users_info(users_url,total) 供 threading_save_users_info_to_file調用的中間函數，不用管
- count_comments_lines() 統計全部評論檔案的行數
- from_timestamp_to_date(time_stamp,format = "%Y-%m-%d %H:%M:%S") 将時間戳轉日期的函數,預設格式是: 年-月-日 時:分:秒
- load_users_url() 傳回全部評論使用者首頁url清單，用于後續使用者資訊抓取
- load_users_info_csv() 從使用者資訊csv檔案加載使用者資訊dataframe
- draw_wordcloud(full_comments = True) 繪制評論關鍵詞的詞雲,full_comments = True 表示繪制 全部評論，False 表示繪制熱門評論
- core_visual_analyse() 核心的對于評論使用者資訊的可視化分析，産生的html檔案有12個，說明如下：
1. age_count_bar.html 年齡分布(bar 為 柱狀圖表示，下同)
2. agree_count_bar.html 贊同數分布
3. comments_keywords_bar.html 評論關鍵字分布(已去除停用詞)
4. comments_year_month_bar.html 評論數量按年月的分布
5. comments_year_month_day_bar.html 評論數量按年月日的分布
6. description_keywords_bar.html 使用者簡介關鍵詞分布
7. events_count_bar.html 使用者動态數目分布
8. fans_count_bar.html 使用者粉絲數量分布
9. follow_count_bar.html 使用者關注者數量分布
10. listening_songs_count_bar.html 使用者聽歌數量分布
11. users_city_geo.html 使用者所在地區分布，使用地圖可視化表示
12. users_location_bar.html 使用者所在地區分布，使用柱狀圖表示
一些可視化實際的效果圖如下：
- load_stopwords() 加載停用詞清單
- load_all_cities() 加載中國全部城市名稱清單
- generate_all_analyse_files(threads = 10) 生成全部的分析檔案，包括評論關鍵字詞雲以及評論使用者資訊的可視化，預設線程數為10
- _test 開頭的為測試檔案，請不要調用
--------------------------------------------更新(2018/03/17,新增NetCloudLogin類)------------------------------------------------
- 初始化,NetCloudLogin(phone,password,email = None,rememberLogin = True) 初始化必要的參數有兩個,phone表示傳入登入的電話号碼,password表示密碼,也可以使用email登入,但是不保證一定可以登入成功,建議使用
電話号碼登入,rememberLogin = True表示記住登入狀态
- login()函數,用于登入,傳回一個Response object,這個Response 對象主要有:
1. content 屬性,傳回響應内容
2. heders屬性,傳回響應的headers
3. status_code屬性,傳回響應的狀态碼,比如200表示ok,404代表表示無法找到檔案,400表示無效請求等等
4.ok屬性,是一個布爾值,表示傳回狀态是否正常
5.error屬性,傳回的錯誤資訊,如果沒有異常,值為None
6.json()方法,解析傳回的内容為json格式
- get_user_play_list(uid,offset=0,limit=1000):擷取使用者的播放歌單,uid 為使用者id,offset表示開始位置,limit表示限制條數(下面的offset和limit參數含義相同,不再贅述),傳回Response對象,可以使用json()方法解析
- get_self_play_list(offset=0,limit=1000):擷取自己的播放歌單,傳回Response對象
- get_user_dj(uid, offset=0, limit=30):擷取使用者的dj資訊,傳回Response對象
- get_self_dj(offset=0, limit=30): 擷取自己的dj,傳回Response對象
- search(keyword,type_=1, offset=0, limit=30):搜尋歌手，歌曲,使用者或者歌單,keyword表示搜尋的關鍵字,type_表示搜尋的類型,1:表示歌曲,100:表示歌手,1000表示歌單,1002表示使用者,傳回Response對象
- get_user_follows(uid, offset=0, limit=30):擷取使用者關注清單,傳回Response對象
- get_self_follows(offset=0, limit=30):擷取自身關注清單,傳回Response對象
- get_user_fans(uid, offset=0, limit=30):擷取使用者粉絲清單,傳回Response對象
- get_self_fans(offset=0, limit=30):擷取自身粉絲清單,傳回Response對象
- get_user_event(uid):擷取使用者動态,uid為使用者id,傳回Response對象
- get_self_event(): 擷取自身動态
- get_user_record(uid, type_=0):擷取使用者播放記錄,uid為使用者id,type_取值可以為0或者１,0表示全部記錄,1表示最近一周的記錄(這個需要首先登入)
- get_self_record(type_ = 0):擷取自身的播放記錄
- get_friends_event():擷取關注的人的動态,傳回Response對象
- get_top_playlist_highquality(cat='全部', offset=0, limit=20):擷取高品質的歌單,cat表示類别,可以傳入'全部','歐美','華語'等,傳回Response對象
- get_play_list_detail(id, limit=20):擷取歌單的詳細資訊,id表示歌單id,傳回Response對象
- get_music_download_url(ids=[]):通過id擷取音樂的下載下傳連結,傳入的為歌曲的id清單,傳回對應歌曲的下載下傳連結Response對象
- get_lyric(id):通過歌曲id擷取歌曲歌詞,傳回Response對象
- get_music_comments(id, offset=0, limit=20):通過歌曲id擷取歌曲評論資訊,傳回Response對象
- get_album_comments(id, offset=0, limit=20):通過專輯id擷取專輯評論資訊,傳回Response對象
- get_songs_detail(ids):通過歌曲id清單擷取歌曲詳細資訊,ids表示歌曲id清單,傳回Response對象
- get_self_fm():獲得自身的私人fm資訊,傳回Response對象
pretty_ 開頭的系列函數可以以友好的形式向螢幕列印出你需要的資訊
- pretty_print_self_info(): 列印自身資訊
- pretty_print_user_play_list(uid,offset = 0,limit = 1000):列印使用者的歌單資訊
- pretty_print_self_play_list(offset = 0,limit = 1000): 列印自身的歌單資訊
- pretty_print_search_song(search_song_name,offset = 0,limit = 30):列印搜尋歌曲的傳回結果,search_song_name為搜尋的歌曲關鍵字
- pretty_print_search_singer(search_singer_name,offset = 0,limit = 30):列印搜尋歌手的傳回結果,search_singer_name為搜尋的歌手關鍵字
- pretty_print_search_play_list(keyword,offset = 0,limit = 30):列印搜尋歌單的傳回結果,keyword為搜尋的歌單關鍵字
- pretty_print_search_user(keyword,offset = 0,limit = 30):列印搜尋使用者的傳回結果,keyword為搜尋的使用者關鍵字
- pretty_print_user_follows(uid,offset = 0,limit = 30):列印使用者關注清單
- pretty_print_user_fans(uid,offset = 0,limit = 30):列印使用者粉絲清單
- pretty_print_self_fans(offset = 0,limit = 30):列印自身粉絲清單
- get_download_urls_by_ids(ids_list):通過傳入歌曲id清單得到歌曲下載下傳連結清單,ids_list為歌曲id清單,傳回歌曲下載下傳連結清單
- get_songs_name_list_by_ids_list(ids_list):通過歌曲id清單得到歌曲名字清單
- download_play_list_songs(play_list_id,save_root_dir = "."):下載下傳歌單中的歌曲到本地,play_list_id為傳入歌單id,save_root_dir為歌曲儲存的根目錄,預設為目前目錄
- get_singer_id_by_name(singer_name):通過歌手名字得到歌手id,singer_name為歌手名字
- get_song_id_by_name(song_name):通過歌曲名字得到歌曲id,song_name為歌曲名字
- get_lyrics_list_by_id(song_id):通過歌曲id得到歌詞清單
- get_lyrics_list_by_name(song_name):通過歌曲名字得到歌詞清單
- download_singer_hot_songs_by_name(singer_name,save_root_dir = "."):通過傳入歌手名字，下載下傳歌手的熱門歌曲到本地,singer_name為歌手名字,save_root_dir為歌曲儲存的根目錄,預設為目前目錄
_test 開頭的為測試函數，請不要調用。
一個簡單的使用例子如下:
from NetCloud.NetCloudLogin import NetCloudLogin
phone = 'xxxxxxxxxxx'
password = 'xxx'
email = None
rememberLogin = True
login = NetCloudLogin(phone = phone,password = password,email = email,rememberLogin = rememberLogin)
login.pretty_print_self_info()
得到結果為:
Hello,Lyrichu!
Here is your personal info:
avatarUrl:http://p1.music.126.net/OkEDo-a_rHCC1zEDbg7dYg==/8003345140341032.jpg
signature:熱愛生活，熱愛音樂！
nickname:Lyrichu
userName:[email protected]
province_id:420000
birthday:1995-02-12
description:
gender:male
userId:xxxxxxxx
cellphone:xxxxxxxxxxx
email:[email protected] 4. 一些可能會出現的問題
4.1 在pip install NetCloud 的過程中，如果是在Windows下，wordcloud 以及 pycrypto 子產品也許會安裝失敗，此時可以去 python非官方第三方庫下載下傳 下載下傳對應pyhton版本的預編譯wheel檔案，然後手動pip安裝即可。另外,numpy 需要 numpy+mkl形式的庫，也可以在這個網站下載下傳。
4.2 由于我沒有測試完全，而且代碼水準有限，是以代碼肯定存在一些意想不到的bug，如果您對這個子產品感興趣，在使用的過程中出現任何問題或者有任何建議，歡迎給我留言，當然最好的方式是去github提issue,位址是 NetCloud ，同時歡迎star 和fork，謝謝支援。
熱愛程式設計，熱愛機器學習！
github:http://www.github.com/Lyrichu
github blog:http://Lyrichu.github.io
個人部落格站點:http://www.movieb2b.com(不再維護)