一.把爬取的内容保存取MySQL数据库：
from urllib.request import urlopen
from urllib.request import urlretrieve
from bs4 import BeautifulSoup
import pymysql
import csv
import xlrd
import pandas as pd
import jieba
ExcelFile=xlrd.open_workbook(r'C:\Users\Administrator\Desktop\postcode.xls')
csv_file=csv.reader(open('music_comments.csv','r',encoding='UTF-8'))
content=list() #用来存储整个文件的数据，存成一个列表，列表的每一个元素又是一个列表，表示的是文件的某一行
words=[]
lists=[]
for line in csv_file:
if(len(line)>=7):
lists.append(line[5])
# print(lists)
conn = pymysql.connect(host='127.0.0.1',user='root',passwd='',db='test',charset='utf8')
cur = conn.cursor()
for i in lists:
# i='\''+i+'\''
cur.execute("insert into content(content) VALUES ('"+i+"')")
conn.commit()
cur.close()
conn.close()
print("成功！") 
二.爬虫综合大作业：
爬虫目标：关于《人中之龙》这首音乐在网页云音乐的评论人的情况。
import json
import time
import requests
headers = {
'Host': 'music.163.com',
'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36'
}
def get_comments(page):
"""
获取评论信息
"""
url = 'http://music.163.com/api/v1/resource/comments/R_SO_4_454232001?limit=20&offset=' + str(page)
response = requests.get(url=url, headers=headers)
# 将字符串转为json格式
result = json.loads(response.text)
items = result['comments']
for item in items:
# 用户名
user_name = item['user']['nickname'].replace(',', '，')
# 用户ID
user_id = str(item['user']['userId'])
# 获取用户信息
user_message = get_user(user_id)
# 用户年龄
user_age = str(user_message['age'])
# 用户性别
user_gender = str(user_message['gender'])
# 用户所在地区
user_city = str(user_message['city'])
# 个人介绍
user_introduce = user_message['sign'].strip().replace('\n', '').replace(',', '，')
# 评论内容
comment = item['content'].strip().replace('\n', '').replace(',', '，')
# 评论ID
comment_id = str(item['commentId'])
# 评论点赞数
praise = str(item['likedCount'])
# 评论时间
date = time.localtime(int(str(item['time'])[:10]))
date = time.strftime("%Y-%m-%d %H:%M:%S", date)
# print(user_name, user_id, user_age, user_gender, user_city, user_introduce, comment, comment_id, praise, date)
with open('music_comments.csv', 'a', encoding='utf-8-sig') as f:
f.write(user_name + ',' + user_id + ',' + user_age + ',' + user_gender + ',' + user_city + ',' + user_introduce + ',' + comment + ',' + comment_id + ',' + praise + ',' + date + '\n')
f.close()
def get_user(user_id):
"""
获取用户注册时间
"""
data = {}
url = 'https://music.163.com/api/v1/user/detail/' + str(user_id)
response = requests.get(url=url, headers=headers)
# 将字符串转为json格式
js = json.loads(response.text)
if js['code'] == 200:
# 性别
data['gender'] = js['profile']['gender']
# 年龄
if int(js['profile']['birthday']) < 0:
data['age'] = 0
else:
data['age'] = (2018 - 1970) - (int(js['profile']['birthday']) // (1000 * 365 * 24 * 3600))
if int(data['age']) < 0:
data['age'] = 0
# 城市
data['city'] = js['profile']['city']
# 个人介绍
data['sign'] = js['profile']['signature']
else:
data['gender'] = '无'
data['age'] = '无'
data['city'] = '无'
data['sign'] = '无'
return data
def main():
# 前500页
# for i in range(210000, 230000, 20):
# 后500页
for i in range(0, 25000, 20):
print('\n---------------第 ' + str(i // 20 + 1) + ' 页---------------')
get_comments(i)
if __name__ == '__main__':
main() 以上是爬取网易云音乐的关于《人中之龙》这首音乐评论人员的评论时间，评论人的地区，评论内容等，保存到文件里，如下图：
总共2000来条评论数据。
以下是对评论用户所在的省份进行统计，用pyecharts描绘出评论人在全国省份的的大致情况：
import csv
import xlrd
from pyecharts import Map, Geo
def show_map(data):
geo = Geo("评论人在全国省份的主占比，颜色越深，占的人数越多", "data from num", title_color="#fff",
title_pos="center", width=1000,
height=600, background_color='#404a59')
attr, value = geo.cast(data)
geo.add("", attr, value, visual_range=[0, 200], maptype='china',visual_text_color="#fff",
symbol_size=50, is_visualmap=True)
geo.show_config()
geo.render(path="./评论人地区分布图.html")
def read_excel(city_code,ExcelFile):
rows=len(ExcelFile.sheet_names())
# #获取整行或者整列的值
for i in range(rows):
sheet=ExcelFile.sheet_by_name(ExcelFile.sheet_names()[i])
if( city_code[0:2] == str(sheet.row_values(2)[1])[0:2] ):
return city_code[0:2];
if __name__ == '__main__':
ExcelFile=xlrd.open_workbook(r'C:\Users\Administrator\Desktop\postcode.xls')
data={'84': '新疆', '85': '西藏', '81': '青海', '73': '甘肃', '61': '四川', '65': '云南', '75': '宁夏', '02': '内蒙古', '16': '黑龙江', '13': '吉林', '11': '台湾', '05': '河北', '10': '北京', '30': '天津', '71': '陕西', '03': '山西', '27': '山东', '47': '河南', '40': '重庆', '44': '湖北', '23': '安徽', '21': '江苏', '20': '上海', '55': '贵州', '53': '广西', '41': '湖南', '33': '江西', '32': '浙江', '35': '福建', '51': '广东', '57': '海南', '99': '香港'}
csv_file=csv.reader(open('music_comments.csv','r',encoding='UTF-8'))
content=list() #用来存储整个文件的数据，存成一个列表，列表的每一个元素又是一个列表，表示的是文件的某一行
cityList={}
cityArry=[]
for line in csv_file:
if(len(line)>=5):
temp=read_excel(line[4],ExcelFile)
if(temp!=None):
if(temp in cityList):
cityList[temp]=cityList[temp]+1
else:
cityList[temp]=0
for city in cityList:
cityArry.append( (data[city],cityList[city]) )
show_map(cityArry)
print (cityArry) 以下是效果图，可以看出主要的评论人在北京地区和广东福建地区比较多。
import csv
import xlrd
import pandas as pd
import jieba
ExcelFile=xlrd.open_workbook(r'C:\Users\Administrator\Desktop\postcode.xls')
csv_file=csv.reader(open('music_comments.csv','r',encoding='UTF-8'))
content=list() #用来存储整个文件的数据，存成一个列表，列表的每一个元素又是一个列表，表示的是文件的某一行
words=[]
wcdict={}
for line in csv_file:
if(len(line)>=7):
for word in jieba.lcut(line[5]):
wcdict[word]=wcdict.get(word,0)+1
for word in jieba.lcut(line[6]):
wcdict[word]=wcdict.get(word,0)+1
# 过滤的单词
removeWord=[
',','。','是','，','(',')','ﾉ','*','•','´','啊','都','‘','你','有','','Д','σ','ପ','ଓ','⃛',
'！','、','的','来','虽然','了','我','在','▽','ω','也','｀','…','听','不','就','`',
'/','[',']','?','？'
]
words=list(wcdict.items())
i=0
while i < len(words):
if words[i][0] in removeWord: #查找单词列表是否在要过滤的单词表中，有的，从单词列表中去掉该单词
words.remove(words[i])
if i!=0: #因为去掉单词后，列表内容会前移一位，所以索引要减一
i=i-1
else:
i=i+1
# print (words)
pd.DataFrame(data=words).to_csv('big.csv',encoding='utf_8_sig') 以下是根据评论的语句进行词云分析。
import csv
import xlrd
import math
import pandas as pd
import jieba
import matplotlib.pyplot as plt
import matplotlib
import numpy as np
ExcelFile=xlrd.open_workbook(r'C:\Users\Administrator\Desktop\postcode.xls')
csv_file=csv.reader(open('music_comments.csv','r',encoding='UTF-8'))
content=list() #用来存储整个文件的数据，存成一个列表，列表的每一个元素又是一个列表，表示的是文件的某一行
ages=[]
wcdict={}
for line in csv_file:
if(len(line)>=3):
if(line[2]!='0'):
if(int(line[2]) <100):
ages.append(int(line[2]) )
wcdict[line[2]]=wcdict.get(line[2],0)+1
wcls=list(wcdict.items())
data=[0,0,0,0,0,0,0];
for item in wcls:
index= int(int(item[0])/10 )
data[index]+= int(item[1])
myfont = matplotlib.font_manager.FontProperties(fname=r'C:\Users\Administrator\Desktop\msyhbd.ttf')
# 构建数据
x_data = ['10-19', '20-29', '30-39', '40-49', '50-59', '60-69','70-79']
plt.bar(range(len(x_data)),data ,color='rgb',tick_label=x_data)
# plt.bar(x=x_data, height=500, label='age', color='steelblue', alpha=0.8)
# 在柱状图上显示具体数值, ha参数控制水平对齐方式, va控制垂直对齐方式
for x, y in enumerate(data):
plt.text(x, 100 , '%s' % y, ha='center', va='bottom')
# # 设置标题
plt.title("歌曲评论人的年龄分布",fontproperties = myfont)
# 为两条坐标轴设置名称
plt.xlabel("年龄分布",fontproperties = myfont)
plt.ylabel("人数",fontproperties = myfont)
# 显示图例
plt.legend()
plt.show() 以下是对评论人年龄分布的分析，发现主要人都是青年人在听