爬虫综合大作业

作业要求：https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/3075

一.把爬取的内容保存取MySQL数据库

import pandas as pd
import pymysql
from sqlalchemy import create_engine
conInfo = "mysql+pymysql://user:passwd@host:port/gzccnews?charset=utf8"
engine = create_engine(conInfo,encoding='utf-8')
df = pd.DataFrame(allnews)
df.to_sql(name = ‘news', con = engine, if_exists = 'append', index = False）

二.爬虫综合大作业

选择一个热点或者你感兴趣的主题。
选择爬取的对象与范围。
了解爬取对象的限制与约束。
爬取相应内容。
做数据分析与文本分析。
形成一篇文章，有说明、技术要点、有数据、有数据分析图形化展示与说明、文本分析图形化展示与说明。
文章公开发布。

三.获取所需变量：

import os

import numpy as np

import sys

from datetime import datetime

import gc

path = 'C:\\爬虫综合大作业\\0369'

#导入结巴库

import jieba

#导入停用词

with open(r'C:\\爬虫综合大作业\\stopsCN.txt',encoding='utf-8') as f:

stopwords = f.read().split('\n')

def processing(tokens):

tokens = "".join([char for char in tokens if char.isalpha()]) #去掉非字母汉字字符

tokens = [token for token in jieba.cut(tokens,cut_all=True) if len(token) >=2] #jieba分词

tokens = " ".join([token for token in tokens if token not in stopwords]) #去掉停用词

return tokens

tokenList = []

targetList = []

#通过os、walk获取需要的变量

for root,dirs,files in os.walk(path):

for f in files:

filePath = os.path.join(root,f)

with open(filePath,encoding='utf-8') as f:

content = f.read()

target = filePath.split('\\')[-2]

targetList.append(target)

tokenList.append(processing(content))

四.海贼王

1：观众评分

可以看出4星5星的评分数量占很大一部分，所以是一个值得观看的动漫。

2：生成评论词云

3：总结

说明这部动漫还是阳光很有正义感的。一部看似搞笑却能让人时时落泪的作品，一个一心只想成为第一剑客的剑士Zoro, 一个爱钱如命的航海师Nami, 一个满嘴大话的狙击手Usoppu, 一个好色的厨子Sanji, 还有半人半鹿的船医Chopper，考古学家Nico Robin, 几近疯狂的一个团队跟着一个头脑简单到近乎白痴的主角Monkey D Luffy在一望无际的伟大航线上冒险航行, 人性的脆弱，贪婪，恐惧等等在一路上表现得淋漓尽致，但是只要你拥有一个梦想而且从不放弃的话，那你的人生才会有意义，即便是失去生命也毫不犹豫的笑着接受。

片中有很多拥有着不可思议的能力的强者，抑或思维极其敏锐的智者，他们可能不需要付出太多的努力就能得到自己想要的东西，他们可能愚弄所有的弱者来取悦自己欲望，但是他们永远也不能了解每个人都有属于自己的梦想是谁也夺不去的，像Nami的养母贝尔梅尔， Chopper的庸医师傅，以及大话王罗兰多，他们都在这样一个动荡的时代不幸的死去，但是他们的梦想还是有人继承了下来并最终完成，

虽然整部作品充满了搞笑的情节，但是当看到Sanji在离开海上餐厅向哲夫跪下时，当亚拉巴斯坦动乱时，Vivi在钟楼上声嘶力竭的劝大家放弃武力而没人理睬时，当罗兰多和山地亚的约定在400年后最终达成时，眼泪禁不住夺眶而出，因为整个故事的有着丰富的精神理念贯穿其中，不同于现时的电视中充斥的形形色色的愚人快餐。

我每天上班打工赚钱，下班吃饭睡觉，梦想在心中已经找不到踪影，只有在这部片中我能和片中的人物一起快乐，一起悲伤，一起为了找到One piece而不断前进。

如果这是一种幼稚，让我永远在幼稚中不要长大。