爬蟲綜合大作業

作業要求：https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/3075

一.把爬取的内容儲存取MySQL資料庫

import pandas as pd
import pymysql
from sqlalchemy import create_engine
conInfo = "mysql+pymysql://user:passwd@host:port/gzccnews?charset=utf8"
engine = create_engine(conInfo,encoding='utf-8')
df = pd.DataFrame(allnews)
df.to_sql(name = ‘news', con = engine, if_exists = 'append', index = False）

二.爬蟲綜合大作業

選擇一個熱點或者你感興趣的主題。
選擇爬取的對象與範圍。
了解爬取對象的限制與限制。
爬取相應内容。
做資料分析與文本分析。
形成一篇文章，有說明、技術要點、有資料、有資料分析圖形化展示與說明、文本分析圖形化展示與說明。
文章公開釋出。

三.擷取所需變量：

import os

import numpy as np

import sys

from datetime import datetime

import gc

path = 'C:\\爬蟲綜合大作業\\0369'

#導入結巴庫

import jieba

#導入停用詞

with open(r'C:\\爬蟲綜合大作業\\stopsCN.txt',encoding='utf-8') as f:

stopwords = f.read().split('\n')

def processing(tokens):

tokens = "".join([char for char in tokens if char.isalpha()]) #去掉非字母漢字字元

tokens = [token for token in jieba.cut(tokens,cut_all=True) if len(token) >=2] #jieba分詞

tokens = " ".join([token for token in tokens if token not in stopwords]) #去掉停用詞

return tokens

tokenList = []

targetList = []

#通過os、walk擷取需要的變量

for root,dirs,files in os.walk(path):

for f in files:

filePath = os.path.join(root,f)

with open(filePath,encoding='utf-8') as f:

content = f.read()

target = filePath.split('\\')[-2]

targetList.append(target)

tokenList.append(processing(content))

四.海賊王

1：觀衆評分

可以看出4星5星的評分數量占很大一部分，是以是一個值得觀看的動漫。

2：生成評論詞雲

3：總結

說明這部動漫還是陽光很有正義感的。一部看似搞笑卻能讓人時時落淚的作品，一個一心隻想成為第一劍客的劍士Zoro, 一個愛錢如命的航海師Nami, 一個滿嘴大話的狙擊手Usoppu, 一個好色的廚子Sanji, 還有半人半鹿的船醫Chopper，考古學家Nico Robin, 幾近瘋狂的一個團隊跟着一個頭腦簡單到近乎白癡的主角Monkey D Luffy在一望無際的偉大航線上冒險航行, 人性的脆弱，貪婪，恐懼等等在一路上表現得淋漓盡緻，但是隻要你擁有一個夢想而且從不放棄的話，那你的人生才會有意義，即便是失去生命也毫不猶豫的笑着接受。

片中有很多擁有着不可思議的能力的強者，抑或思維極其敏銳的智者，他們可能不需要付出太多的努力就能得到自己想要的東西，他們可能愚弄所有的弱者來取悅自己欲望，但是他們永遠也不能了解每個人都有屬于自己的夢想是誰也奪不去的，像Nami的養母貝爾梅爾， Chopper的庸醫師傅，以及大話王羅蘭多，他們都在這樣一個動蕩的時代不幸的死去，但是他們的夢想還是有人繼承了下來并最終完成，

雖然整部作品充滿了搞笑的情節，但是當看到Sanji在離開海上餐廳向哲夫跪下時，當亞拉巴斯坦動亂時，Vivi在鐘樓上聲嘶力竭的勸大家放棄武力而沒人理睬時，當羅蘭多和山地亞的約定在400年後最終達成時，眼淚禁不住奪眶而出，因為整個故事的有着豐富的精神理念貫穿其中，不同于現時的電視中充斥的形形色色的愚人快餐。

我每天上班打工賺錢，下班吃飯睡覺，夢想在心中已經找不到蹤影，隻有在這部片中我能和片中的人物一起快樂，一起悲傷，一起為了找到One piece而不斷前進。

如果這是一種幼稚，讓我永遠在幼稚中不要長大。