中文詞頻統計與詞雲生成

作業來自：https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/2822

中文詞頻統計

1. 下載下傳一長篇中文小說。

2. 從檔案讀取待分析文本。

3. 安裝并使用jieba進行中文分詞。

pip install jieba

import jieba

jieba.lcut(text)

4. 更新詞庫，加入所分析對象的專業詞彙。

jieba.add_word('天罡北鬥陣')  #逐個添加

jieba.load_userdict(word_dict)  #詞庫文本檔案

參考詞庫下載下傳位址：https://pinyin.sogou.com/dict/

轉換代碼：scel_to_text

5. 生成詞頻統計

6. 排序

7. 排除文法型詞彙，代詞、冠詞、連詞等停用詞。

stops

tokens=[token for token in wordsls if token not in stops]

8. 輸出詞頻最大TOP20，把結果存放到檔案裡

9. 生成詞雲。

import jieba
import pandas as pd
from wordcloud import WordCloud
import matplotlib.pyplot as plt
from scipy.misc import imread
def getNumber(x):
    y=x[1]
    return y
file=open(r'F:\hongloumeng.txt','r',encoding='UTF-8').read()
ss="，。；！？”“\n"
for i in ss:
    file=file.replace(i,'')
#添加詞庫
jieba.load_userdict(r'F:\scel\text\紅樓夢【官方推薦】.txt')
#分詞
cun=jieba.lcut(file)
# cun = set(jieba.lcut(file))
#讀取停用詞檔案
fe=open(r'F:\stops_chinese.txt','r',encoding='UTF-8').read()
stops=fe.split('\n')
tokens=[token for token in cun if token not in stops]
dis={}
for j in tokens:
    if j not in dis:
        dis[j] = 1
    else:
        dis[j] = dis[j]+1
words_list = list(dis.items())
words_list.sort(key=getNumber , reverse=True)
#輸出前20
for k in range(20):
    print(words_list[k])
#儲存為csv檔案
pd.DataFrame(data=words_list).to_csv(r'F:\hlm.csv',encoding='UTF-8')
# 讀入圖檔
im = imread(r'F:\66.jpg')
wl_split=''.join(cun)
mywc = WordCloud(background_color='pink',mask= im,margin=2).generate(wl_split)
plt.imshow(mywc)
plt.axis("off")
#顯示詞雲
plt.show()      

top20：

詞雲：