中文詞頻統計

作業要求來自： https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/2773

1. 下載下傳一長篇中文小說。

此處下載下傳的是網絡小說--全職高手

2. 從檔案讀取待分析文本。

3. 安裝并使用jieba進行中文分詞。

4. 更新詞庫，加入所分析對象的專業詞彙。 

5. 生成詞頻統計

6. 排序

7. 排除文法型詞彙，代詞、冠詞、連詞等停用詞。

此處使用的是标準的詞語停用表：

8. 輸出詞頻最大TOP20，把結果存放到檔案裡

輸出的top20為：

9. 生成詞雲。

 生成的詞雲結果為：

 源代碼：

import jieba#導入jieba進行中文分詞
from wordcloud import WordCloud#導入wordcloud進行詞雲的生成
import matplotlib.pyplot as plt
text=open('E://note.txt','r',encoding='utf-8').read()#打開并閱讀需要進行處理的中文小說

worddict1=open('D://ciyun.txt','r',encoding='utf-8').read()#打開并添加閱讀詞庫

worddict2=open('E://stops_chinese1.txt','r',encoding='utf-8').read()#打開并讀取無意義的詞語庫

wordsls=jieba.lcut(text)#利用jieba進行中文分詞

wcdict={}

for word in wordsls:
    if word not in worddict2:
      if len(word)==1:
        continue
      else:
        wcdict[word]=wcdict.get(word,0)+1

wcls=list(wcdict.items())#進行詞語的詞頻統計
wcls.sort(key=lambda  x:x[1],reverse=True)#利用jieba進行中文分詞

for i in range(25):#輸出詞頻前25的詞語
    print(wcls[i])

wl_split=" ".join(wordsls) #對要處理的中文小說進行空格隔開處理


mywc = WordCloud().generate(wl_split)#生成詞雲

plt.imshow(mywc)#顯示詞雲
plt.axis("off")
plt.show()