NLP自然語言進行中英文分詞工具集錦與基本使用介紹

一、中文分詞工具

（1）Jieba

（2

）snowNLP分詞工具

（

3）thulac分詞工具

4）pynlpir 分詞工具

（5）StanfordCoreNLP分詞工具

1.from stanfordcorenlp import StanfordCoreNLP

2.with StanfordCoreNLP(r'E:UsersEternal SunPycharmProjects1venvLibstanford-corenlp-full-2018-10-05', lang='zh') as nlp:

1. print("stanfordcorenlp分詞：n",nlp.word_tokenize(Chinese))

   （6）Hanlp分詞工具

分詞結果如下：

二、英文分詞工具

1. NLTK：

   

二者之間的差別在于，如果先分句再分詞，那麼将保留句子的獨立性，即生成結果是一個二維清單，而對于直接分詞來說，生成的是一個直接的一維清單，結果如下：

1. SpaCy：

   

1. StanfordCoreNLP：

   

分詞結果