如何高效剔除jieba分词中的标点符号和其他特殊字符

关于分词有两个令人头痛的问题：一个是常用词，一个是标点符号。

如果使用jieba分词的，那么这两种‘符号’都会混杂在我们的结果中。

常用词可以使用停用词字典。而标点符号可以使用正则剔除，具体如下：

...
text = re.sub('\W*', '', file.readlines())
word_list = jieba.cut(text)
...
           

注：如果文件很大时，建议按行读取，逐行分词。