【python + word2vec】計算語義相似度

本方法是使用python語言使用word2vec 的方法來進行語義相似度的計算、

1、首先配置python27下的word2vec的環境（gensim），如下所示：

2、訓練文本

# -*- coding: utf-8 -*-
from gensim.models import word2vec
import logging
import numpy as np
# 主程式
logging.basicConfig(format='%(asctime)s : %(levelname)s : %(message)s', level=logging.INFO)
sentences = word2vec.Text8Corpus(u"C:/Users/Administrator/Desktop/data/abstract.txt")  # 加載語料
n_dim=200
model = word2vec.Word2Vec(sentences, size=n_dim, min_count=0,sg=1)  # 訓練skip-gram模型; 預設window=5
# 儲存模型，以便重用
model.save("E:/pythonWorkSpace/work/deal_chinesepaper_data/model_data/abs0.model")
# 以一種C語言可以解析的形式存儲詞向量
model.save_word2vec_format("E:/model_data/abs0.model.bin", binary=True)
if __name__ == "__main__":
    pass
           

3、根據訓練的結果計算語義相似度

# -*- coding: utf-8 -*-

from gensim.models import word2vec
import logging
import numpy as np

model = word2vec.Word2Vec.load("E:/model_data/abs0.model.bin")
y1 = model.similarity(u"社會媒體", u"社交網絡")
print u"社會媒體和社交網絡的相似度為：", y1
print "--------\n"
y2 = model.most_similar(u"霍克斯過程", topn=20)  # 20個最相關的
print u"和社會媒體最相關的詞有：\n"
for item in y2:
    print item[0], item[1]
print "--------\n"
           

結果如下所示