繁體與簡體的轉換,目前常用的工具包是opencc。
通過上網搜尋與研究測試。目前有兩種方式進行轉換,一種是python調用opencc的形式,一種是linux内直接指令行操作。
通過兩種方式的測評,python下運作速度極慢,linux下轉換速度相當快。
一、linux安裝與使用:https://segmentfault.com/a/1190000010122544
二、windows中python下安裝使用:
下載下傳安裝:opencc-python-0.1.win32.exe,會預設安裝到環境變量的python環境中;
修改檔案:Python36\Lib\site-packages\opencc\__init__.py(該路徑根據自己實際情況而定)
也就是将from version那一句注釋掉,增加version的預設值設定。
#from version import __version__
__version__ = '0.1'
調用示例:
# -*- coding: utf8 -*-
import opencc
import codecs
def write_txt(file_name, line):
with codecs.open(file_name, 'a', encoding='utf-8') as f:
f.write(line)
if __name__ == '__main__':
# cc = opencc.OpenCC('t2s')
# print(cc.convert(u'Open Chinese Convert(OpenCC)「開放中文轉換」,是一個緻力於中文簡繁轉換的項目,提供高質量詞庫和函數庫(libopencc)。'))
old_file = '../doc/as_testing_gold.utf8'
cc = opencc.OpenCC('t2s')
with codecs.open(old_file, mode='r', encoding='utf-8') as f:
with codecs.open('../doc/as_testing_gold_cn.txt', mode='w', encoding='utf-8') as out:
lines = f.readlines()
count = 0
for line in lines:
# print(cc.convert(line))
count += 1
if count % 1000 == 0:
print(count)
out.write(cc.convert(line))