Wikipedia 语料库处理

参考：http://licstar.net/archives/262

参考的博客略旧，根据博客内容调整了处理过程

第一步：下载语料

最新的：http://download.wikipedia.com/zhwiki/latest/zhwiki-latest-pages-articles.xml.bz2

第二步：抽取正文

1. 下载 Wikipedia Extractor：https://github.com/attardi/wikiextractor
2. 安装 Wikipedia Extractor：

   sudo python setup.py install

3. 抽取正文：

   python WikiExractorPath/WikiExtractor.py -b 1000M -o extracted WikiDataPath/zhwiki-latest-pages-articles.xml.bz2

得到的文件默认在当前路径下的，./extracted/AA/下

第三步：繁简转换

1. 下载 OpenCC：https://github.com/BYVoid/OpenCC
2. 安装OpenCC：

   make

   sudo make install

3. 繁简转换：

   opencc -i wiki_00 -o wiki_00_chs -c OpenCCPath/data/config/t2s.json

   opencc -i wiki_01 -o wiki_01_chs -c OpenCCPath/data/config/t2s.json

   opencc -i wiki_02 -o wiki_02_chs -c OpenCCPath/data/config/t2s.json

   opencc -i wiki_03 -o wiki_03_chs -c OpenCCPath/data/config/t2s.json

第二步得到多少个wiki_xx就处理多少次

遇到的问题：Could NOT find Doxygen (missing: DOXYGEN_EXECUTABLE)

解决：

sudo apt-get install doxygen

得到的结果中，title就是搜索关键词，也就是词库