Wikipedia 語料庫處理

參考：http://licstar.net/archives/262

參考的部落格略舊，根據部落格内容調整了處理過程

第一步：下載下傳語料

最新的：http://download.wikipedia.com/zhwiki/latest/zhwiki-latest-pages-articles.xml.bz2

第二步：抽取正文

1. 下載下傳 Wikipedia Extractor：https://github.com/attardi/wikiextractor
2. 安裝 Wikipedia Extractor：

   sudo python setup.py install

3. 抽取正文：

   python WikiExractorPath/WikiExtractor.py -b 1000M -o extracted WikiDataPath/zhwiki-latest-pages-articles.xml.bz2

得到的檔案預設在目前路徑下的，./extracted/AA/下

第三步：繁簡轉換

1. 下載下傳 OpenCC：https://github.com/BYVoid/OpenCC
2. 安裝OpenCC：

   make

   sudo make install

3. 繁簡轉換：

   opencc -i wiki_00 -o wiki_00_chs -c OpenCCPath/data/config/t2s.json

   opencc -i wiki_01 -o wiki_01_chs -c OpenCCPath/data/config/t2s.json

   opencc -i wiki_02 -o wiki_02_chs -c OpenCCPath/data/config/t2s.json

   opencc -i wiki_03 -o wiki_03_chs -c OpenCCPath/data/config/t2s.json

第二步得到多少個wiki_xx就處理多少次

遇到的問題：Could NOT find Doxygen (missing: DOXYGEN_EXECUTABLE)

解決：

sudo apt-get install doxygen

得到的結果中，title就是搜尋關鍵詞，也就是詞庫