一文讀懂BERT中的WordPiece

2018年最火的論文要屬google的BERT，不過今天我們不介紹BERT的模型，而是要介紹BERT中的一個小子產品WordPiece。

現在基本性能好一些的NLP模型，例如OpenAI GPT，google的BERT，在資料預處理的時候都會有WordPiece的過程。WordPiece字面了解是把word拆成piece一片一片，其實就是這個意思。

WordPiece的一種主要的實作方式叫做BPE（Byte-Pair Encoding）雙位元組編碼。

BPE的過程可以了解為把一個單詞再拆分，使得我們的此表會變得精簡，并且寓意更加清晰。

比如"loved","loving","loves"這三個單詞。其實本身的語義都是“愛”的意思，但是如果我們以單詞為機關，那它們就算不一樣的詞，在英語中不同字尾的詞非常的多，就會使得詞表變的很大，訓練速度變慢，訓練的效果也不是太好。

BPE算法通過訓練，能夠把上面的3個單詞拆分成"lov","ed","ing","es"幾部分，這樣可以把詞的本身的意思和時态分開，有效的減少了詞表的數量。

BPE的大概訓練過程：首先将詞分成一個一個的字元，然後在詞的範圍内統計字元對出現的次數，每次将次數最多的字元對儲存起來，直到循環次數結束。

我們模拟一下BPE算法。

我們原始詞表如下：

{'l o w e r ': 2, 'n e w e s t ': 6, 'w i d e s t ': 3, 'l o w ': 5}

其中的key是詞表的單詞拆分層字母，再加代表結尾，value代表詞出現的頻率。

下面我們每一步在整張詞表中找出頻率最高相鄰序列，并把它合并，依次循環。

這樣我們通過BPE得到了更加合适的詞表了，這個詞表可能會出現一些不是單詞的組合，但是這個本身是有意義的一種形式，加速NLP的學習，提升不同詞之間的語義的區分度。

介紹一些關于WordPiece和BPE的資料供同學們參考。

https://github.com/tensorflow/models

https://github.com/rsennrich/subword-nmt

tensor2tensor的subword

seq2seq的bpe

Neural Machine Translation of Rare Words with Subword Units

BPEmb: Tokenization-free Pre-trained Subword Embeddings

in 275 Languages

BPEmb使用方法

WordPiece或者BPE這麼好，我們是不是哪裡都能這麼用呢？其實在我們的中文中不是很适用。首先我們的中文不像英文或者其他歐洲的語言一樣通過空格分開，我們是連續的。其次我們的中文一個字就是一個最小的單元，無法在拆分的更小了。在中文中一般的處理方式是兩中，分詞和分字。理論上分詞要比分字好，因為分詞更加細緻，語義分的更加開。分字簡單，效率高，詞表也很小，常用字就3000左右。