Tokenization指南：字节对编码，WordPiece等方法Python代码详解语言模型需要将文本转换为数字形式，

Tokenization 指南：字节对编码，WordPiece等方法Python代码详解

语言模型需要将文本转换为数字形式，称为标记化。标记化分为基于单词和基于字符的方法。基于单词的方法将每个单词作为独立的标记，而基于字符的方法将每个字符作为独立的标记。基于单词的方法在处理大量常见单词时存在词汇爆炸问题，而基于字符的方法可以减少词汇量，从而减少内存和计算成本。