1. 背景分析
分词是将输入和输出文本拆分成更小单位的过程，使得大模型能够处理。token可以是单词、字符、子词或符号，取决于模型的类型和大小。分词可以帮助模型处理不同的语言、词汇和格式，并降低计算和内存成本。分词还可以通过影响token的含义和上下文，影响生成文本的质量和多样性。
我们在前述文章《BPE原理及代码示例》、《WordPiece原理及代码示例》、《Unigram原理及代码示例》三篇文章讨论了在预训练模型中最常用的三种tokenizer算法：BPE、WordPiece、Unigram。
对这几类技术再做下简述，详细的可以点击链接看我们的文章：
BPE（字节对编码）
BPE的核心概念是从字母开始，反复合并频率最高且相邻的两个token，直到达到目标词数。
BBPE
BBPE的基本思想是将BPE从字符级别扩展到字节（Byte）级别。BPE在处理unicode编码时可能会导致基础字符集过大，而BBPE将每个字节视为一个“字符”，不论实际字符集用多少字节表示。这样，基础字符集的大小就固定为256（2^8），从而实现跨语言共享词表，并显著缩减词表大小。然而，对于像中文这样的语言，文本序列长度会显著增加，这可能使得BBPE模型的性能优于BPE模型，但其序列长度较长也会导致训练和推理时间增加。BBPE的实现与BPE类似，主要差别在于基础词表使用256的字节集。
WordPiece
WordPiece算法可视为BPE的变种。不同之处在于，WordPiece通过概率生成新的subword，而不是简单地选择频率最高的字节对。WordPiece每次从词表中选出两个子词合并成一个新子词，但选择的是能最大化语言模型概率的相邻子词。
Unigram
Unigram与BPE和WordPiece在本质上有明显区别。前两者从小词表开始，逐步增加到设定的词汇量，而Unigram则先初始化一个大词表，通过语言模型评估逐步减少词表，直到达到目标词汇量。
2. 分词粒度的讨论
技术有这么多，那该如何选择？首先我们来看下不同粒度的token有哪些影响？
2.1 针对小的token的分析
优势：
1.较小的token使得模型能够生成和理解更广泛的单词，包括通过组合较小的部分来处理从未见过的单词。
2.由于token较小，词汇大小通常较小，从而在某些方面节省内存和计算资源。
3.较小的token一般也更适合处理多种语言或代码，尤其是当这些语言具有不同的句法或语法结构时。
4.较小的token可能更好地处理拼写错误。
缺点：
1.较小的token意味着给定文本会被拆分成更多的词元，从而增加处理文本的计算成本。
2.另外由于固定的最大token限制，使用较小的token可能导致模型能够考虑的实际内容的“上下文”减少。
3.较小的token可能导致表达存在一定的模糊度，使模型在没有足够上下文的情况下更难理解token序列的含义。
2.2 针对大的token的分析
优点：
1.较大的token减少表示文本所需的token数量，从而在计算上提高了处理效率。
2.在固定的最大token数限制下，较大的token允许模型考虑更长的文本，从而可能提高理解和生成能力。
3.较大的token可能直接捕捉到更多细致的含义，减少因将单词拆分成更小部分而产生的模糊性。
缺点：
1.较大的token通常需要更大的词汇来捕捉相同范围的文本，这可能会带来占用大量内存的现象。
2.较大的token可能限制模型对未见或稀有单词的泛化能力，因为整个token必须与模型的词汇中的某个内容匹配。
3.较大的token可能在处理复杂形态或句法的语言时效果不佳，或在需要理解多种语言的任务中。
4.较大的token对拼写错误、拼写变体及其他文本中的小变化敏感。
3. 主流大模型的分词器选择
| 模型 | 分词器 |
| GPT-4o | BPE(BBPE)【2】 |
| GPT3 | BPE(BBPE)【3】 |
| GPT2 | BPE(BBPE)【4】 |
| GPT | BPE【5】 |
| Llama3 | BPE(BBPE)【6，8】 |
| Llama2 | BPE(BBPE)【7，8】 |
| Qwen2 | BPE(BBPE)【9，10】 |
| Qwen | BPE(BBPE)【11】 |
| ChatGLM | BBPE【12】 |
| Baichuan | BPE【13】 |
| RoBERTa | BPE【5】 |
| BART | BPE【5】 |
| DeBERTa | BPE【5】 |
| MPNET | WordPiece【14】 |
| Funnel Transformers | WordPiece【14】 |
| MobileBERT | WordPiece【14】 |
| DistilBERT | WordPiece【14】 |
| BERT | WordPiece【14】 |
| T5 | Unigram【15】 |
| AlBERT | Unigram【15】 |
| mBART | Unigram【15】 |
| XLNet | Unigram【15】 |
当然虽然说GPT系列或者其他大模型用的都是BPE(BBPE)，但在处理上还会有一些细微的差异。可以试用下openai提供的在线tokenizer工具：https://platform.openai.com/tokenizer
此外， OpenAI、Google、huggingface分别都提供了开源的tokenizer工具：tiktoken、sentencepiece、tokenizers，支持主流的分词算法。
扩展阅读：
《全方位解读大模型：多样知识点的深度探讨与技术分享小结》
4. 参考材料
【1】Understanding “tokens” and tokenization in large language models
【2】openai/tiktoken
【3】gpt-tokenizer
【4】Language Models are Unsupervised Multitask Learners
【5】Byte-Pair Encoding tokenization
【6】Llama3
【7】Llama2
【8】Llama (LLM)
【9】qwen2-concepts
【10】tokenization_qwen2
【11】qwen/tokenization_note
【12】tokenization_chatglm
【13】Baichuan-7B
【14】WordPiece tokenization
【15】Unigram tokenization
