概述

这篇文章^[1]是关于大型语言模型（LLMs）的面试问题和答案，旨在帮助读者准备相关职位的面试。

token？

• 在大型语言模型中，token 指的是什么？

1. 分词（Tokenization）：可以将分词视为一种将文本切割成小片段的方法。这些片段可以小到一个字符，或者是一个完整的单词。我们称这些小片段为“子词 token”。这就像将蛋糕切成片一样。

2. Token 的类型：Token 可以代表整个单词或者它们的一部分。例如，单词 “ hamburger ” 被切分成三个 token：“ ham, ” “ bur, ” 和 “ ger. ”。但像 “ pear ” 这样的简单单词保持为一个 token。想象一下将 “ hamburger ” 分解成像 “ ham ” 和 “ burger ” 这样的片段。

3. 带空格的开始：有些 token 的开头带有空格，比如“hello”或“bye”。这里的空格也被算作 token 的一部分。

4. 模型能力：这些模型非常擅长于识别各个 token 之间的关系。它们就像是解词密的侦探，能预测出这些 token 序列中下一步会出现什么。

5. Token 数量：模型处理的 token 数目取决于你输入和输出文本的长度。一个简单的规则是，一个 token 通常相当于大约 4 个英文字符。根据 OpenAI 的介绍，这意味着大约 ¾ 的单词数量（即 100 个 token 大约相当于 75 个单词）。