Softmax 函数

softmax 函数是一种激活函数，通常用作神经网络最后一层的输出函数。该函数是两个以上变量的逻辑函数的推广。

Softmax 将实数向量作为输入，并将其归一化为概率分布。 softmax函数的输出是与输入具有相同维度的向量，每个元素的范围为0到1。并且所有元素的总和等于1。

在数学上，我们将 softmax 函数定义为：

带有温度系数的Softmax函数

术语“softmax”来自“soft”和“max”这两个词。 “soft”部分表示该函数产生的概率分布比硬最大值函数更软。 “max”部分意味着它将选择输入向量中的最大值作为最可能的选择，但以软概率的方式。

例如，如果我们有一个输入向量 (0.4, 0.4, 0.5)，则硬极大值函数将输出向量 (0, 0, 1)。相反，softmax 函数的输出将为 (0.32, 0.32, 0.36)。

在softmax函数中引入温度参数来控制输出概率分布的“softness”或“peakiness”。温度是我们用来控制函数输出的随机性水平的参数。在数学上，具有温度参数 T 的 softmax 函数可以定义为：

温度参数T可以取任意数值。当 T=1 时，输出分布将与标准 softmax 输出相同。 T的值越高，输出分布就会变得越“软”。例如，如果我们希望增加输出分布的随机性，我们可以增加参数T的值。

下面的动画展示了softmax函数的输出概率如何随着温度参数的变化而变化。输入向量为(0.1,0.4,0.5,0.6,0.9)，温度从0.1变化到2，步长为0.1：

为什么在 Softmax 中使用温度

当我们想要在输出分布中引入更多随机性或多样性时，温度会很有用。这在用于文本生成的语言模型中特别有用，其中输出分布表示下一个单词标记的概率。如果我们的模型经常过于自信，它可能会产生非常重复的文本。

例如，温度是 GPT-2、GPT-3、BERT 等语言模型中使用的超参数，用于控制生成文本的随机性。当前版本的 ChatGPT（gpt-3.5-turbo 模型）也使用带有 softmax 函数的温度。

ChatGPT 拥有 175,000 个子词的词汇表，与 softmax 函数的输入和输出向量的维度数相同。 softmax 函数输出中的每个维度对应于词汇表中特定单词作为序列中下一个单词的概率。因此，ChatGPT API 有一个温度参数，可以取 0 到 2 之间的值来控制生成文本的随机性和创造性。默认值为 1。

在openAI的playground中，温度系数的定义和取值范围（0-2）

https://platform.openai.com/playground/chat

OpenAI原始对于温度(Temperature)参数说明：

temperature：number or null，Optional，Defaults to 1
What sampling temperature to use, between 0 and 2. Higher values like 0.8 will make the output more random, while lower values like 0.2 will make it more focused and deterministic.
We generally recommend altering this or top_p but not both.

其它

通过softmax函数得到的所有token的概率分布，怎么选择其中一个token（或者说单词），通常有以下几种常用的方法：

• 贪心解码（Greedy Decoding）：直接选择概率最高的token(单词)。这种方法简单高效，但是可能会导致生成的文本过于单调和重复。
• 随机采样（Random Sampling）：按照概率分布随机选择一个token(单词)。这种方法可以增加生成的多样性，但是可能会导致生成的文本不连贯和无意义。
• Beam Search：维护一个大小为 k 的候选序列集合，每一步从每个候选序列的概率分布中选择概率最高的 k 个token(单词)，然后保留总概率最高的 k 个候选序列。这种方法可以平衡生成的质量和多样性，但是可能会导致生成的文本过于保守和不自然。

以上方法都有各自的问题，而 top-k 采样和 top-p 采样是介于贪心解码和随机采样之间的方法，也是目前大模型解码策略中常用的方法。

Top k采样

Top-k 采样是对前面“贪心策略”的优化，它从排名前 k 的 token 中进行抽样，允许其他分数或概率较高的token 也有机会被选中。在很多情况下，这种抽样带来的随机性有助于提高生成质量。

top-k 采样的思路是，在每一步，只从概率最高的 k 个单词中进行随机采样，而不考虑其他低概率的单词。例如，如果 k=2，那么我们只从女孩、鞋子中选择一个单词，而不考虑大象、西瓜等其他单词。这样可以避免采样到一些不合适或不相关的单词，同时也可以保留一些有趣或有创意的单词。

下面是 top-k 采样的例子：

Top p 采样

top-k 有一个缺陷，那就是“k 值取多少是最优的？”非常难确定。于是出现了动态设置 token 候选列表大小策略——即核采样（Nucleus Sampling）。

top-p 采样的思路是，在每一步，只从累积概率超过某个阈值 p 的最小单词集合中进行随机采样，而不考虑其他低概率的单词。这种方法也被称为核采样（nucleus sampling），因为它只关注概率分布的核心部分，而忽略了尾部部分。例如，如果 p=0.9，那么我们只从累积概率达到 0.9 的最小单词集合中选择一个单词，而不考虑其他累积概率小于 0.9 的单词。这样可以避免采样到一些不合适或不相关的单词，同时也可以保留一些有趣或有创意的单词。

下图展示了 top-p 值为 0.9 的 Top-p 采样效果：

top-p 值通常设置为比较高的值（如0.75），目的是限制低概率 token 的长尾。我们可以同时使用 top-k 和 top-p。如果 k 和 p 同时启用，则 p 在 k 之后起作用。

总结

提高 temperature 可以增加多样性但会降低质量。top-p 和 top-k 可以在不损失多样性的前提下提高质量。frequency penalty 和 presence penalty 可以增加回复的词汇多样性和话题多样性。

参考

大模型文本生成——解码策略（Top-k & Top-p & Temperature）