---

拓展内容：
Deep Learning in NLP （一）词向量和语言模型——licstar
静态词嵌入（Static Word Embedding）总结——長門有希
word2vec中的数学——peghoty
Deep Learning 实战之 word2vec——邓澍军、陆光明、夏龙
不可思议的Word2Vec——苏剑林

一、经典神经语言模型（A Neural Probabilistic Language Model）

A Neural Probabilistic Language Model

关于函数$f(w_t,w_{t-1},\dots ,w_{t-n+1})$的解释：

• 函数$f(w_t,w_{t-1},\dots ,w_{t-n+1})=\hat{P}(w_t|W_1^{t-1})$是模型的学习目标，表示用前$n-1$个词来预测$w_t$
• 困惑度：$\frac{1}{\hat{P}(w_t|W_1^{t-1})}$的几何平均数也就是困惑度。
  • 相关内容可见：深入理解语言模型的困惑度(perplexity)——武辰
  • $$perplexity(W)=P(w_1,w_2,\dots ,w_n{)}^{-\frac{1}{N}}=\sqrt[N]{\frac{1}{P(w_1,w_2,\dots ,w_n)}}=\sqrt[N]{\prod _{i=1}^n\frac{1}{P(w_i|w_1,w_2,\dots ,w_{i-1})}}$$
• 函数的约束条件为：
  • $f(w_t,w_{t-1},\dots ,w_{t-n+1})>0$
  • ${\sum }_{i=1}^{|V|}f(i,w_{t-1},\dots ,w_{t-n+1})=1$

关于函数$g(i,C(w_{t-1}),\dots ,C(w_{t-n+1}))$的解释：

• 矩阵$C$是一个$|V|\times m$的随机初始化矩阵，实际上相当于一个查找表，将词表中的任意元素$i$映射为向量$C(i)\in {\mathbb{R}}^m$，这个向量就是词表中每个词的$distributedfeaturevector$
  • 此时的词向量只是帮助构造目标函数的辅助参数，它仅仅是这个过程中的副产品，却在众多下游任务中发挥了作用，因为它依靠distributed representation解决维度灾难
• 函数$g$将上下文中单词的特征向量输入序列$(C_{w_{t-1}},\dots ,C_{w_{t-n+1}})$映射为$V$中单词的条件概率分布
  • 函数$g$的输出是一个向量，其中第$i$个元素就是$\hat{P}(w_t=i|W_1^{t-1})$，表示输出为第$i$个单词的估计概率
  • 函数$g$可由前馈、循环或其他的参数化网络来实现，其中的参数称为$\omega$

关于计算过程的介绍：

• 为了满足约束条件，此时使用$softmax$输出层：
  • $\hat{P}(w_t|W_{t-1},\dots ,w_{t-n+1})=\frac{e^{y_{w_t}}}{{\sum }_i{e}^{y_i}}$
  • $y_i$为每个单词$i$尚未标准化的对数概率$$\Rightarrow y=b+Wx+Utanh(d+Hx)$$
    • $x$结构为$(n-1)m\times 1$，为word features layer activation vector，根据矩阵$C$的相应词向量连结而成：$$x=(C(w_{t-1})),(C(w_{t-2})),\dots ,(C(w_{t-n+1}))$$
    • $W$结构为$|V|\times (n-1)m$，为单词特征到输出的权重，当不需要$x$与输出的直接连接时可选择置为0；直连虽然不能提升模型效果，但是可以少一半的迭代次数。
    • $H$结构为$h\times (n-1)m$，为隐藏层；
    • $U$结构为$|V|\times h$，为隐藏层到输出的权重；
    • $b$结构为$|V|\times 1$，隐藏层偏差值；
    • $d$结构为$h\times 1$，输出偏差值；
  • 相较于$n-gram$模型，上述内容的计算瓶颈是softmax 层，因为计算 softmax 的计算复杂度与词汇库 V 中词的数量成正比，这也是后续的优化方向之一，Word2vec正是代表之一。
  • 拓展内容：比较语言建模中近似softmax的几种方法——机器之心

---

二、C&W模型 (Collobert and Weston, 2008)

A unified architecture for natural language processing: deep neural networks with multitask learning

2.1 文章背景

当时的研究仅着眼于浅层次的子任务，大部分的系统无法用于构建适合深层语义任务的通用架构，它们的问题为：

• 它们在分类器层面上是浅层的，不能捕捉到数据中的复杂非线性关系，通常只能处理较为简单的任务；
• 为了让线性分类器工作得更好，需要大量的人工干预来设计特征，而这些特征往往是针对特定任务定制的，不具备通用性；
• 当系统尝试将针对不同任务学到的特征结合起来时，可能会引入错误，因为这些特征可能并不适用于新的任务环境

Collobert和Weston重新定义了一个通用的卷积网络架构，并将其应用于诸多知名的NLP子任务：

• Part-Of-Speech Tagging (POS)
  • 词性标注（POS）的目标是为句子中的每个单词分配一个唯一的标签，以指示其句法角色，例如复数名词、副词等。
• Chunking
  • 分块（也称为浅层解析）的目标是为句子中的片段分配句法成分标签，如名词短语（NP）或动词短语（VP）。
  • 在分块中，每个单词被分配一个唯一的标签，通常编码为开始分块（例如B-NP）或内部分块标签（例如I-NP）。
• Named Entity Recognition (NER)
  • 命名实体识别（NER）的目标是将句子中的原子元素标注为“PERSON”、“COMPANY”或“LOCATION”等类别。
• Semantic Role Labeling (SRL)
  • 语义角色标注（SRL）目的是识别句子中谓词（通常是动词或形容词）与其论元（即句子中的其他成分，如名词短语）之间的语义关系。SRL通过为每个论元分配一个语义角色来揭示句子的深层意义，这些角色描述了论元在谓词所表示的动作或状态中的作用。
  • 语义角色（Semantic Roles）：语义角色描述了论元在谓词表达的事件中的角色。常见的语义角色包括：
    • ARG0：通常指事件的主体或执行者。
    • ARG1：通常指事件的直接对象或受事。
    • ARG2：有时指事件的间接对象。
    • ARGM：修饰词（Modifier），提供额外信息，如时间、地点、方式、原因等。
  • 例如，在句子“John gave a book to Mary.”中，谓词是“gave”，其论元“John”可能被标注为ARG0（给予者），而“a book”被标注为ARG1（给予的对象），"Mary"被标注为ARG2（接收者）。
• Language Models
  • 传统的语言模型通常用于估计序列中下一个词是特定词 w 的概率。这意味着，给定一个文本序列的前一部分，模型会计算下一个可能出现的词的概率分布。
  • 这个文章使用了不同的设置，语言模型的任务不是传统地预测下一个词，而是判断一个给定的文本序列是否在自然界中存在。
  • 通过将真实文本作为正例和生成伪造文本作为负例来训练模型，以使其能够预测给定序列在自然界中是否存在。
• Semantically Related Words
  • 任务目标是预测两个词在语义上是否相关，这种关系可能包括同义词（synonyms）、上义词（hypernyms）、下义词（hyponyms）、整体词（holonyms）等。
  • 这个任务的评价标准是使用WordNet数据库（http://wordnet.princeton.edu）作为基准真相（ground truth）来衡量预测的准确性。

作者认为这些任务中SRL是最复杂的，所以将这项任务的性能作为主要评价指标，其他任务用于辅助提升SRL的性能。

2.2 模型架构（词向量的表示）

2.2.1 Lookup-Table Layer（查找表）

第一层为$Lookup-TableLayer$，机制和第一节提到的矩阵$C$类似，此时使用的是矩阵$W\in {\mathbb{R}}^{d\times |D|}$，将单词索引 $i$ 直接映射为一个向量$W_i\in {\mathbb{R}}^d$，每个单词对应查找表中的一列，在训练过程中可通过反向传播来更新这个矩阵的值，也就是更新单词的不同表达。需要注意的是：

• 预处理过程中，所有单词都被转换为小写，但原始单词的大小写信息仍然被认为是有价值的，因此研究者将其作为一个单独的特征包含在模型中。
• 将单词分解成多个元素（特征），例如词根、后缀、词性标签等，具体例子如下：
  • 将单词分解为$K$个特征，原始单词可被表示为元组 i = { i 1 , i 2 , … , i k } ∈ D 1 × ⋯ × D K i=\{i^1,i^2,\dots,i^k\}\in D^1 \times \dots \times D^K i={i1,i2,…,ik}∈D1×⋯×DK，其中每个元素分属于不同的字典
  • 每个元素对应一个查找表： 对于单词分解后的每个元素，都使用一个单独的查找表将其映射到一个低维向量空间。每个查找表的作用就是将一个元素索引 $i^k$ 映射为一个 $d^k$ 维向量。
  • 每个查找表的结构为 $W^k\in {\mathbb{R}}^{d^k\times |D^k|}$，其中$d^k$为用户指定的向量维度，表示低维向量的维度；$|D^k|$是第 $k$ 个查找表中的元素数量。
  • 原始单词嵌入到了一个维度为 $d$ 的空间中，其中 $d$ 是所有查找表维度 $d^k$ 的总和：实际意义就是最终的词向量其实是由每个查找表对应的低维向量拼接而来$$L{T}_{W^1,\dots ,W^k}(i{)}^T=(L{T}_{W^1}(i^1{)}^T,\dots ,L{T}_{W^K}(i^K{)}^T)$$
  • 多查找表的方法允许模型捕捉到词汇在不同上下文中的复杂语义信息，这在很多复杂的NLP任务中是非常有用的。
• 每个单词添加一个特征，也就是需要增加一个查找表，该特征编码了单词相对于选定的谓词的相对距离，对于句子中的第$i$个单词，如果它的谓语位于$po{s}_p$，对应的元素索引为：$(i-po{s}_p)$，对应的向量映射为$L{T}^{dis{t}_p}(i-po{s}_p)$。
  • 在SRL任务中，一个句子中的每个单词的分类标签依赖于句中的谓词（predicate），即执行某种动作或状态的词。因此，在神经网络（NN）架构中需要编码当前考虑的谓词。

2.2.2 TDNN layer（带窗口的时延神经网络）

查找表可以将原始的句子映射为一个由$n$个大小相同的向量组成的序列$x(\cdot )$：
$$(x_1,x_2,\dots ,x_n),\forall t{x}_t\in {\mathbb{R}}^d$$
但当时普通的神经网络无法处理可变长度的序列输入，所以还需要将其处理为固定格式的内容。

一个简单的思路是只使用一个窗口，仅关注要标注的单词的周围，但这种思路足以用于POS任务，却不足以用于解决SRL任务，因为SRL中涉及到更远的单词，此时的解决思路是使用带窗口的TDNN。

TDNN通过一种在线方式浏览序列$x(\cdot )$：在时间$t\ge 1$，读取序列中的第$t$个单词。

经典的TDNN是对序列$x(\cdot )$进行卷积操作，在时间$t$的输出为：
$$O(t)=\sum _{j=1-t}^{n-t}{L}_j\cdot x_{t+j}$$

• $j$ 是一个整数，它表示从当前时间点 $t$ 开始的时间偏移量，每个时间偏移 $j$ 对应一个特定的权重$L_j\in {\mathbb{R}}^{n\times d}$，$n$为隐藏单元个数，这些权重参数将通过反向传播来训练。
• $j$ 的范围为：$-1\le j\le n$

通常，人们通过定义一个核宽度ksz来限制这种卷积，强制执行以下条件：
$$\forall |j|>(ksz-1)/2,L_j=0$$
传统的窗口方法在处理序列时，只考虑当前元素周围大小为ksz的窗口内的元素。而TDNN使用这两个式子，可以同时考虑句子中所有大小为ksz的单词窗口，从而捕捉更广泛的上下文信息。

TDNN层可以堆叠起来使用，这样可以在网络的较低层提取局部特征（例如，单词或短语的特征），在较高层提取更全局的特征（例如，句子或段落的特征）。这种方法在处理图像的卷积神经网络中也很常见，例如LeNet架构，它通过堆叠卷积层来逐步提取从局部到全局的特征。

2.3 使用深度神经网络处理多任务（词向量的训练）

训练过程如下：

1. 任务选择: 从多个任务中选择一个进行训练。
2. 样本选择: 从所选任务的训练数据集中随机选择一个样本。
3. 梯度更新: 使用该样本更新神经网络的参数。参数更新采用梯度下降算法，目标是使模型的预测结果更接近真实标签。
4. 循环: 重复步骤 1-3，直到所有任务都训练完毕。

语言模型训练方法是一种基于神经网络的无监督学习方法，可以有效地学习单词的语义信息，并提升其他自然语言处理任务的性能，此时并没有将训练一个理想的语言模型作为目标，而是使用语言模型训练得到的词嵌入作为其他 NLP 任务中词嵌入层的初始化参数，所以此时训练语言模型使用的损失函数也不同于一般训练语言模型的思路：

• 数据集:
  使用整个维基百科网站作为训练数据集。将维基百科中的所有文本按照固定窗口大小 (ksz) 分割成多个句子片段，每个片段包含 ksz 个单词。
• 任务定义:
  将语言模型训练成一个二分类器，目标是判断句子片段中的中间词是否与其上下文相关。
  • 正例: 维基百科中的真实句子片段。
  • 负例: 将真实句子片段中的中间词替换成随机单词得到的句子片段。
• 损失函数： $$\sum _{s\in S}\sum _{w\in D}max(0,1-f(s)+f(s^w))$$
  • $S$ 是句子片段集合
  • $D$ 是单词字典
  • $f(\cdot )$ 代表神经网络模型 (不包括 softmax 层)
  • $s^w$是将句子片段 $s$ 中的中间词替换成单词 $w$ 得到的句子片段
  • 该损失函数的目标是使真实句子片段的分数高于随机替换中间词的“假句子”的分数。 具体来说，对于每个真实句子片段 $s$ ，都会找到所有可能的“假句子” $s^w$ (将中间词替换成字典中的任意单词 $w$)，并计算真实句子片段 $s$ 和“假句子” $s^w$ 之间的分数差。如果真实句子片段 $s$ 的分数低于“假句子” $s^w$ 的分数，则将分数差加到损失函数中。

2.4 实验结果

将语言模型与 SRL 任务联合训练，可以显著提高 SRL 任务的性能。论文中最好的模型在 PropBank 数据集上实现了 14.30% 的每词错误率，优于之前基于神经网络和基于句法分析树的 SRL 方法。

---

三、基于Hierarchical Softmax（层次 Softmax）的Word2Vec模型

参考：
word2vec中的数学——peghoty
Deep Learning 实战之 word2vec——邓澍军、陆光明、夏龙
不可思议的Word2Vec——苏剑林

3.1 模型介绍（Word2Vec与NNLM的联系）

下图来源：Efficient Estimation of Word Representations in Vector Space

下图来源：word2vec中的数学——peghoty

第一张图介绍了Word2Vec的原始结构，大致分为了三层：

• 输入层
• 映射层
• 输出层

重新回顾一下NNLM的计算：

• $$\hat{P}(w_t|W_{t-1},\dots ,w_{t-n+1})=\frac{e^{y_{w_t}}}{{\sum }_i{e}^{y_i}}$$
• $$y=b+Wx+Utanh(d+Hx)$$

NNLM的计算量集中在隐藏层和softmax归一化运算，仅从结构上出发，可以看到Word2Vec去掉了隐藏层；其实除此以外，Word2Vec在softmax归一化运算上也进行了优化，有两个提速手段，分别是层次Softmax和负样本采样：

• 层次Softmax是对Softmax的简化，直接将预测概率的效率从$O(|V|)$降为$O({\log }_2|V|)$，但相对来说，精度会比原生的Softmax略差；
• 负样本采样则采用了相反的思路，它把原来的输入和输出联合起来当作输入，然后做一个二分类来打分

3.2 基于层次 Softmax的CBOW模型（Continuous Bag-of-Words Model）

基于神经网络的语言模型的目标函数通常为如下对数似然函数：
$$\mathcal{L}=\sum _{w\in c}\log p(w|Context(w))$$
其中的关键就是条件概率函数的构造，NNLM使用的是$\hat{P}(w_t|W_{t-1},\dots ,w_{t-n+1})=\frac{e^{y_{w_t}}}{{\sum }_i{e}^{y_i}}$，而此处使用的是层次 Softmax。

3.2.1 网络结构

以样本$(Context(w),w)$为例（假设$Context(w)$由 $w$ 前后各 $c$ 个词构成）：

1. 输入层： 包含$Context(w)$中 $2c$ 个词的词向量，词向量长度为$m$；
2. 投影层： 将输入层的$2c$个词向量做求和累加：$X_w={\sum }_{i=1}^{2c}v(Context(w{)}_i)\in {\mathbb{R}}^m$
3. 输出层： 输出层对应的是一个二叉树，以语料中出现过的词为叶子结点，以各词在语料中的词频作为权值构造的Huffman树。它的作用依然是一个分类器，通过一系列的二分类决策来执行多分类任务，即预测给定上下文中的中心单词。

3.2.2 Hierarchical Softmax机制 介绍

记号说明：

• $p^w$：从根节点出发到达$w$对应的叶子结点的路径；
• $l^w$：路径$p^w$中包含结点的个数；
• $p_1^w,p_2^w,\dots ,p_{l_w}^w$：路径$p^w$中的$l^w$个结点，其中$p_1^w$表示根结点，$p_{l_w}^w$表示 $w$ 对应的叶子结点；
• d 2 w , d 3 w , … , d l w w ∈ { 0 , 1 } d_{2}^{w},d_{3}^{w},\dots,d_{l_w}^{w}\in \{0,1\} d2w​,d3w​,…,dlw​w​∈{0,1}：词 $w$ 对应的 $Huffman$ 编码，由 $l_w-1$ 位编码构成（根节点不包含编码），$d_j^w$ 表示路径 $p^w$ 中第 $j$ 个结点对应的编码；
• ${\theta }_1^w,{\theta }_2^w,\dots ,{\theta }_{l_w-1}^w\in {\mathbb{R}}^m$：路径 $p^w$ 中非叶子结点对应的向量，${\theta }_j^w$ 表示路径 $p^w$ 中第 $j$ 个非叶子结点对应的向量。
  
  在结合图片了解记号后，我们还需要解决一个问题：如何利用这样的$Huffman$ 树处理多分类问题，也就是如何利用它来定义$p(w|Context(w))$。

之前提过，Huffman树的作用依然是一个分类器，通过一系列的二分类决策来执行多分类任务，以上图为例，如果要从根节点到达“足球”，需要经过4次分支（每条红色的边对应一个分支），每一次分支相当于进行了一次二分类。

$sigmoid$ 函数可以将数据映射到0~1之间，这一特性使得很适合利用它的输出来直接表示二分类问题中某一类的概率，对于任意样本 $X=(x_1,x_2,\dots ,x_n{)}^T$，可将二分类问题的假设函数写作：
$$h_{\theta }(X)=\sigma ({\theta }_0+{\theta }_1{x}_1+{\theta }_2{x}_2+\cdots +{\theta }_n{x}_n)$$
其中$\Theta$为待定参数，为了符号上的简化，引入$x_0=1$，将$X$拓展为 $X=(x_0,x_1,x_2,\dots ,x_n{)}^T$，于是可将假设函数简写为：
$$h_{\theta }(X)=\sigma ({\Theta }^{T}X)=\frac{1}{1+e^{-({\Theta }^{T}X)}}$$
取阈值为0.5，则二分类的判别公式为：
$$y(X)=\{\begin{array}{ll}1& h_{\theta }(X)\ge 0.5\\ 0& h_{\theta }(X)<0.5\end{array}$$
特别说明一下，sigmoid函数导函数具有以下形式：${\sigma }^{\prime }(x)=\sigma (x)[1-\sigma (x)]$，借助这一性质和链式法则，可以进一步推导得到以下式子，这些式子将在梯度计算中使用：
$$\{\begin{array}{ll}\log \sigma (x{)}^{\prime }& =1-\sigma (x)\\ \log (1-\sigma (x){)}^{\prime }& =-\sigma (x)\end{array}$$

根据上述对二分类的解释，结合上图可以发现非叶子结点对应的向量${\theta }_i^w$就是充当了二分类公式中$\Theta$的角色，所以可以总结出在一个非叶子结点处，被归为负类的概率为：
$$\sigma (X_w^T\theta )=\frac{1}{1+e^{-(X^T\Theta )}}$$
我们也可以将其整理后写作：
$$p(d_j^w|X_w,{\theta }_{j-1}^w)=[\sigma (X_w^T{\theta }_{j-1}^w){]}^{1-d_j^w}\cdot [1-\sigma (X_w^T{\theta }_{j-1}^w){]}^{d_j^w}$$

根据上述内容，我们就知道了此时这样的$Huffman$ 树来定义$p(w|Context(w))$，我们可以用它的路径概率来表示条件概率：
$$p(w|Context(w))=\prod _{j=2}^{l^w}p(d_j^w|X_w,{\theta }_{j-1}^w)$$
从公式中可以看出，相较于经典NNLM中使用的Softmax概率计算，此时的概率计算只需沿着路径计算，计算复杂度从$O(V)$变为了$O(\log V)$。

3.2.3 梯度计算

结合下列式子，可以得到此时的目标函数：
$$\{\begin{array}{ll}p(w|Context(w))& ={\prod }_{j=2}^{l^w}p(d_j^w|X_w,{\theta }_{j-1}^w)\\ & \\ \mathcal{L}& ={\sum }_{w\in c}\log p(w|Context(w))\end{array}$$
$$\begin{array}{rl}\Rightarrow \mathcal{L}& =\sum _{w\in c}\log \prod _{j=2}^{l^w}p(d_j^w|X_w,{\theta }_{j-1}^w)\\ \Rightarrow \mathcal{L}& =\sum _{w\in c}\sum _{j=2}^{l^w}\{(1-d_j^w)\cdot \log [\sigma (X_w^T{\theta }_{j-1}^w)]+d_j^w\cdot \log [1-\sigma (X_w^T{\theta }_{j-1}^w)]\}\end{array}$$

为了方便梯度推导，将上式中的 双重求和符号 下 花括号 的内容简记为$\mathcal{L}(w,j)$，即：
$$\mathcal{L}(w,j)=(1-d_j^w)\cdot \log [\sigma (X_w^T{\theta }_{j-1}^w)]+d_j^w\cdot \log [1-\sigma (X_w^T{\theta }_{j-1}^w)]$$
此时使用的是似然函数，所以目标是使得这个函数最大化，观察式子可知其中包含的参数为：

• $w$
• $X_w$
• ${\theta }_{j-1}^w,j=2,\dots ,l^w$

每取出一个样本$(Context(w),w)$后，就会对这些参数进行更新，接下来展示各个参数的梯度计算。

$\mathcal{L}(w,j)$ 关于 ${\theta }_{j-1}^w$ 的梯度计算：
$$\begin{array}{rl}\frac{\partial \mathcal{L}(w,j)}{\partial {\theta }_{j-1}^w}& =\frac{\partial }{\partial {\theta }_{j-1}^w}\{(1-d_j^w)\cdot \log [\sigma (X_w^T{\theta }_{j-1}^w)]+d_j^w\cdot \log [1-\sigma (X_w^T{\theta }_{j-1}^w)]\}\\ & =(1-d_j^w)[1-\sigma (X_w^T{\theta }_{j-1}^w)]X_w-d_j^w\sigma (X_w^T{\theta }_{j-1}^w)X_w（\mathrm{3.2.2}）已提及sigmoid函数求导特性\\ & =\{(1-d_j^w)[1-\sigma (X_w^T{\theta }_{j-1}^w)]-d_j^w\sigma (X_w^T{\theta }_{j-1}^w)\}{X}_w\\ & =[1-d_j^w-\sigma (X_w^T{\theta }_{j-1}^w)]X_w\end{array}$$

如果使用$\eta$表示学习率，此时${\theta }_{j-1}^w$的更新公式可写为
$${\theta }_{j-1}^w:={\theta }_{j-1}^w+\eta [1-d_j^w-\sigma (X_w^T{\theta }_{j-1}^w)]X_w$$

$\mathcal{L}(w,j)$ 关于 $X_w$ 的梯度计算：
通过观察目标函数的式子，可以看到 $X_w$与${\theta }_{j-1}^w$总是以$X_w^T{\theta }_{j-1}^w$的形式相伴出现，所以我们可以参考之前的推导思路，直接做一个简单的替换：
$$\frac{\partial \mathcal{L}(w,j)}{\partial X_w}=[1-d_j^w-\sigma (X_w^T{\theta }_{j-1}^w)]{\theta }_{j-1}^w$$
考虑路径上的非叶子结点，得到梯度总和；但此时出现了一个问题：$X_w$是上下文词向量的累加，如何使用梯度来更新上下文中的每个词向量。
如果$\tilde{w}\in Context(w)$，相应词向量为$v(\tilde{w})$，有两种实现的思路：
$$\{\begin{array}{l}v(\tilde{w}):=v(\tilde{w})+\eta {\sum }_{j=2}^{l^w}\frac{\partial \mathcal{L}(w,j)}{\partial X_w}\\ \\ v(\tilde{w}):=v(\tilde{w})+\frac{\eta }{|context(w)|}{\sum }_{j=2}^{l^w}\frac{\partial \mathcal{L}(w,j)}{\partial X_w}\end{array}$$

两种思路的区别仅在第二种考虑的是平均梯度，但源码中使用的是第一种思路（值得讨论）

梯度更新伪代码展示：

3.3 基于层次 Softmax的Skip-Gram模型

3.3.1 网络结构

以样本$(w,Context(w))$为例（：

1. 输入层： 只包含当前样本的中心词$w$的词向量 $v(w)\in {\mathbb{R}}^m$；
2. 投影层： 仅是为了方便和上图结构进行对比，此处实际仅是恒等变换；
3. 输出层： 输出层同样对应的是一个二叉树，以语料中出现过的词为叶子结点，以各词在语料中的词频作为权值构造的Huffman树。

对于Skip-Gram模型，根据当前的中心词$w$，预测其上下文$Content(x)$，需要注意的是此时它是每次独立预测一个上下文词，相当于词袋，预测所得的上下文词之间是不含顺序信息的，可定义为：
$$p(Context(w)|w)=\prod _{u\in Context(w)}p(u|w)$$

3.3.2 梯度计算

根据上述的层次Softmax思想，可得：
$$\{\begin{array}{ll}p(u|w)& ={\prod }_{j=2}^{l^u}p(d_j^u|v(w),{\theta }_{j-1}^u)\\ & \\ p(d_j^u|v(w),{\theta }_{j-1}^u)& =[\sigma (v(x{)}^T{\theta }_{j-1}^u){]}^{1-d_j^u}\cdot [1-\sigma (v(x{)}^T{\theta }_{j-1}^u){]}^{d_j^u}\end{array}$$

将上述式子回代到目标函数$\mathcal{L}={\sum }_{w\in c}\log p(Context(w)|w)$中，得到：
$$\begin{array}{rl}\mathcal{L}& =\sum _{w\in c}\log \prod _{u\in Context(w)}p(u|w)\\ & =\sum _{w\in c}\log \prod _{u\in Context(w)}\prod _{j=2}^{l^u}p(d_j^u|v(w),{\theta }_{j-1}^u)\\ & =\sum _{w\in c}\log \prod _{u\in Context(w)}\prod _{j=2}^{l^u}\{[\sigma (v(x{)}^T{\theta }_{j-1}^u){]}^{1-d_j^u}\cdot [1-\sigma (v(x{)}^T{\theta }_{j-1}^u){]}^{d_j^u}\}\\ & =\sum _{w\in c}\sum _{u\in Context(w)}\sum _{j=2}^{l^u}\{(1-d_j^u)\cdot \log [\sigma (v(x{)}^T{\theta }_{j-1}^u)]+d_j^u\cdot \log [1-\sigma (v(w{)}^T{\theta }_{j-1}^u)]\}\end{array}$$

为了方便梯度推导，将上式中的 三重求和符号 下 花括号 的内容简记为$\mathcal{L}(w,u,j)$，即：
$$\mathcal{L}(w,u,j)=(1-d_j^u)\cdot \log [\sigma (v(x{)}^T{\theta }_{j-1}^u)]+d_j^u\cdot \log [1-\sigma (v(w{)}^T{\theta }_{j-1}^u)]$$

$\mathcal{L}(w,u,j)$ 关于 ${\theta }_{j-1}^u$ 的梯度计算：
$$\begin{array}{rl}\frac{\partial \mathcal{L}(w,u,j)}{\partial {\theta }_{j-1}^u}& =\frac{\partial }{\partial {\theta }_{j-1}^u}\{(1-d_j^u)\cdot \log [\sigma (v(x{)}^T{\theta }_{j-1}^u)]+d_j^u\cdot \log [1-\sigma (v(w{)}^T{\theta }_{j-1}^u)]\}\\ & =[1-d_j^u-\sigma (v(w{)}^T{\theta }_{j-1}^u)]v(x)(推导类似，不赘述)\end{array}$$

如果使用$\eta$表示学习率，此时${\theta }_{j-1}^u$的更新公式可写为
$${\theta }_{j-1}^u:={\theta }_{j-1}^u+\eta [1-d_j^u-\sigma (v(w{)}^T{\theta }_{j-1}^u)]v(w)$$

$\mathcal{L}(w,u,j)$ 关于 $v(w)$ 的梯度计算：
操作同上，使用对称性可得：
$$\frac{\partial \mathcal{L}(w,u,j)}{\partial v(w)}=[1-d_j^u-\sigma (v(w{)}^T{\theta }_{j-1}^u)]{\theta }_{j-1}^u$$
$v(w)$的更新公式就可以写作：
$$v(w):=v(w)+\eta \sum _{u\in Context(w)}\sum _{j=2}^{l^u}\frac{\partial \mathcal{L}(w,u,j)}{\partial v(w)}$$

根据上述公式的梯度更新伪代码展示：

在Word2Vec源码中，采取的策略并非是遍历完$Context(w)$之后才更新$v(w)$，而是处理每一个$u$之后就更新一下$v(w)$，也就是改动上述伪代码中两处：

---

四、基于Negative Sampling（负采样）的Word2Vec模型

4.1 基于负采样的CBOW模型

在 $CBOW$ 模型中，已知上下文$Context(w)$，预测$w$，我们称需要预测的$w$为正样本，词典中其他的单词就是负样本，暂不讨论负样本的选取要求和性质，假定已经选好了一个关于$Context(w)$的负样本子集$NEG(w)\ne \varnothing$。

对$\forall \tilde{w}\in D$，定义：
$$L^w(\tilde{w})=\{\begin{array}{ll}1& \tilde{w}=w\\ 0& \tilde{w}\ne w\end{array}$$
以$L^w(\tilde{w})$作为词$\tilde{w}$的标签，当其为正样本时取1，为负样本时取0。

仍然以$X_w$表示上下文词向量之和；以 ${\theta }^u\in {\mathbb{R}}^m$表示词$u$的一个辅助向量（待训练的参数），此时我们可得表达式：
$$p(u|Context(w))=[\sigma (X_w^T{\theta }^u){]}^{L^w(u)}\cdot [1-\sigma (X_w^T{\theta }^u){]}^{1-L^w(u)}$$

此时我们需要借助另外一个函数来表示在包含负样本时，根据$Context(w)$正确预测$w$的概率：
g ( w ) = ∏ u ∈ { w } ∪ N E G ( w ) p ( u ∣ C o n t e x t ( w ) ) = σ ( X w T θ w ) ∏ u ∈ N E G ( w ) [ 1 − σ ( X w T θ u ) ] g(w)=\prod_{u\in \{w\}\cup NEG(w)}p(u|Context(w))=\sigma(X_w^T\theta^w) \prod_{u\in NEG(w)}[1-\sigma(X_w^T\theta^u)] g(w)=u∈{w}∪NEG(w)∏​p(u∣Context(w))=σ(XwT​θw)u∈NEG(w)∏​[1−σ(XwT​θu)]

结合上述公式，最大化$g(w)$就是我们在处理$Context(w)$时的目标，具体来说就是：

• 最大化$\sigma (X_w^T{\theta }^w)$
• 最小化${\prod }_{u\in NEG(w)}[1-\sigma (X_w^T{\theta }^u)]$
• 增加正样本概率的同时降低负样本的概率

考虑到语料库$C$，我们此时可以得到目标函数：
L = ∑ w ∈ c log ⁡ g ( w ) = ∑ w ∈ c log ⁡ ∏ u ∈ { w } ∪ N E G ( w ) { [ σ ( X w T θ u ) ] L w ( u ) ⋅ [ 1 − σ ( X w T θ u ) ] 1 − L w ( u ) } = ∑ w ∈ c ∑ u ∈ { w } ∪ N E G ( w ) { L w ( u ) ⋅ log ⁡ [ σ ( X w T θ u ) ] + [ 1 − L w ( u ) ] ⋅ log ⁡ [ 1 − σ ( X w T θ u ) ] } \begin{aligned} \mathcal{L} &=\sum_{w\in c}\log g(w)\\ &=\sum_{w\in c}\log \prod_{u\in \{w\}\cup NEG(w)}\big\{ [\sigma(X_w^T\theta^u)]^{L^w(u)}\cdot[1-\sigma(X_w^T\theta^u)]^{1-L^w(u)}\big\}\\ &=\sum_{w\in c} \sum_{u\in \{w\}\cup NEG(w)}\{ L^w(u)\cdot \log[\sigma(X_w^T\theta^u)]+[1-L^w(u)]\cdot \log[1-\sigma(X_w^T\theta^u)]\} \end{aligned} L​=w∈c∑​logg(w)=w∈c∑​logu∈{w}∪NEG(w)∏​{[σ(XwT​θu)]Lw(u)⋅[1−σ(XwT​θu)]1−Lw(u)}=w∈c∑​u∈{w}∪NEG(w)∑​{Lw(u)⋅log[σ(XwT​θu)]+[1−Lw(u)]⋅log[1−σ(XwT​θu)]}​

为了方便梯度推导，将上式中的 双重求和符号 下 花括号 的内容简记为$\mathcal{L}(w,u)$，即：
$$\mathcal{L}(w,u)=L^w(u)\cdot \log [\sigma (X_w^T{\theta }^u)]+[1-L^w(u)]\cdot \log [1-\sigma (X_w^T{\theta }^u)]$$

$\mathcal{L}(w,u)$ 关于 ${\theta }^u$ 的梯度计算：
∂ L ( w , u ) ∂ θ u = ∂ ∂ θ u { L w ( u ) ⋅ log ⁡ [ σ ( X w T θ u ) ] + [ 1 − L w ( u ) ] ⋅ log ⁡ [ 1 − σ ( X w T θ u ) ] } = [ L w ( u ) − σ ( X w T θ u ) ] X w \begin{aligned} \frac{\partial \mathcal{L}(w,u)}{\partial \theta^u}&=\frac{\partial }{\partial \theta^u}\{ L^w(u)\cdot \log[\sigma(X_w^T\theta^u)]+[1-L^w(u)]\cdot \log[1-\sigma(X_w^T\theta^u)]\}\\ &=[L^w(u)-\sigma(X_w^T\theta^u)]X_w \end{aligned} ∂θu∂L(w,u)​​=∂θu∂​{Lw(u)⋅log[σ(XwT​θu)]+[1−Lw(u)]⋅log[1−σ(XwT​θu)]}=[Lw(u)−σ(XwT​θu)]Xw​​

如果使用$\eta$表示学习率，此时${\theta }^u$的更新公式可写为
$${\theta }^u:={\theta }^u+\eta [L^w(u)-\sigma (X_w^T{\theta }^u)]X_w$$

$\mathcal{L}(w,j)$ 关于 $X_w$ 的梯度计算：
操作同上，使用对称性可得：：
$$\frac{\partial \mathcal{L}(w,u)}{\partial X_w}=[L^w(u)-\sigma (X_w^T{\theta }^u)]{\theta }^u$$

此时相应更新公式为：
v ( w ~ ) : = v ( w ~ ) + η ∑ u ∈ { w } ∪ N E G ( w ) ∂ L ( w , u ) ∂ X w ， w ~ ∈ C o n t e x t ( w ) v(\tilde w):=v(\tilde w)+\eta\sum_{u\in \{w\}\cup NEG(w)}\frac{\partial \mathcal{L}(w,u)}{\partial X_w}， \tilde w \in Context(w) v(w~):=v(w~)+ηu∈{w}∪NEG(w)∑​∂Xw​∂L(w,u)​，w~∈Context(w)

梯度更新伪代码展示：

4.2 基于负采样的Skip-Gram模型

在包含负样本时，根据$w$正确预测$Context(w)$的概率：
g ( w ) = ∏ w ~ ∈ C o n t e x t ( w ) ∏ u ∈ { w } ∪ N E G w ~ ( w ) p ( u ∣ w ~ ) = ∏ w ~ ∈ C o n t e x t ( w ) ∏ u ∈ { w } ∪ N E G w ~ ( w ) { [ σ ( v ( w ~ ) T θ u ) ] L w ( u ) ⋅ [ 1 − σ ( v ( w ~ ) T θ u ) ] 1 − L w ( u ) } \begin{aligned} g(w)&=\prod_{\tilde w\in Context(w)} \prod_{u\in \{w\}\cup NEG^{\tilde w}(w)}p(u|\tilde w)\\ &=\prod_{\tilde w\in Context(w)} \prod_{u\in \{w\}\cup NEG^{\tilde w}(w)}\{[\sigma(v(\tilde w)^T\theta^u)]^{L^w(u)}\cdot[1-\sigma(v(\tilde w)^T\theta^u)]^{1-L^w(u)}\} \end{aligned} g(w)​=w~∈Context(w)∏​u∈{w}∪NEGw~(w)∏​p(u∣w~)=w~∈Context(w)∏​u∈{w}∪NEGw~(w)∏​{[σ(v(w~)Tθu)]Lw(u)⋅[1−σ(v(w~)Tθu)]1−Lw(u)}​
需要说明的是，其中 $NE{G}^{\tilde{w}}(w)$表示的是处理词$\tilde{w}$时生成的负样本子集。

考虑到语料库$C$，我们此时可以得到目标函数：
L = ∑ w ∈ c log ⁡ g ( w ) = ∑ w ∈ c log ⁡ ∏ w ~ ∈ C o n t e x t ( w ) ∏ u ∈ { w } ∪ N E G w ~ ( w ) { [ σ ( v ( w ~ ) T θ u ) ] L w ( u ) ⋅ [ 1 − σ ( v ( w ~ ) T θ u ) ] 1 − L w ( u ) } = ∑ w ∈ c ∑ w ~ ∈ C o n t e x t ( w ) ∑ u ∈ { w } ∪ N E G w ~ ( w ) { L w ( u ) ⋅ log ⁡ [ σ ( v ( w ~ ) T θ u ) ] + [ 1 − L w ( u ) ] ⋅ log ⁡ [ 1 − σ ( v ( w ~ ) T θ u ) ] } \begin{aligned} \mathcal{L} &=\sum_{w\in c}\log g(w)\\ &=\sum_{w\in c}\log \prod_{\tilde w\in Context(w)} \prod_{u\in \{w\}\cup NEG^{\tilde w}(w)} \big\{[\sigma(v(\tilde w)^T\theta^u)]^{L^w(u)}\cdot[1-\sigma(v(\tilde w)^T\theta^u)]^{1-L^w(u)}\big\}\\ &=\sum_{w\in c} \sum_{\tilde w\in Context(w)} \sum_{u\in \{w\}\cup NEG^{\tilde w}(w)}\{ L^w(u)\cdot \log[\sigma(v(\tilde w)^T\theta^u)]+[1-L^w(u)]\cdot \log[1-\sigma(v(\tilde w)^T\theta^u)]\} \end{aligned} L​=w∈c∑​logg(w)=w∈c∑​logw~∈Context(w)∏​u∈{w}∪NEGw~(w)∏​{[σ(v(w~)Tθu)]Lw(u)⋅[1−σ(v(w~)Tθu)]1−Lw(u)}=w∈c∑​w~∈Context(w)∑​u∈{w}∪NEGw~(w)∑​{Lw(u)⋅log[σ(v(w~)Tθu)]+[1−Lw(u)]⋅log[1−σ(v(w~)Tθu)]}​

为了方便梯度推导，将上式中的 三重求和符号 下 花括号 的内容简记为$\mathcal{L}(w,\tilde{w},u)$，即：
$$\mathcal{L}(w,\tilde{w},u)=L^w(u)\cdot \log [\sigma (v(\tilde{w}{)}^T{\theta }^u)]+[1-L^w(u)]\cdot \log [1-\sigma (v(\tilde{w}{)}^T{\theta }^u)]$$

$\mathcal{L}(w,\tilde{w},u)$ 关于 ${\theta }^u$ 的梯度计算：
$$\begin{array}{rl}\frac{\partial \mathcal{L}(w,\tilde{w},u)}{\partial {\theta }^u}& =\frac{\partial }{\partial {\theta }^u}\{(L^w(u)\cdot \log [\sigma (v(\tilde{w}{)}^T{\theta }^u)]+[1-L^w(u)]\cdot \log [1-\sigma (v(\tilde{w}{)}^T{\theta }^u)]\}\\ & =[L^w(u)-\sigma (v(\tilde{w}{)}^T{\theta }^u)]v(\tilde{w})\end{array}$$

如果使用$\eta$表示学习率，此时${\theta }^u$的更新公式可写为
$${\theta }^u:={\theta }^u+\eta [L^w(u)-\sigma (v(\tilde{w}{)}^T{\theta }^u)]v(\tilde{w})$$

$\mathcal{L}(w,\tilde{w},u)$ 关于 $v(\tilde{w})$ 的梯度计算：
操作同上，使用对称性可得：
$$\frac{\partial \mathcal{L}(w,\tilde{w},u)}{\partial v(\tilde{w})}=[L^w(u)-\sigma (v(\tilde{w}{)}^T{\theta }^u)]{\theta }^u$$
$v(\tilde{w})$的更新公式就可以写作：
v ( w ~ ) : = v ( w ~ ) + η ∑ u ∈ { w } ∪ N E G w ~ ( w ) ∂ L ( w , w ~ , u ) ∂ v ( w ~ ) v(\tilde w):=v(\tilde w)+\eta\sum_{u\in \{w\}\cup NEG^{\tilde w}(w)}\frac{\partial \mathcal{L}(w,\tilde w,u)}{\partial v(\tilde w)} v(w~):=v(w~)+ηu∈{w}∪NEGw~(w)∑​∂v(w~)∂L(w,w~,u)​

根据上述公式的梯度更新伪代码展示：

4.3 负采样算法

在了解了如何使用负采样进行概率计算后，我们还需要了解如何实现负采样，以及实现过程中需要注意哪些细节。
词典$\mathcal{D}$的不同单词在语料$\mathcal{C}$有着不同的词频，也就导致采样过程中，被选为负样本的概率存在差异，其本质就是一个带权采样问题，相关描述如下：

设词典$\mathcal{D}$中的每一个词对应一个线段$l(w)$，长度为：
$$len(w)=\frac{counter(w)}{{\sum }_{u\in \mathcal{D}}counter(u)}$$
其中$counter(w)$表示该词在语料中的出现次数，如果将这些线段首尾相连接在一起，就形成了一个长度为1的线段，此时便可以直观看出不同单词的词频差异。
但在Word2Vec中，设置单词权值时用的是下列式子：
$$len(w)=\frac{[counter(w){]}^{\frac{3}{4}}}{{\sum }_{u\in \mathcal{D}}[counter(u){]}^{\frac{3}{4}}}$$
这是为了给低频词更多的学习机会，这样低频词在负采样中的出现概率会相对提高。

参数说明：

• $l_0=0,l_k={\sum }_{j=1}^{k}len(w_j),k=1,2,\dots ,N$；以 { l j } j = 0 N \{l_j\}_{j=0}^N {lj​}j=0N​为剖分节点，可得到区间$[0,1]$上的一个非等距剖分；
  • 根据 { l j } j = 0 N \{l_j\}_{j=0}^N {lj​}j=0N​可得到$N$个剖分区间，可表示为：$I_i=(l_{i-1},l_i],i=1,2,\dots ,N$
• 如果使用等距剖分，剖分节点为 { m j } j = 0 M \{m_j\}_{j=0}^M {mj​}j=0M​,其中$M>>N$；

如果将内部剖分节点 { m j } j = 1 M − 1 \{m_j\}_{j=1}^{M-1} {mj​}j=1M−1​投影到非等距剖分上，就可以借助这种映射实现采样，需要说明的是，负采样过程中需要避免正例，如果遇见正样本直接跳过即可。

---