一、信息熵

熵 (entropy) 这一词最初来源于热力学。1948年，克劳德·爱尔伍德·香农将热力学中的熵引入信息论，所以也被称为香农熵 (Shannon entropy)，信息熵 (information entropy)。本文只讨论信息熵。首先，我们先来理解一下信息这个概念。信息是一个很抽象的概念，百度百科将它定义为：指音讯、消息、通讯系统传输和处理的对象，泛指人类社会传播的一切内容。那信息可以被量化么？可以的！香农提出的“信息熵”概念解决了这一问题。

一条信息的信息量和它的不确定性有着直接的关系。比如说：我们需要搞清楚一件非常非常不确定的事，或者是我们一无所知的事，就需要了解大量的信息。相反，如果我们对某件事已经有了较多的了解，我们就不需要太多的信息就能把它搞清楚。所以，从这个角度，我们可以认为，信息量的度量就等于不确定性的多少。

信息量：h（x，y）= h（x）+ h（y）
概率： p（x，y）= p（x）* p（y） 不相关

现在假设一个发送者想传送一个随机变量的值给接收者。那么在这个过程中，他们传输的平均信息量可以通过求 I(x)=−logp(x)关于概率分布 p(x) 的期望得到，即：

其中负号是用来保证信息量是正数或者零。而 log函数基的选择是任意的（信息论中基常常选择为2，因此信息的单位为比特bits；而机器学习中基常常选择为自然常数，因此单位常常被称为奈特nats）

H(X) 就被称为随机变量 x的熵,它是表示随机变量不确定的度量，是对所有可能发生的事件产生的信息量的期望。从公式可得，随机变量的取值个数越多，状态数也就越多，信息熵就越大，混乱程度就越大。当随机分布为均匀分布时，熵最大，且 0≤H(X)≤logn。稍后将证明。

对信息熵公式的理解：

• 熵只依赖于随机变量的分布（概率）,与随机变量取值无关，所以也可以将 X的熵记作 H§；令0log0=0(因为某个取值概率可能为0)
• 信息量是大于等于0，肯定不可能是负的
• 观察两个事件同时发生时获得的信息量应该等于观察到事件各自发生时获得的信息之和:
• 熵是信息量的数学期望

那么这些定义有着什么样的性质呢？考虑一个随机变量 x。这个随机变量有4种可能的状态，每个状态都是等可能的。为了把 x 的值传给接收者，我们需要传输2比特的消息。H(X)=−4×(1/4)log2(1/4)=2 bits。现在考虑一个具有4种可能的状态 {a,b,c,d} 的随机变量，每个状态各自的概率为 (1/2,1/4,1/8,1/8)。这种情形下的熵为：

证明0≤H(X)≤logn

利用拉格朗日乘数法求最大值
目标函数

限定条件：

构建拉格朗日函数：

分别对求偏导：

求得：

代入目标函数：

得证

二、联和熵

对服从联合分布为P(x,y)的一对离散随机变量(X,Y)，其联合熵H(X,Y)可表示为

三、条件熵

条件熵 H(Y|X)表示在已知随机变量 X 的条件下随机变量 Y 的不确定性。条件熵 H(Y|X)定义为 X 给定条件下 Y 的条件概率分布的熵对 X 的数学期望：

条件熵 H(Y|X)相当于联合熵 H(X,Y)减去单独的熵 H(X)，即

证明如下：

举个例子，比如环境温度是低还是高，和我穿短袖还是外套这两个事件可以组成联合概率分布 H(X,Y)，因为两个事件加起来的信息量肯定是大于单一事件的信息量的。假设 H(X)对应着今天环境温度的信息量，由于今天环境温度和今天我穿什么衣服这两个事件并不是独立分布的，所以在已知今天环境温度的情况下，我穿什么衣服的信息量或者说不确定性是被减少了。当已知 H(X) 这个信息量的时候，H(X,Y) 剩下的信息量就是条件熵：H(Y|X)=H(X,Y)−H(X)

因此，可以这样理解，描述 X 和 Y 所需的信息是描述 X 自己所需的信息,加上给定 X的条件下具体化 Y 所需的额外信息。

四、互信息

• 两个随机变量X，Y的互信息，定义为X，Y的联合分布和独立分布乘积的相对熵
• 度量两个随机变量的“相关性”
• 互信息就是随机事件X的不确定性或者说熵H(X)，以及在知道随机事件Y条件下的不确定性(条件熵)的差异，注意差异是用相对熵（散度来衡量），而相关性用互信息来表示，但同样用相对熵来计算
  
  推导互信息的定义式

五、相对熵(Relative entropy)，也称KL散度 (Kullback–Leibler divergence)

设 p(x)、q(x) 是 离散随机变量 X 中取值的两个概率分布，则 p 对 q 的相对熵是：

性质：

• 相对熵可以度量两个随机变量的“距离”
• 如果 p(x) 和 q(x) 两个分布相同，那么相对熵等于0
• DKL(p||q)≠DKL(q||p)，相对熵具有不对称性。
• DKL(p||q)≥0

六、交叉熵

现在有关于样本集的两个概率分布 p(x) 和 q(x)，其中 p(x) 为真实分布， q(x)非真实分布。如果用真实分布 p(x) 来衡量识别一个样本所需要编码长度的期望（平均编码长度）为:

如果使用非真实分布 q(x) 来表示来自真实分布 p(x) 的平均编码长度，则是：

因为用 q(x) 来编码的样本来自于分布 q(x) ，所以 H(p,q) 中的概率是 p(x)。此时就将 H(p,q) 称之为交叉熵。举个例子。考虑一个随机变量 x，真实分布p(x)=(1/2,1/4,1/8,1/8)，非真实分布 q(x)=(1/4,1/4,1/4,1/4)， 则H§=1.75 bits（最短平均码长），交叉熵:

七、总结

再化简一下相对熵的公式：

熵的公式：

交叉熵的公式：

所以有：

（当用非真实分布 q(x) 得到的平均码长比真实分布 p(x) 得到的平均码长多出的比特数就是相对熵）

在机器学习中，我们需要评估y（真实）和y（非真实）之间的差距，使用KL散度刚刚好，即 (也就是P(x),Q(x))，由于KL散度中的前一部分−H(y)不变，故在优化过程中，只需要关注交叉熵就可以了。所以一般在机器学习中直接用用交叉熵做loss，评估模型。

回顾LR中的交叉熵