一、信息论（熵、联合熵、条件熵）

熵定义：$$H(X)=E[-lo{g}_{2}p(x)]=-\sum _{x\in X}p(x)lo{g}_{2}p(x)$$
note

1. H(X)是X的平均香农信息内容
2. H(X)是每个符号的平均信息量
3. 二元问题(抛硬币)，H(X)取值为[H(X),H(X)+1]

为什么用$lo{g}_2(.)$衡量信息

非负性：$f(p)\ge 0$,$0\le p\le 1$
特殊点：当p=0,$f(p)=\infty$
可加性
单调递增连续性 ？？

二、Bernoulli熵

符号集$\chi =[0,1]$，对应的概率$\vec{p}=[p,1-p]$
Bernoulli熵：$H(X)=H(p)=-plo{g}_{2}p-(1-p)lo{g}_2(1-p)$
note：

1. 通常用$H(p)$表示$H(X)$
2. p=0 or 1时，$H(p)=0$
3. $H(p)$是p的凸函数
4. p=0.5，$H(p)$最大
5. $H(p)$的取值范围$0\le H(p)\le lo{g}_2|\chi |$

三、联合熵和条件熵

联合熵：
$$H(X,Y)=-Elogp(x,y)=-\sum _{x\in X}\sum _{y\in Y}p(x,y)logp(x,y)$$
条件熵
$$H(Y|X)=-Elog(y|x)=-\sum _{x\in X}\sum _{y\in Y}p(x,y)logp(y|x)$$
$$H(Y|X)=\sum _{x\in X}p(x)H(Y|X=x)$$
熵的链式法则

1. $H(X,Y)=H(X)+H(Y|X)$
2. $H(X,Y|Z)=H(X|Z)+H(Y|X,Z)$
3. $H(X_1,X_2,....X_n)={\sum }_{i=1}^{n}H(X_i|X_{i-1},....X_1)$

四、互信息

定义：
$$I(X;Y)=H(X)-H(X|Y)=H(X)+H(Y)-H(X,Y)$$
互信息具有对称性

$I(X;Y)=H(X)-H(X|Y)=H(Y)-H(Y|X)$
$I(X;Y)=H(X)+H(Y)-H(X,Y)$
$I(X;Y)=I(Y,X)$
$I(X;X)=H(X)$
$I(X;Y)\ge 0$，当且仅当X Y互相独立时，等号成立

互信息的链式法则
$$I(X_1,X_2,....X_n;Y)=\sum _{i=1}^{n}I(X_i;Y|X_{i-1},....,X_1)$$

五、相对熵(KL距离)

$$D(\vec{p}||\vec{q})=\sum _{x\in X}p(x)log\frac{q(x)}{p(x)}=E_{\vec{p}}[-logq(x)]-H(\vec{p})$$
$D(\vec{p}||\vec{q})$测量的是两个概率分布$\vec{p}$和$\vec{q}$间的距离，并非真实距离
$D(\vec{p}||\vec{q})\ge 0$，当且仅当$\vec{p}$=$\vec{q}$，等号成立

六、微分熵

对于连续型随机变量，一个以f(x)为密度函数的连续型随机变量，X的微分熵h(x)为：
$$h(x)={\int }_{-\infty }^{\infty }{f}_X(x)log{f}_X(x)dx=E-log{f}_X(x)$$
note

• 微分熵仅依赖于随机变量的概率密度函数，有时候将微分熵写为h(f)
• 微分熵可以为负值

微分熵分类

	均匀分布的微分熵	高斯分布的微分熵	多元高斯分布的微分熵
前提条件:随机变量服从	均匀分布$$X\sim U(a,b)$$	高斯分布$$X\sim U(\mu ,{\sigma }^2)$$	$$X_{1:n}\sim N(\vec{m},\vec{k})$$
pdf	$$f(x)=\{\begin{array}{cc}\frac{1}{b-a},& x\in (a,b))\\ 0& else\end{array}$$	f ( x ) = 1 ( 2 π σ 2 ) 1 2 e x p { − 1 2 σ 2 ( x − μ ) 2 } f(x)=\frac{1}{(2\pi\sigma^2)^{\frac{1}{2}}}exp\{-\frac{1}{2\sigma^2}(x-\mu)^2\} f(x)=(2πσ2)21​1​exp{−2σ21​(x−μ)2}	f ( x ) = ∣ 2 π k ⃗ ∣ 1 2 e x p { − 1 2 ( x − m ⃗ ) T k ⃗ − 1 ( x − m ⃗ ) } f(x)=|2\pi\vec{k}|^\frac{1}{2}exp\{-\frac{1}{2}(x-\vec{m})^T\vec k^{-1}(x-\vec m)\} f(x)=∣2πk ∣21​exp{−21​(x−m )Tk −1(x−m )}m：均值矢量 $\vec{k}$协方差矢量
微分熵	$$h(x)={\int }_a^{b}f(x)logf(x)dx=log(b-a)$$当b-a<1时,h(x)<0	$$h(x)=-loge{\int }_{-\infty }^{\infty }f(x)lnf(x)dx=\frac{1}{2}log(2\pi e{\sigma }^2)$$	$$h(x)=\frac{1}{2}log|2\pi e\vec{k}|$$

七、最大熵分布

1. 条件一：（幅值约束）对于r有限长范围(a,b)使其最大熵的分布是均匀分布
   $u(x)=\frac{1}{b-a}\to$、$0\le D(f||x)\to h_f(x)=log(b-a)$

2. 条件二：（功率约束）给定协方差矩阵$\vec{k}$，零均值的多元高斯分布能使熵在$(-\infty ,\infty {)}^n$上最大
   ϕ ( x ) = ∥ 2 π k ⃗ ∥ 1 2 e x p { − 1 2 x T k ⃗ − 1 x ⃗ } \phi (x)=\|2\pi\vec{k}\|^\frac{1}{2}exp\{-\frac{1}{2}x^T\vec k^{-1}\vec x\} ϕ(x)=∥2πk ∥21​exp{−21​xTk −1x };
   $$0\le D(f||x)=h_f(x)-E_{f}log\varphi (x)\to h_f(x)\le -(loge)E_f(-\frac{1}{2}ln|2\pi \vec{k}|-\frac{1}{2}{x}^T{\vec{k}}^{-1}x)=h_{\varphi (x)}$$

常需要的不等式公式

$H(Y|X)\le H(X)$,X和Y互相独立时，等号成立
$H(X_1,X_2,....X_n)\le {\sum }_{i=1}^{n}H(X_i)$，当且仅当$X_i$互相独立时等号成立

参考文章：通信算法基础知识汇总（5）、通信算法基础知识汇总（8）