《机器学习数学基础》第 416 页给出了连续型随机变量的熵的定义，并且在第 417 页以正态分布为例，给出了符合 $N(0,{\sigma }^2)$ 的随机变量的熵。

注意：在第 4 次印刷以及之前的版本中，此处有误，具体请阅读勘误表说明

1. 推导（7.6.6）式

假设随机变量服从正态分布 $X\sim N(\mu ,{\sigma }^2)$ （《机器学习数学基础》中是以标准正态分布为例，即 $X\sim N(0,{\sigma }^2)$ ）。

根据《机器学习数学基础》的（7.6.1）式熵的定义：

$$H(X)=-\int f(x)\log f(x)\text{d}x\text{\hspace{1em}(7.6.1)}$$

其中，$f(x)=\frac{1}{\sqrt{2\pi }\sigma }{e}^{-\frac{(x-\mu {)}^2}{2{\sigma }^2}}$ ，是概率密度函数。根据均值的定义，（7.6.1）式可以写成：

$$H(X)=-E[\log f(x)]$$

将 $f(x)$ 代入上式，可得：

$$\begin{array}{rl}H(X)& =-E\left[\log (\frac{1}{\sqrt{2\pi }\sigma }{e}^{-\frac{(x-\mu {)}^2}{2{\sigma }^2}})\right]\\ & =-E\left[\log (\frac{1}{\sqrt{2\pi }\sigma })+\log (e^{-\frac{(x-\mu {)}^2}{2{\sigma }^2}})\right]\\ & =-E\left[\log (\frac{1}{\sqrt{2\pi }\sigma })\right]-E\left[\log (e^{-\frac{(x-\mu {)}^2}{2{\sigma }^2}})\right]\\ & =\frac{1}{2}\log (2\pi {\sigma }^2)-E\left[-\frac{1}{2{\sigma }^2}(x-\mu {)}^2\log e\right]\\ & =\frac{1}{2}\log (2\pi {\sigma }^2)+\frac{\log e}{2{\sigma }^2}E\left[(x-\mu {)}^2\right]\\ & =\frac{1}{2}\log (2\pi {\sigma }^2)+\frac{\log e}{2{\sigma }^2}{\sigma }^2(\because E\left[(x-\mu {)}^2\right]={\sigma }^2,参阅332页(G2)式)\\ & =\frac{1}{2}\log (2\pi {\sigma }^2)+\frac{1}{2}\log e\\ & =\frac{1}{2}\log (2\pi e{\sigma }^2)\end{array}$$

从而得到第 417 页（7.6.6）式。

2. 推导多维正态分布的熵

对于服从正态分布的多维随机变量，《机器学习数学基础》中也假设服从标准正态分布，即 $X\sim N(0,\Sigma )$ 。此处不失一般性，以 $X\sim N(\mu ,\Sigma )$ 为例进行推导。

注意：《机器学习数学基础》第 417 页是以二维随机变量为例，书中明确指出：不妨假设 $X=\left[\begin{array}{c}{X}_1\\ X_2\end{array}\right]$ ，因此使用的概率密度函数是第 345 页的（5.5.18）式。

下面的推导，则考虑 $n$ 维随机变量，即使用 345 页（5.5.19）式的概率密度函数：

$$f(X)=\frac{1}{\sqrt{(2\pi {)}^n|\Sigma |}}\text{exp}\left(-\frac{1}{2}(X-\mu {)}^{\text{T}}{\Sigma }^{-1}(X-\mu )\right)$$

根据熵的定义（第 416 页（7.6.2）式）得：

$$\begin{array}{rl}H(X)& =-\int f(X)\log (f(X))\text{d}x\\ & =-E\left[\log N(\mu ,\Sigma )\right]\\ & =-E\left[\log \left((2\pi {)}^{-n/2}|\Sigma {|}^{-1/2}\text{exp}\left(-\frac{1}{2}(X-\mu {)}^{\text{T}}{\Sigma }^{-1}(X-\mu )\right)\right)\right]\\ & =-E\left[-\frac{n}{2}\log (2\pi )-\frac{1}{2}\log (|\Sigma |)+\log \text{exp}\left(-\frac{1}{2}(X-\mu {)}^{\text{T}}{\Sigma }^{-1}(X-\mu )\right)\right]\\ & =\frac{n}{2}\log (2\pi )+\frac{1}{2}\log (|\Sigma |)+\frac{\log e}{2}E\left[(X-\mu {)}^{\text{T}}{\Sigma }^{-1}(X-\mu )\right]\end{array}$$

下面单独推导：$E\left[(X-\mu {)}^{\text{T}}{\Sigma }^{-1}(X-\mu )\right]$ 的值：

$$\begin{array}{rl}E\left[(X-\mu {)}^{\text{T}}{\Sigma }^{-1}(X-\mu )\right]& =E\left[\text{tr}\left((X-\mu {)}^{\text{T}}{\Sigma }^{-1}(X-\mu )\right)\right]\\ & =E\left[\text{tr}\left({\Sigma }^{-1}(X-\mu )(X-\mu {)}^{\text{T}}\right)\right]\\ & =\text{tr}\left({\Sigma }^{-1}E\left[(X-\mu )(X-\mu {)}^{\text{T}}\right]\right)\\ & =\text{tr}({\Sigma }^{-1}\Sigma )\\ & =\text{tr}(I_n)\\ & =n\end{array}$$

所以：

$$\begin{array}{rl}H(X)& =\frac{n}{2}\log (2\pi )+\frac{1}{2}\log (|\Sigma |)+\frac{\log e}{2}E\left[(X-\mu {)}^{\text{T}}{\Sigma }^{-1}(X-\mu )\right]\\ & =\frac{n}{2}\log (2\pi )+\frac{1}{2}\log (|\Sigma |)+\frac{\log e}{2}n\\ & =\frac{n}{2}\left(\log (2\pi )+\log e\right)+\frac{1}{2}\log (|\Sigma |)\\ & =\frac{n}{2}\log (2\pi e)+\frac{1}{2}\log (|\Sigma |)\end{array}$$

当 $n=2$ 时，即得到《机器学习数学基础》第 417 页推导结果：

$$H(X)=\log (2\pi e)+\frac{1}{2}\log (|\Sigma |)=\frac{1}{2}\log \left((2\pi e{)}^2|\Sigma |\right)$$

参考资料

[1]. Entropy of the Gaussian[DB/OL]. https://gregorygundersen.com/blog/2020/09/01/gaussian-entropy/ , 2023.6.4

[2]. Entropy and Mutual Information[DB/OL]. https://gtas.unican.es/files/docencia/TICC/apuntes/tema1bwp_0.pdf ,2023.6.4

[3]. Fan Cheng. CS258: Information Theory[DB/OL]. http://qiniu.swarma.org/course/document/lec-7-Differential-Entropy-Part1.pdf , 2023.6.4.

[4]. Keith Conrad. PROBABILITY DISTRIBUTIONS AND MAXIMUM ENTROPY[DB/OL]. https://kconrad.math.uconn.edu/blurbs/analysis/entropypost.pdf, 2023.6.4.