图像生成-扩散模型的经典之作DDPM

论文：https://arxiv.org/pdf/2006.11239

项目：https://github.com/hojonathanho/diffusion

Denoising Diffusion Probabilistic Models (DDPM) 是一种生成模型，它通过一系列逐步添加噪声的过程将数据点映射到一个简单的先验分布（如高斯分布），然后反过来学习从这个简单分布中生成原始数据。换句话说，DDPM 的核心思想是通过前向扩散过程逐渐破坏数据，并通过反向去噪过程重建数据。以下是 DDPM 的详细介绍：

1 DDPM工作原理

1.1 前向扩散过程 (Forward Process)

在前向扩散过程中，DDPM 会逐渐向原始数据 x0 添加噪声高斯噪声，直到最终达到一个接近纯噪声的状态 xT。具体来说，这个过程可以形式化为一个马尔可夫链，其中每个时间步 t 都有一个条件概率分布：

公式右边N，表示 xt 服从均值为 $\sqrt{1-\beta _t}x_{t-1}$ 、协方差矩阵为 $\beta _tI$ 的高斯分布。
$\beta _tI$ 是一个预定义的方差调度表（variance schedule），决定了每一步添加噪声的比例。
$I$ 是单位矩阵，确保噪声是各向同性的（即在各个维度上的方差相同）。

以上公式是DDPM论文内的公式，可以换成易懂点的公式如下。

$x_t = \sqrt{\beta_t}x_{t-1} + \sqrt{1-\beta_t}\epsilon_t$

其中 βt值用来控制噪声的程度，ϵt是随机生成的噪声矩阵，其符合高斯分布(0,βtI)

1.2 反向去噪过程 (Reverse Process)

这是一个生成数据的过程，从纯高斯噪声x_t开始，逐步去噪以恢复原始数据。逆扩散过程同样是一个马尔可夫链，它试图逆转扩散过程中添加的噪声步骤。每一步的逆扩散可以用以下公式表示：

$x_{t-1} = \frac{1}{\sqrt{\beta_t}}(x_t - \frac{1-\beta_t}{\sqrt{1-\overline{\beta_t}}}\epsilon_\theta(x_t,t) )$

其中 $\epsilon_\theta(x_t,t)$ 是关键（其他都是超参数），它由神经网络根据输入的含噪数据x_t和时间步t学习得到的预测噪声矩阵，这个神经网络经过学习，能够估计在给定时间步长下，从含噪数据中去除多少噪声才能更加接近原始数据。

$\overline{\beta_t} = \prod_{i=1}^{t}\beta_i$ ，这些系数都是预先设定的超参数。

$\frac{1}{\beta_t}$ 起到一个缩放的作用， $\frac{1-\beta_t}{\sqrt{1-\overline{\beta_t}}}$ 对预测噪声进行加权，使得根据当前时间步长和前面时间步长积累的噪声情况，合理的从xt中减去一部分噪声，从而更加接近上一个时间步长x_t-1的数据。