二、关于：瓦瑟斯坦距离、边界平衡，逐渐增长的GAN值

        GAN主导着深度学习任务，如图像生成和图像翻译。

        在上一篇文章中，我们达到了理解未配对图像到图像翻译的地步。尽管如此，在实现自己的超酷深度GAN模型之前，您必须了解一些非常重要的概念。

        在这一部分中，我们将看看一些基础工作。我们将看到最常见的GAN距离函数及其工作原因。然后，我们将 GAN 的训练视为试图找到双人博弈的平衡。最后，我们将看到一项革命性的增量训练工作，它首次实现了逼真的百万像素图像分辨率。

        我们将探索的研究主要解决模式崩溃和训练不稳定性。从未训练过GAN的人很容易争辩说我们总是提到这两个轴。在现实生活中，为新问题训练大规模 GAN 可能是一场噩梦。

        如果您开始阅读和实施最新的方法，则几乎不可能在新问题中成功训练新的 GAN。实际上，这就像中了彩票一样。

当你离开最常见的数据集（CIFAR、MNIST、CELEBA）时，你就陷入了混乱。

通常情况下，您尝试直观地将学习曲线理解为调试，以便猜测可能更好地工作的超参数。但是GAN训练非常不稳定，以至于这个过程往往是浪费时间。这部可爱的工作是最早为 GAN 培训计划提供广泛理论依据的工作之一。有趣的是，他们发现了分布之间所有现有距离之间的模式。

2.1 核心理念

        核心思想是有效地测量模型分布与实际分布的接近程度。因为选择测量距离的方式直接影响模型的收敛性。正如我们现在所知，GAN 可以表示低维流形（噪声 z）的分布。

直观地说，这个距离越弱，就越容易定义从参数空间（θ-space）到概率空间的映射，因为事实证明，分布更容易收敛。

        我们有理由要求这种连续映射。主要是因为可以定义一个连续函数来满足这种连续映射，该映射给出所需的概率空间或生成的样本。

        出于这个原因，这项工作引入了一个新的距离，称为Wasserstein-GAN。它是推土机（EM）距离的近似值，理论上表明它可以逐步优化GAN的训练。令人惊讶的是，在训练期间不需要平衡D和G，也不需要网络架构的特定设计。通过这种方式，减少了 GAN 中固有存在的模式崩溃。

2.2 了解瓦瑟斯坦距离

        在我们深入研究拟议的损失之前，让我们看一些数学。正如 wiki 中完美描述的那样，偏序集合的子集的上确界 （sup） 是大于或等于 的所有元素的最小元素。因此，上确界也被称为最小上限。我个人将其称为可以在 T 中找到的所有可能组合的子集的最大值。

        现在，让我们在GAN术语中引入这个概念。T 是我们可以从 G 和 D 得到的所有可能的对函数近似 f。S 将是那些函数的子集，我们将约束这些函数以使训练更好（某种正则化）。排序自然来自计算的损失函数。基于上述，我们最终可以看到测量两个分布 Pr 和 Pθ 之间距离的 Wasserstein 损失函数。

        严格的数学约束称为 K-Lipschitz 函数，用于获取子集 S。但是，如果数学得到广泛证明，则不需要了解更多。但是，我们如何引入这种约束呢？

解决这个问题的一种方法是大致近似这个约束，方法是训练一个神经网络，其权重位于一个紧凑的空间中。 为了实现这一目标，最简单的方法是将砝码夹紧到固定范围内。

        就是这样，重量剪辑可以按照我们想要的方式工作！因此，在每次梯度更新后，我们将w范围裁剪为[−0.01，0.01]。这样，我们就可以显著地强制执行 Lipschitz 约束。简单，但我可以向你保证它有效！

        事实上，有了这个距离损失函数，当然，它是连续的和可微的，我们现在可以用提出的准则训练D，直到最优，而其他距离则饱和。饱和意味着鉴别器的损耗为零，生成的样本仅在某些情况下有意义。所以现在，饱和（自然导致模式崩溃）得到了缓解，我们可以在所有训练范围内使用更线性风格的梯度进行训练。让我们看一个例子来澄清这一点：

        为了在实践中查看所有以前的数学，我们在 Pytorch 中提供了 WGAN 编码方案。您可以直接修改项目以包含此损失标准。通常，最好在实际代码中看到它。值得一提的是，要保存子集并取上限，这意味着我们必须取很多对。这就是为什么你会看到我们每隔几次训练生成器，以便鉴别器获得更新。这样，我们就有了定义上确界的集合。请注意，为了接近上确界，我们还可以在升级 D 之前为 G 做很多步骤。

        在后来的工作中，证明即使这个想法是可靠的，重量裁剪也是强制执行所需约束的糟糕方法。强制函数成为K-Lipschitz的另一种方法是梯度惩罚。

关键思想是相同的：将重量保持在紧凑的空间内。然而，他们通过约束批评家输出相对于其输入的梯度范数来做到这一点。

        我们不会介绍本文，但为了用户的一致性和易于实验，我们提供了代码作为原版 wgan 的改进替代方案。

2.3 结果和讨论

        按照我们的简要描述，我们现在可以跳入一些结果。很高兴看到GAN在训练过程中如何学习，如下图所示：

DCGAN发电机的瓦瑟斯坦损耗准则。如您所见，损失迅速稳定地减少，而样品质量提高。这项工作被认为是GAN理论方面的基础，可以总结为：

        TL;RL

• Wasserstein 准则允许我们训练 D 直到最优。当标准达到最佳值时，它只是为生成器提供损失，我们可以像任何其他神经网络一样训练该生成器。
• 我们不再需要正确平衡 G 和 D 容量。
• Wasserstein损失导致训练G的梯度质量更高。
• 据观察，WGAN在生成器和超参数调优的架构选择方面比普通GAN更健壮

        的确，我们确实提高了优化过程的稳定性。但是，没有什么是零成本的。WGAN训练在基于动量的优化器（如Adam）以及高学习率下变得不稳定。这是合理的，因为标准损失是高度非平稳的，因此基于动量的优化器似乎表现得更差。这就是他们使用RMSProp的原因，众所周知，RMSProp在非平稳问题上表现良好。

        最后，理解本文的一种直观方法是对层内激活函数的历史进行梯度类比。具体来说，sigmoid 和 tanh 激活的梯度消失了，取而代之的是 ReLU，因为整个值范围内的梯度有所改善。

三、开始（边界均衡生成对抗网络2017）

        我们经常看到判别器在训练开始时进步太快。尽管如此，平衡鉴别器和生成器的收敛性仍然是一个现有的挑战。

        这是第一部能够控制图像多样性和视觉质量之间权衡的工作。用简单的模型架构和标准的训练方案获取高分辨率图像。

        为了实现这一点，作者引入了一个技巧来平衡生成器和鉴别器的训练。BEGIND的核心思想是这种新实施的均衡，它与描述的Wasserstein距离相结合。为此，他们训练了一个基于自动编码器的鉴别器。有趣的是，由于D现在是一个自动编码器，它产生图像作为输出，而不是标量。在我们继续之前，让我们记住这一点！

        正如我们所看到的，匹配误差的分布而不是直接匹配样本的分布更有效。关键的一点是，这项工作旨在优化自动编码器损失分布之间的Wasserstein距离，而不是样本分布之间的Wasserstein距离。BEGIND的一个优点是它没有明确要求判别器受到K-Lipschitz约束。自动编码器通常使用 L1 或 L2 范数进行训练。

3.1 两人博弈均衡的表述

        为了用博弈论来表达这个问题，增加了一个平衡判别器和生成器的均衡项。假设我们可以理想地生成无法区分的样本。然后，它们的误差分布应该是相同的，包括它们的预期误差，这是我们在处理每批后测量的误差。完全平衡的训练将导致 L（x） 和 L（G（z） 的预期值相等。然而，事实并非如此！因此，BEGIN决定量化余额比率，定义为：

        此数量在网络中建模为超参数。因此，新的训练方案涉及两个相互竞争的目标：a）自动编码真实图像和b）区分

        从生成的图像中真实。γ术语让我们平衡这两个目标。较低的γ值会导致较低的图像多样性，因为鉴别器更侧重于自动编码真实图像。但是，当预期损失发生变化时，如何控制此超参数呢？

3.2 边界平衡GAN（开始）

        答案很简单：我们只需要引入另一个落在 [0， 1] 范围内的变量 kt。此变量将设计用于控制训练期间放在 L（G（z）） 上的焦点。

        它初始化为 k0 = 0，λ_k在本研究中也被定义为 k 的比例增益（使用 0.001）。这可以看作是闭环反馈控制的一种形式，其中kt在每一步都进行调整，以保持所选超参数γ所需的平衡。

        请注意，在早期训练阶段，G 倾向于为 D 生成易于重建的数据。同时，尚未准确学习真实的数据分布。基本上，L（x）>L（G（z））。与许多 GAN 相反，BEGIN 不需要预训练，可以使用 Adam 进行优化。最后，利用均衡概念推导出收敛的全局度量。

        从本质上讲，可以将收敛过程表述为找到 a） 最接近的重建 L（x） 和 b） 控制算法的最低绝对值 ||γ L（x）−L（G（z）） ||.加上这两个术语，我们可以识别网络何时收敛。

3.3 模型体系结构

        模型架构非常简单。一个主要区别是引入了指数线性单位而不是 ReLU。他们使用带有深度编码器和解码器的自动编码器。超参数化旨在避免典型的GAN训练技巧。

使用 U 形架构，无需跳跃连接。下采样实现为子采样卷积，内核为 3，步幅为 2。另一方面，上采样是通过最近邻插值完成的。在编码器和解码器之间，处理数据的张量通过全连接层映射，之后没有任何非线性。

3.4 结果和讨论

在下面的 128x128 插值图像中可以看到一些呈现的视觉结果：

图片来源：BEGAN[https://arxiv.org/abs/1703.10717] .由 BEGIN 生成的插值 128x128 图像

值得注意的是，观察到多样性随着γ而增加，但伪像（噪点）也是如此。可以看出，插值显示出良好的连续性。在第一行，头发过渡和发型被改变。还值得注意的是，左图中的某些特征消失了（香烟）。第二行和最后一行显示简单的旋转。虽然旋转很平稳，但我们可以看到个人资料图片并没有完美捕获。

最后，使用BEGIND平衡方法，网络收敛到多样化且视觉上令人愉悦的图像。在 128x128 分辨率下，只需稍作修改，情况仍然如此。训练稳定、快速，并且对微小的参数变化具有鲁棒性。

但是让我们看看在真正的高分辨率下会发生什么！