Stable Diffusion（SD）原理详解与ComfyUI使用

1. SD整体结构

• 输入：文本和随机变量（Latent Vector）
• 输出：图片
• 核心：由三个模型组成
  1. 文本编码器（Clip）
  2. 生成模型（Unit）
  3. 变分自编码器（VAE）

2. Clip（文本编码器）

• 专为SD设计的文本编码器
• 训练步骤：
  1. 有限制性预训练：使用图片和文本描述的数据集，训练文本编码器和图片编码器，使输出向量尽可能接近。
  2. 进一步训练：使用物体名称和描述，训练文本编码器解码能力。

3. Unit（生成模型）

• 功能：加噪和降噪过程
• 过程：将图片经过VAE编码器处理，生成与Latent Vector相同大小的图片，然后通过加噪和降噪生成中间结果。

4. VAE（变分自编码器）

• 功能：降维和升维
• 过程：
  1. 编码器将图片转换为较小的表示
  2. 解码器将较小的表示还原为原图大小
• 优点：无需标签，可以从噪声中生成图片

5. 整体工作流程

1. 文本通过Clip编码成向量
2. 向量和Latent Vector一起输入到Unit
3. Unit进行降噪处理，生成中间结果
4. 中间结果通过VAE解码器还原为最终图片

6. ComfyUI低显存生成图片

• 利用SD原理，ComfyUI可以在低显存条件下生成高质量图片
• 通过理解SD的各个部件和工作流程，可以更好地使用ComfyUI

7. 总结

• SD通过结合文本编码器、生成模型和变分自编码器，实现了从文本到图片的生成
• ComfyUI利用SD原理，提供了一种在资源受限条件下生成图片的方法
• 理解SD的架构和组件对于有效使用ComfyUI至关重要