文章目录
- 1.1 生成艺术二维码
- 1）制作基础二维码
- 2）确定艺术风格
- 3）生成艺术二维码
- 4）结果优化
AIGC 的可控性是它进入实际生产最关键的一环。在此之前，许多用户希望 AI 生成的结果尽可能符合要求，但都不尽如人意。ControlNet 提供一个新的神经网络概念，该网络可以控制Stable Diffusion模型并让Stable Diffusion模型支持更多的输入条件。原始的SDStable Diffusion能接受prompt以及source image的输入，ControlNet提供了包括canny边缘，语义分割图，姿态识别，涂鸦在内的多种输入条件，拓展了Stable Diffusion的能力边界，使得AI绘画的可控性大幅提高。
imAgine在Stable Diffusion Webui中预装了ControlNet插件以及模型，可以通过使用 ControlNet 预处理器和 ControlNet 模型，来进行您的创作。本次动手训练营您将通过利用ControlNet体验到以下能力：
- 生成艺术二维码
- 使用Openpose优化人物二维码
- 生成艺术字照片
ControlNet提供多种模型选择，每一种模型对图片的关注不同，例如一些是关注主体边缘，一些是关注建筑线条，一些是关注人物姿势等：
注意：目前ControlNet是AI绘画界的热点，其更新速度极快，考虑到时效性，仅作当前参考
1.1 生成艺术二维码
1）制作基础二维码
完成二维码制作后，点击 “Send to ControlNet”，直接将二维码发送至 ControlNet，或点击右侧的 “Download” 以下载到本地以进行下一步操作。
2）确定艺术风格
mountain, green grassland, sky, cloud, bird, blue sky, no human, day, wide shot, flower, flying, border, outdoors, white bird, scenery
3）生成艺术二维码
确认好图片风格后，我们将未经处理的二维码上传 ControlNet。请在“文生图”标签页中展开ControlNet标签，并注意以下几个选项的配置：
- 勾选 “启用” 按钮 ：以确保 ControlNet 在图片生成过程中生效；
- 模型选框：请选择 “control_v1p_sd15_qrcode_monster” 来使用ControlNet二维码控制模型；
- 控制权重：对于 qrcode_monster 模型，建议设置在 1.1-1.6 之间；
- 引导介入/终止时机：介入时机建议在 0-0.1 之间，终止时机建议为 1。
在文生图配置中建议调整两组数值：
- 迭代步数：在 30-50 之间，默认值 20 不足以引导生成一个高质量的二维码图片
- 宽度/高度：直接从 ControlNet 发送二维码原图的宽高比至上方
4）结果优化
ontrolNet 的参数会影响何时以及如何将控制应用于生成过程。
- 控制权重 - ControlNet 的权重。 权重越高，输出受 ControlNet 的影响就越大。
- 开始控制步骤 - ControlNet 开始生效时生成过程的百分比。
- 结束控制步骤 - ControlNet 停止生效时生成过程的百分比。
启动控制步骤将允许提示和模型在知道 QR 码控件存在之前发挥创意。 最终控制步骤将允许模型尝试将 QR 码更多地融入到艺术品中（但会使二维码更难扫描）。 它需要几次尝试和错误才能找到适当的平衡，以便 ControlNet 有足够的时间进行干预，但又不能太多，这样代码就足够艺术化。
如果生成的二维码不能够达到期望，可以选择微调以下几个参数，并增加生成的总批次数，不断尝试抽卡以逼近最终期望的效果：
- 提示词
- 采样方法
- ControlNet 控制权重
- ControlNet 引导介入/终止时机
必要时可以选择使用 “脚本” 中的 X/Y/Z Plot，来对比不同参数下生成二维码的效果。要使用X/Y/Z Plot，请在WebUI页面底部“脚本”处选择X/Y/Z Plot，您可以尝试通过选中X与Y轴的类型（Type），以控制ControlNet 控制权重（ControlNet Weight）和 ControlNet引导介入/终止时机（ContolNet Guidance Start）来观察不同生成的效果。
