本文收录于《AI绘画从入门到精通》专栏,专栏总目录:点这里,订阅后可阅读专栏内所有文章。
大家好,我是水滴~~
本文讲述 Fooocus 的图生图功能,主要内容包括:图像放大或变化、图像提示、图像重绘或扩充、反推提示词、生成参数提取,并分享了所需模型的下载地址。
文章内容包含大量的图例,希望能够帮助新手同学快速入门。
前言
一口气让 Fooocus 生成了 12 张“一个女孩骑着一条龙”的图片:
从里边选一张最有气质的照片,就它了:
今天我们就拿这张图片来演示 Fooocus 图生图的功能。
一、图像放大或变化(Upscale or Variatioin)
图像放大或变化(Upscale or Variatioin)可以微调图片或放大图片。
我们将图片拖放至左侧区域(或者上传),然后选择右边的选项,点击【生成】即可。然后,我们对比一下各选项生成的效果:
不启用:表示不启用图生图功能,会生成新的图片。
变化(细微 0.50):重绘幅度为 0.50
,产生细微的变化(女孩表情变了、背景树木更茂密了)。
变化(强烈 0.85):重绘幅度为 0.85
,产生强烈的变化(女孩面部和衣服变了,龙变胖了,轮子变成腿了,地面也变成泥地了)。
放大(1.5倍):图片放大了 1.5
倍,增加了细节,使画面更加细腻,女孩脸部也修复了。
放大(2倍):图片放大了 2
倍,增加了细节,使画面更加细腻,女孩脸部也修复了。
快速放大(2倍):图片放大了 2
倍,没有修改图片细节。
二、图像提示(Image Prompt)
图像提示(Image Prompt)相当于 WebUI 中的 ControlNet 功能。勾选【高级设置】后,可以看出它有四种 ControlNet 供我们选择:图像提示(默认)、边缘检测、深度检测、换脸。
Image Prompt 还有两个重要的参数(Fooocus 已为每一种 ControlNet 设置了不同的默认值,通常无需调整):
- 停止于(Stop At):停止设置控制在生成过程中应用所选 ControlNet 的影响的步骤数。取值范围为
0~1
,通常值为0.5
,值越高,ControlNet 与参考图的粘合度就越高。 - 权重(Weight):权重设置决定了所选 ControlNet 对最终图像的影响强度。较高的权重值会增加 ControlNet 的影响,而较低的权重值会降低其效果。取值范围为
0~2
。
2.1 图像提示(ImagePrompt)
图像提示(ImagePrompt)可以根据提示词和参考图中的风格来生成新的图片。
一个女孩骑着一头鳄鱼(a girl rides a crocodile
):
一个女孩参差一条蛇(a girl rides a snake
):
一个女孩骑着一只狗(a girl rides a dog
):
2.2 边缘检测(PyraCanny)
边缘检测(PyraCanny)用于识别并提取图像中的边缘特征。当您想要在生成的图片中保留参考图的特定细节或姿势时,PyraCanny 设置特别有用。它创建一个线条艺术图片,从图像中捕获复杂的细节,并将它们应用到文本提示和其他控制网络。这可以产生与输入图像非常相似的合成,同时结合所需的风格变化。
在【高级设置】中打开【开发者高度模式】,在【ControlNet】中勾选【高度预处理】可以生成预处理的控制图:
一个女孩骑着一只狗(a girl rides a dog
):
2.3 深度检测(CPDS)
深度检测(CPDS,Contrast Preserving Decolorization Structure)即保持对比的退色结构,是由 Fooocus 团队开发的定制控制网络。它结合了深度控制和脱色方法,将图像转换为黑白图像。然后,黑白图像的结构充当控制网来影响最终图像。 CPDS 和 PyraCanny 具有相似的目的,但它们采用不同的方法。虽然您可以组合多个控制网络,但建议使用 Pyan 或 CPDS,但不要同时使用两者。
深度检测在使用【调试预处理】时会生成黑白照片:
一个女孩骑着一头恐龙(a girl rides a dinosaur
):
2.4 换脸(FaceSwap)
换脸(FaceSwap)会检测参考图中的脸部和头发并将其替换为生成图片中的脸部和头发。可以结合提示词使用,AI 将从参考图中识别出面部和头发,并将其应用到最终生成的图像中。
参考图:
一个女孩骑着一头龙(a girl rides a dragon
):
三、图像重绘或扩充(Inpaint or Outpaint)
3.1 图像重绘或扩充
图像重绘或扩充(Inpaint or Outpaint)可以重绘蒙版内容,还可以扩充图片。
将参考图要重绘的部分使用蒙版遮住:
生成的图片,会重绘蒙版中的内容:
如果想要扩图,可以在【向外扩充绘制的方向】中勾选扩充的方向。
向上:
向下:
向左:
向右:
向四个方向:
3.2 内部重绘-改善细节(脸、手、眼等)
内部重绘-改善细节(Improve Detail (face, hand, eyes, etc.))可以修复脸、手和眼等。
例如,这个女孩的脸想修复一下,用蒙版遮住:
重绘后的效果:
3.3 内部重绘-修改内容(添加物体、改变背景等)
内部重绘-修改内容(Modify Content (add objects, change background, etc.))可以添加物体、改变背景等
例如,在地面添加一条狗,就可以在地面上添加蒙版,然后在【内部重绘的附加提示词】中添加 dog
:
这样就会在蒙版位置添加一条狗:
例如,将远处的山改为火山:
修改后的效果:
四、反推提示词(Describe)
反推提示词(Describe)可以提取图片中的关键信息,将结果输出到“提示词”文本框中。
主要包括两种——照片(Photograph)、画作/动漫(Art/Anime):
照片(Photograph)反推出的是一些句子,描述图片中的内容。
反推结果:a woman riding on the back of a motorcycle next to a dragon
(一个女人坐在摩托车后座上,旁边是一条龙)
画作/动漫(Art/Anime)反推出的是一些单词,描述图片中的关键词。
反推结果:1girl, solo, long hair, brown hair, outdoors, wings, shorts, tank top, denim, ground vehicle, nature, motor vehicle, mountain, realistic, dragon, road, riding, dragon wings
(女孩,独唱,长发,棕色头发,户外,翅膀,短裤,背心,牛仔布,地面车辆,自然,机动车,山,现实,龙,道路,骑,龙翅膀)
五、生成参数提取(Metadata)
生成参数提取(Metadata)可以提取用 Stable Diffusion 生成图片的生成信息,包括:正向提示词、负向提示词、采样器、采样步数等等。
六、模型下载
在使用 Fooocus 图生图功能时,会下载一些模型。我将这些模型放到网盘中了,这里分享给大家。
网盘地址:https://pan.quark.cn/s/5b972ab4e26f
inpaint 内容放到 Fooocus\models\inpaint
目录中:
controlnet 内容放到 Fooocus\models\controlnet
目录中:
clip_vision 内容放到 Fooocus\models\clip_vision
目录中: