一、前言
本文是《Stable Diffusion 从入门到企业级应用实战》系列的第四部分能力进阶篇《Stable Diffusion ControlNet v1.1 图像精准控制》的第0414篇 利用Stable Diffusion ControlNet 法线贴图模型精准控制图像生成。本部分内容,位于整个Stable Diffusion生态体系的位置如下图黄色部分所示:
法线就是指模型表面的凹凸感,而凹凸感的产生是因为模型表面像素的光照条件不一样产生的。在逐像素计算光照时,每一个像素都会根据该点的法向量来计算最终该点的光照结果,那么,我们如果能够改变这个法线的方向,就可以改变这个点的光照结果,进而影响模型表面凹凸感。
最早的法线贴图实现方式是使用凹凸贴图(Bump Map),简单来讲就是给一张灰度图,默认为黑色,越凸起的地方颜色越亮,通过采样点之间斜率决定像素是否位于边缘,从而影响光照明暗。
Unity法线贴图一般都是存储在切线空间。切线空间的z轴就是顶点所在面的法线方向,该点的uv二维坐标系则用来表达该点的切线(tangent)和该点的次法线(binormal)方向。
This model can accept normal maps from rendering engines as long as the normal map follows ScanNet's protocol.
二、创作成果
三、生成过程
3.1 工作流程
整个创建,过程可以分为三个步骤:环境部署、模型下载、模型推理。
3.2 环境部署
我们的环境部署,没有采用webUI的方式,进行而是配置了基于ControlNet v1.1 进行了原始环境部署。源码资源如下图所示:
3.3 模型下载
3.4 模型推理
启动程序:
操作界面:
提示词:
提示通过图像 + Prompt组合的模式进行,本文,我们使用的提示为:cute toy.
呆萌,呆萌的图像输出,是不是瞬间俘获了你的内心。
四、小结
本文是《Stable Diffusion 从入门到企业级应用实战》系列的第四部分能力进阶篇《Stable Diffusion ControlNet v1.1 图像精准控制》的第14篇 《利用Stable Diffusion ControlNet NormalBAE 法线贴图模型精准控制图像生成》。下一章,我们将要分享《Stable Diffusion ControlNet v1.1 图像精准控制》的第13篇《利用Stable Diffusion ControlNet Tile 磁贴模型精准控制图像生成 》。敬请期待。