Stable Diffusion基础:ControlNet之细节替换

WechatIMG614.jpeg 本文继续给大家分享 Stable Diffusion 的基础能力:ControlNet之细节替换,故事的主角是 Tile。

Tile 的原意是瓦片、瓷砖。作为 ControlNet,它会对参考图进行分块,并识别出区块内的对象。如果提示词和区块内的对象匹配,它会在不改变对象定义的情况下,生成新的细节,替换之前的细节;如果提示词和区块内的对象不匹配,它会以对象为准,降低提示词的影响。

安装ControlNet

工欲善其事必先利其器,ControlNet还是先要安装好的,已经安装好的请跳过这一步。
没有安装好的小伙伴可以到文末领取!

使用方法

这个控制网络可以用于文生图、图生图,这里以“文生图”为例。

首先选择生图大模型,填写提示词。这里选择一个真实模型:realisticVisionV51 ,提示词要和参考图相匹配。

Stable Diffusion的参数一般使用默认的就可以。注意高度、宽度使用参考图的尺寸,否则可能被裁减或者变形。

重点看下 ControlNet 的设置,上传一张要提升细节的图片,图片内容和上面的提示词是匹配的。

勾选“启用”和“完美匹配像素”。

Control Type 选择 Tile,预处理器和模型会自动加载。

注意 Tile 的预处理器有三个:

(1)tile_resample 对于内容丰富的图片生图效果较好,但是和原图的颜色偏差较大。

resample 有一个名为 Down Sampling Rate 的参数,这个参数的作用是按照比例缩小参考图,降低参考图的分辨率,然后生成图片的时候就可以产生更多的细节。

(2)tile_colorfix 保持和原图的颜色一致,但背景会比较模糊。

colorfix 有一个名为 Variation 的参数, 控制每个瓦片之间的色彩变化,值越大瓦片的色彩变化越大。

(3)tile_colorfix+sharp 保持和原图的颜色一致,同时增加锐化,让线条更清晰。

colorfix+sharp 有两个参数:

Variation 控制瓦片之间的色彩变化。

Sharpness 控制锐化程度,也就是线条的清晰程度。如果感觉生成的图片比较模糊,可以加大这个值。

控制权重:降低控制权重,可以降低 ControlNet 的约束,让 Stable Diffusion 模型发挥更大的作用。

启动、结束控制步数也可以控制细节的渲染效果,可以用不同的值试试,这里就不啰嗦了。

权重为 1 时,因为原图比较简单,出现了明显的瓦片颜色不协调问题。权重为 0.3 时模型发挥了更大的作用,色彩搭配好了很多。

控制模式对 Tile 的影响很大,以提示词为主时,生成图片会明显偏向 Stable Diffusion 模型。

用途示例

修复老照片

利用 Tile 的细节生成能力, 替换图片中模糊的细节。注意这种细节不是还原,而是生成了新的细节。

慈禧太后的老照片:

上个世纪的一位老人:

改善细节

原图片的天空、草地和森林都很模糊。通过 Tile 可以让细节更清晰。

如果一次生成得到的图片还是不够清晰,可以迭代多次试试,下边的图片就是生成了3次得到的。

完善草图

可以给线稿图、涂鸦图增加一些细节,让画面看起来完成度更高。

风格转换

Tile + 不同的模型,就会有风格转换的效果,通过增大提示词引导系数、设置控制模式为以提示词为主,可以让图片更靠近模型的风格。

真实转二次元:

机车赛博朋克:

总结

通过以上这些例子,可以看到:图片的结构及相关元素主体都没有改变,变化的只有细节,也就是实现了细节的替换。

资源下载

本系列使用的模型、插件,生成的图片,都已经上传到我整理的 Stable Diffusion 绘画资源中,后续也会持续更新,如有需要,到文末添加,即可获取下载地址。

写在最后

感兴趣的小伙伴,赠送全套AIGC学习资料,包含AI绘画、AI人工智能等前沿科技教程和软件工具,具体看这里。

AIGC技术的未来发展前景广阔,随着人工智能技术的不断发展,AIGC技术也将不断提高。未来,AIGC技术将在游戏和计算领域得到更广泛的应用,使游戏和计算系统具有更高效、更智能、更灵活的特性。同时,AIGC技术也将与人工智能技术紧密结合,在更多的领域得到广泛应用,对程序员来说影响至关重要。未来,AIGC技术将继续得到提高,同时也将与人工智能技术紧密结合,在更多的领域得到广泛应用。

在这里插入图片描述

一、AIGC所有方向的学习路线

AIGC所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照下面的知识点去找对应的学习资源,保证自己学得较为全面。

在这里插入图片描述

在这里插入图片描述

二、AIGC必备工具

工具都帮大家整理好了,安装就可直接上手!
在这里插入图片描述

三、最新AIGC学习笔记

当我学到一定基础,有自己的理解能力的时候,会去阅读一些前辈整理的书籍或者手写的笔记资料,这些笔记详细记载了他们对一些技术点的理解,这些理解是比较独到,可以学到不一样的思路。
在这里插入图片描述
在这里插入图片描述

四、AIGC视频教程合集

观看全面零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。

在这里插入图片描述

五、实战案例

纸上得来终觉浅,要学会跟着视频一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。
在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/352470.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

高考志愿填报:选择好专业还是好学校?

人不走空 🌈个人主页:人不走空 💖系列专栏:算法专题 ⏰诗词歌赋:斯是陋室,惟吾德馨 高考志愿填报:选择好专业还是好学校? 每年高考结束后,考生和家长面临的一个…

【深度学习】AI换脸,EasyPhoto: Your Personal AI Photo Generator【一】

论文:https://arxiv.org/abs/2310.04672 文章目录 摘要IntroductionTraining Process3 推理过程3.1 面部预处理3.3 第二扩散阶段3.4 多用户ID 4 任意ID5 实验6 结论 下篇文章进行实战。 摘要 稳定扩散Web UI(Stable Diffusion Web UI,简称…

LabVIEW进行图像拼接的实现方法与优化

在工业检测和科研应用中,对于大尺寸物体的拍摄需要通过多次拍摄后进行图像拼接。LabVIEW 作为强大的图形化编程工具,能够实现图像拼接处理。本文将详细介绍LabVIEW进行图像拼接的实现方法、注意事项和提高效率的策略。 图像拼接的实现方法 1. 图像采集…

30.保存游戏配置到文件

上一个内容:29.添加录入注入信息界面 以 29.添加录入注入信息界面 它的代码为基础进行修改 效果图: 首先在我们辅助程序所在目录下创建一个ini文件 文件内容 然后首先编写一个获取辅助程序路径的代码 TCHAR FileModule[0x100]{};GetModuleFileName(NUL…

ByteTrack

1. 论文中伪代码表示的流程图 2. 简要版 此图源自: ByteTrack多目标跟踪原理,白老师人工智能学堂 3. 详细版 根据ByteTrack-CPP-ncnn代码的数据流画的较为详细的流程图: 4. ByteTrack-CPP-ncnn的UML类图 Reference ByteTrack多目标跟踪原…

事务性邮件与营销邮件有什么区别

在数字化时代,电子邮件已成为商务沟通不可或缺的工具。然而,并非所有的邮件都旨在销售产品或服务。事务性邮件和营销邮件,虽然都通过电子邮件这一渠道传播,但它们的目的、风格和结构却大相径庭。U-Mail将深入探讨这两种邮件的区别…

cve_2014_3120-Elasticsearch-rce-vulfocus靶场

1.背景 来源:ElasticSearch(CVE-2014-3120)命令执行漏洞复现_mvel 漏洞-CSDN博客 参考:https://www.cnblogs.com/huangxiaosan/p/14398307.html 老版本ElasticSearch支持传入动态脚本(MVEL)来执行一些复…

React入门教程:构建你的第一个React应用

在当今快速发展的Web开发领域,前端技术日新月异,而React作为一款强大的JavaScript库,已经成为众多开发者的首选。React以其组件化、高效的性能和灵活的数据处理机制闻名于世,被广泛用于构建动态且复杂的用户界面。在本教程中&…

新人最全Charles安装配置来了

1. windows proxy 这个按钮根据需要,进行打开或者关闭。该按钮勾选状态下则表示可以抓取到电脑端的请求 2. Proxy-setiing 检查enable transparent HTTP 按钮是否勾选 这个按钮必须勾选 3. SSL proxy setting 80:HTTP协议的端口号 8080&#xff1…

SFNC —— 标准特征命名约定(一)

系列文章目录 SFNC —— 标准特征命名约定(一) 文章目录 系列文章目录1、介绍1.1 约定(Conventions)功能名称和接口(Feature Name and Interface)功能类别(Feature Category)功能级别…

NAND闪存市场彻底复苏

在全球内存市场逐渐走出阴霾、迎来复苏曙光之际,日本存储巨头铠侠(Kioxia)凭借敏锐的市场洞察力和及时的战略调整,成功实现了从生产紧缩到全面复苏的华丽转身。这一转变不仅彰显了企业在逆境中的生存智慧,也为全球半导…

SpringBootWeb 篇-入门了解 Apache POI 使用方法

🔥博客主页: 【小扳_-CSDN博客】 ❤感谢大家点赞👍收藏⭐评论✍ 文章目录 1.0 Apache POI 概述 2.0 使用 Apache POI 读写 Excel 文件 2.1 写入 Excel 文件 2.2 写入 Excel 文件代码演示 2.3 读取 Excel 文件 2.4 读取 Excel 文件代码演示 1.…

[蓝桥杯真题]买二赠一

蓝桥杯真题;买二赠一,要求赠的一价格不能超过买的两者之间最小价格的二分之一 看到这个题的时候我信心满满的一顿操作猛如虎,全部写出来的时候内心想着,稳了!这次绝对稳了!然而。。。答案错误。。。 我只能去看了一下…

苹果的后来者居上策略:靠隐私保护打脸微软

01.苹果与微软相比更注重用户隐私 我一直是Windows的忠实用户,但微软疯狂地将人工智能融入一切,让我开始觉得应该咬咬牙换成Mac。 自小我几乎只用Windows电脑,所以我对MacOS一直不太适应。虽然Windows 11有其缺点,但总的来说&am…

【系统架构设计师】一、计算机系统基础知识(指令系统|存储系统|输入输出技术|总线结构)

目录 一、指令系统 1.1 计算机指令 1.2 指令寻址方式 1.3 CISC 与 RISC 1.4 指令流水线 二、存储系统 2.1 分级存储体系 2.2 地址映射 2.3 替换算法 2.4 磁盘 2.4.1 磁盘结构和参数 2.4.2 磁盘调度算法 三、输入输出技术 四、总线结构 五、考试真题练习 一、指令…

2024年6月10日~2024年6月16日周报

文章目录 一、前段时间工作二、完成情况2.1 可变形卷积的学习2.1.1 Introduction-介绍2.1.2 Related Work-相关工作2.1.3 Method-方法2.1.3.1 可变形卷积动态属性的重认识2.1.3.2 Speeding up DCN—加速DCN 2.2 部署可变形卷积 三、假期计划 一、前段时间工作 在之前一段时间主…

【深度学习】GPT1,提高语言理解的生成预训练方法

论文: https://s3-us-west-2.amazonaws.com/openai-assets/research-covers/language-unsupervised/language_understanding_paper.pdf 文章目录 提高语言理解的生成预训练方法摘要引言相关工作自然语言处理的半监督学习无监督预训练辅助训练目标 框架无监督预训练有…

干G货,性能测试基本方法和原则,

一、性能测试关键点 评估性能指标——线程tps(可架构给) 吞吐量qps(可架构给) 错误率(可架构给) 平均响应时间(可架构给)模拟线上数据量了解接口有没有缓存,有缓存的需要…

TypeScript写好了,怎么运行啊!!!

环境搭建 Vs code Ctrlshiftp打开首选项—》打开工作区设置—》搜索Typescript 推荐开启的配置项主要是这几个: Function Like Return Types,显示推导得到的函数返回值类型;Parameter Names,显示函数入参的名称;Par…

双层循环和循环控制语句的使用,while和until的语法使用

双层循环和循环控制语句的使用,while和until的语法使用 exit echo 打印 -n 表示不换行输出 -e 输出转译字符 \b:相当于退格键(backspace) \n:换行,相当于回车 \f:换行,换行后的…