AI绘画SD入门教程:ControlNet篇-Canny边缘检测预处理器

大家好,我是向阳

在本篇中,我来讲讲如何使用预处理器和辅助模型,分别都有些什么作用。

💡 这里说明一下当你调用预处理器而辅助模型显示为无的几种原因:

  1. 当已载入SD1.5的模型时,CannyXL的辅助模型不会显示;

  2. 当已载入SDXL的模型时,CannySD1.5的辅助模型不会显示;

  3. \extensions\sd-webui-controlnet\models在这个路径下检查下模型是否在models文件夹下;

需要了解的一些知识:

  1. 目前最新的ControlNet模型分为ControlNet 1.1模型和ControlNet XL模型;

  2. ControlNet 1.1模型支持基于SD1.5、2.1训练的大模型上。而ControlNet XL模型支持基于SD XL训练的大模型上;

  3. 它们虽然是属于两个不同版本的模型,但是使用方法和原理都是一样的;

  4. SD1.5、2.1的模型无法使用XL的ControlNet模型,SDXL的模型无法使用SD1.5、2.1的ControlNet模型;

  5. 预处理器的作用是对提供的参考图片进行处理,提取出图内的特征,后面我们将用**“提取图”**这个词作为统一代名词;

  6. ControlNet模型,与预处理器配合使用,每种预处理器都会有好几种模型,而这些模型又会有不同作用,后面我会讲。

Canny(边缘检测预处理器)


如何使用

首先我们来看第一个预处理器Canny,在控制类型区域选中一个预处理器,预处理器和模型会自动切换,如果辅助模型显示为无,则参考上面的几种原因。

那么我们来走一遍使用流程,以Canny预处理器为例(以后讲的大多数预处理器使用流程基本是一样的)

  1. 先上传要控制图片的参考图;

  2. 选择一个预处理器控制类型;

  3. 启用该预处理器,打开允许预览,打开完美像素;

  4. 选择预处理器(有些预处理器有多种子类别),选择辅助模型(有多种子类别模型精度不同效果也不一样,FP16/FP32指的就是精度),点击预览按钮,运行后预览区域就会显示预览结果;

  5. 预处理器分辨率,在未开启完美像素,手动调整参数,参数值64-2048,默认 512,数值越高线条越精细,数值越低线条越粗糙。

  6. Canny低阈值与高阈值,数值越低线条越复杂,数值越高线条越简单,也就是提取图线段的强弱,或者说线段的粗细,这样更好理解。

执行完以上基础步骤后,就可以提取出图片了,如果满意,则结合文生图或图生图使用。

作用与效果

接下来我们先调整参数,这样更直观地了解这些参数对于控图的作用。下图是Canny提取图与原图对比。

预处理器分辨率(Preprocessor Resolution)参数效果:未开启完美像素模式的情况下,可自己调整参数以便得到最佳效果的提取图,以512像素的原图为例,数值越大,线条越细,如图:

Canny低阈值/高阈值参数效果:在一张图中,Canny预处理器会识别出各种各样的线段信息,如图L1/H1,当设置L1/H1参数时,Canny会把所有线段提取出来,其中有大部分线段对于图片是无用的,至少在视觉上是无用的,那我们就可以通过调整参数阈值来获得最佳线稿。通俗地讲就是想要图片保留的细节多一些可以降低阈值,图片保留细节少一些可以提高阈值,一般默认就行。

Canny的作用:能够很好地识别出图像内各对象的边缘轮廓,将人物边缘或物体的边缘提取出来,虽然提取后的图像是看似是线稿图,但其实与线稿完全不一样。


应用场景

图片重绘也就是线稿图上色,通过提示词与控制权重改变图片内容。

ControlNet的预处理器和模型能够很好的帮我们控制图片结构,Canny预处理器相对于其他预处理器控图自由度更高,效果更好,不过呢,这也是分应用场景的。

感兴趣的小伙伴,赠送全套AIGC学习资料,包含AI绘画、AI人工智能等前沿科技教程和软件工具,具体看这里。

AIGC技术的未来发展前景广阔,随着人工智能技术的不断发展,AIGC技术也将不断提高。未来,AIGC技术将在游戏和计算领域得到更广泛的应用,使游戏和计算系统具有更高效、更智能、更灵活的特性。同时,AIGC技术也将与人工智能技术紧密结合,在更多的领域得到广泛应用,对程序员来说影响至关重要。未来,AIGC技术将继续得到提高,同时也将与人工智能技术紧密结合,在更多的领域得到广泛应用。

在这里插入图片描述

一、AIGC所有方向的学习路线

AIGC所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照下面的知识点去找对应的学习资源,保证自己学得较为全面。

在这里插入图片描述

在这里插入图片描述

二、AIGC必备工具

工具都帮大家整理好了,安装就可直接上手!
在这里插入图片描述

三、最新AIGC学习笔记

当我学到一定基础,有自己的理解能力的时候,会去阅读一些前辈整理的书籍或者手写的笔记资料,这些笔记详细记载了他们对一些技术点的理解,这些理解是比较独到,可以学到不一样的思路。
在这里插入图片描述
在这里插入图片描述

四、AIGC视频教程合集

观看全面零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。

在这里插入图片描述

五、实战案例

纸上得来终觉浅,要学会跟着视频一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。
在这里插入图片描述

若有侵权,请联系删除

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/341192.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【笔记】Sturctured Streaming笔记总结(Python版)

目录 相关资料 一、概述 1.1 基本概念 1.2 两种处理模型 (1)微批处理 (2)持续处理 1.3 Structured Streaming和Spark SQL、Spark Streaming关系 二、编写Structured Streaming程序的基本步骤 三、输入源 3.1 File源 &a…

django 内置 JSON 字段 使用场景

Django 内置的 JSON 字段(JSONField)是在 Django 3.1 版本中引入的,用于处理 JSON 格式的数据。JSONField 允许在数据库表中存储和查询 JSON 数据,并且在与 Python 代码交互时自动转换为合适的 Python 数据类型。以下是一些常见的…

【golang学习之旅】Go中的cron定时任务

系列文章 【golang学习之旅】报错:a declared but not used 【golang学习之旅】Go 的基本数据类型 【golang学习之旅】深入理解字符串string数据类型 【golang学习之旅】go mod tidy 【golang学习之旅】记录一次 panic case : reflect: reflect.Value.SetInt using…

国产打印何去何从?汉印瞄准突破口,推进发展新质生产力

推动发展新质生产力,已成为当前时代的主题,代表着先进生产力的发展方向。 打印行业因其高门槛性和技术复杂性,以及在信息安全领域中的作用,使其在我国“新质生产力”发展中占据关键位置。同时,打印行业融合了高精尖产…

windows10镜像文件官网下载

官网 下载 Windows 10 光盘映像(ISO 文件) https://www.microsoft.com/zh-cn/software-download/windows10ISO/

QT开源 串口调式工具

都是基础的代码不详细解释,代码比较多福利链接

【C++练级之路】【Lv.24】异常

快乐的流畅:个人主页 个人专栏:《算法神殿》《数据结构世界》《进击的C》 远方有一堆篝火,在为久候之人燃烧! 文章目录 引言一、异常的概念及定义1.1 异常的概念1.2 异常的定义 二、异常的使用2.1 异常的栈展开匹配2.2 异常的重新…

Window10磁盘的分盘和合并

注意: 当我们c盘不够大需要扩大磁盘空间时,当c盘后面没有未划分的磁盘时候,我们是无法进行扩充c盘的,此时,我们可以先删除后面一个磁盘,再进行扩大。 如下:c盘后没有未分配的空间,…

6月4(信息差)

🌍AI预测极端天气提速5000倍!微软发布Aurora,借AI之眼预测全球风暴 🎄理解老司机,超越老司机!LeapAD:具身智能加持下的双过程自驾系统(上海AI Lab等) 论文题目&#xf…

Flutter开发效率提升1000%,Flutter Quick教程之定义Api(三)

将tab键切换到Response,会出现这么一个界面 这是添加api返回的json数据。比如我们添加一个json数据。 添加完json数据后,右上角有一个删除按钮。要换json数据的话,可以点击清除再重新输入。 这时候,左边的面板上还会显示出 这个的…

Python实现PPT表格的编写包含新建修改插图(收藏备用)

自动创建一个ppt文件并创建好表格 代码要用到pptx库 pip install python-pptx 创建含有表格的ppt文件代码: from pptx import Presentation from pptx.util import Inches# 创建一个PPT对象 ppt Presentation()# 添加一个幻灯片 slide ppt.slides.add_slide(p…

用框架思维学Java:集合概览

集合这个词,耳熟能详,从小学一年级开始,每天早上做操时都会听到这两个字: 高中数学又学习到了新的集合: 那么Java中的集合是什么呢? 一,前言 1,什么是Java集合 数学集合是Java集…

Java 垃圾回收

文章目录 1 Java 垃圾回收1.1 JVM1.2 Java 对象生命周期 2 如何判断一个对象可被回收2.1 引用计数算法2.2 可达性分析算法 3 垃圾回收过程3.1 总体过程3.2 为什么要进行世代垃圾回收?3.3 分代垃圾回收过程 在 C 和 C 中,许多对象要求程序员声明他们后为其…

【第三节】C/C++数据结构之栈与队列

目录 一、数据结构-栈 1.1 栈的定义 1.2 栈的 ADT (Abstract Data Type) 1.3 栈的顺序存储结构及实现 二、数据结构-队列 2.1 队列的定义 2.2 队列的 ADT 2.3 队列的顺序存储结构与实现 2.4 优先队列 2.5 各种队列异同点 一、数据结构-栈 1.1 栈的定义 栈(Stack)可…

Web3设计风格和APP设计风格

Web3设计风格和传统APP设计风格在视觉和交互设计上有一些显著的区别。这些差异主要源于Web3技术和理念的独特性,以及它们在用户体验和界面设计中的具体应用。以下是Web3设计风格与传统APP设计风格的主要区别。北京木奇移动技术有限公司,专业的软件外包开…

CSS(盒子模型,定位,浮动,扩展)

CSS 盒子模型:外边距:内边距:水平居中: 定位:相对定位:绝对定位:固定定位: 浮动:扩展: 盒子模型: 盒子模型(Box Model) 规定了元素框处理元素内容…

2024最新python入门教程|python安装|pycharm安装

前言:在安装PyCharm之前,首先需要明确PyCharm是一款功能强大的Python集成开发环境(IDE),由JetBrains公司开发。PyCharm旨在通过提供智能代码补全、语法高亮、代码检查、快速导航和重构等丰富的编码辅助工具&#xff0c…

恢复最近删除的照片!3个终极指南大揭秘!

亲爱的朋友们,你们有没有过这样的经历:一时手滑,不小心删除了手机里的重要照片,然后瞬间感觉自己的世界都要崩塌了?别担心,今天我就来给大家分享一下如何找回最近删除的照片,并介绍详细的方法和…

详解Spring MVC

目录 1.什么是Spring Web MVC MVC定义 2.学习Spring MVC 建立连接 RequestMapping 注解介绍及使用 获取单个参数 获取多个参数 获取普通对象 获取JSON对象 获取基础URL参数 获取上传文件 获取Header 获取Cookie 获取Session 总结 1.什么是Spring Web MVC 官⽅对于…

AI 正在攻克难题——赋予计算机嗅觉

每周跟踪AI热点新闻动向和震撼发展 想要探索生成式人工智能的前沿进展吗?订阅我们的简报,深入解析最新的技术突破、实际应用案例和未来的趋势。与全球数同行一同,从行业内部的深度分析和实用指南中受益。不要错过这个机会,成为AI领…