黑丝或者白丝,都可以用LoRA(Stable Diffusion进阶篇:ComfyUI 附加网络)

前言

在学习WebUI的那些基础知识点的时候,有一个东西是每一个初学者都绕不开的大山-附加网络。

这个东西对于每一个接触Stable Diffusion的小伙伴来说就像是小学门口小卖部卖的辣条、初中课本上的涂鸦、高中数学卷解不开的最后一道大题。

学习过WebUI里Stable Diffusion的小伙伴应该对附加网络很熟悉了,这类附加网络可以提高AI生图质量、创作独特风格以及精准控制画面元素。

而这最常用的三类附加网络分别是Embeddings(词嵌入)、LoRA(低秩适应模型)、ControlNet(控制网),今天的内容就是来学习如何在ComfyUI中使用这类附加网络。

**附加网络-Embeddings
**

在ComfyUI中Embeddings的使用是最简单的,在ComfyUI中的提示词框里面输入Embeddings+模型名即可:

**embeddings:BadDream,
**

这段提示词无论是输入在正面提示词框或者负面提示词框都可以,不影响调用。

如果去Manager里面选择Install ,然后搜索Custom-Scripts下载:

下载完这个扩展之后重启ComfyUI,之后再输入提示词就有这样的自动补全功能啦:

**附加网络:LoRA
**

在之前的WebUI中输入LoRA的方式就是在提示词里面加入设定好的LoRA关键词,而在ComfyUI里没办法这么做。

之所以Embedding可以这么做是因为Embedding本质上是一系列提示词向量的“合集”,而LoRA则是一组经过了再训练且从大模型上“提炼”出来的“附加权重”。

当然这里不太了解没关系,感兴趣的话可以看我之前有关LoRA炼制的文章:

在ComfyUI中自带了一个Load LoRA的节点用于加载LoRA:

将这个节点放在大模型也就是Load Checkpoint节点后面,然后将这个节点与其他节点连接即可,连接的顺序参考下图:

  • Load Checkpoint的Model和Load LoRA的model连接

  • Load Checkpoint的CLIP和Load LoRA的clip连接

  • Load LoRA的CLIP和CLIP Text Encode(Prompt)的clip连接(两个Encode都要链接)

  • Load LoRA的MODEL和KSample的model进行连接

这样一来一个可以使用LoRA的工作流就完成了,如果是要同时使用多个LoRA的话就将上述的步骤多做几次即可,有点麻烦就是了。

这个一个个节点连接的过程就相当于将这个LoRA附加到了整个大模型上,而连接好的LoRA和Checkpoint节点则是可以视为一个新的模型。

而LoRA则是可以通过这两个选项来调节权重:

这个和WebUI里的一样,范围从0-1,数值越大LoRA作用越明显。

一个LoRA在训练的时候是同时在底膜的文本编码器(CLIP Text Encoder)和噪声预测器上训练的,这两部分都会形成对应的积累也就是学习率。

而这两个参数附加到主模型上的大小就分别对应了两个权重数值,文本编码器学习率对应CLIP强度、Unet学习率对应了Model强度。

简单来说:Model强度直接影响了LoRA的风格是否能被植入到主模型里,相当于你这黑丝LoRA能不能让图片里的人完整穿上黑丝;

而Clip强度影响了模型对一些提示词的响应结果,在一些具有大量触发词的LoRA里面作用会很明显,例如一个LoRA模型里面含有:黑丝、破洞黑丝、吊带袜黑丝这样比较多提示词的LoRA就可以提高Clip强度。

强度拉满

对于新手来说,要么干脆保持默认数值,要么两个数值当做WebUI的一个权重一样,两个数值更改的时候保持一致就行。

不过在ComfyUI中这样一个个加载LoRA其实蛮麻烦的,有着Stack功能的节点应运而生。不过这些需要额外下载节点包,下载地址看文末即可,或者感兴趣的小伙伴可以看文末教程视频里的22:33分开始。


今天的内容就到这里啦!

简单了解了下在ComfyUI中的Embeddings和LoRA怎么使用,虽然感觉WebUI更方便一些,但是ComfyUI能够进行更多的细节调整,毕竟是拆成了一个个节点。

那么大伙下篇笔记见吧,我要去好好“学习”了,拜了个拜!

1girl, beautiful girl, smile, living room, sofa, large window, couch, carpet, bright natural lighting, (full body:1.2), (absurdres, highres, ultra detailed, masterpiece, best quality:1.4), realistic, photorealistic, masterpiece, best quality, wallpaper, ((baisijdly, white legwear):1.2), lora:baisijdly:0.8, short pleated skirt, white collared shirt, lora:add\_detail:1

Negative prompt: paintings, sketches, (worst quality:2), (low quality:2), (normal quality:2), lowres, normal quality, ((monochrome)), ((grayscale)), missing limb, bad anatomy, extra limbs, ((hands)), ng_deepnegative_v1_75t, badhandv4, blurry, low quality

  • Steps: 30

  • Sampler: DPM++ SDE Karras

  • CFG scale: 7

  • Seed: 1424902421

  • Size: 512x512

  • Model hash: 7c819b6d13

  • Model: majicmixRealistic_v7

  • Denoising strength: 0.7

  • Clip skip: 2

  • Hires upscale: 2

  • Hires upscaler: R-ESRGAN 4x+

  • Lora hashes: “baisijdly: 34aefd002512”

  • Version: v1.8.0

为了帮助大家更好地掌握 ComfyUI,我在去年花了几个月的时间,撰写并录制了一套ComfyUI的基础教程,共六篇。这套教程详细介绍了选择ComfyUI的理由、其优缺点、下载安装方法、模型与插件的安装、工作流节点和底层逻辑详解、遮罩修改重绘/Inpenting模块以及SDXL工作流手把手搭建。

由于篇幅原因,本文精选几个章节,详细版点击下方卡片免费领取

在这里插入图片描述

一、ComfyUI配置指南

  • 报错指南
  • 环境配置
  • 脚本更新
  • 后记

img

二、ComfyUI基础入门

  • 软件安装篇
  • 插件安装篇

img

三、 ComfyUI工作流节点/底层逻辑详解

  • ComfyUI 基础概念理解
  • Stable diffusion 工作原理
  • 工作流底层逻辑
  • 必备插件补全

img

四、ComfyUI节点技巧进阶/多模型串联

  • 节点进阶详解
  • 提词技巧精通
  • 多模型节点串联

在这里插入图片描述

五、ComfyUI遮罩修改重绘/Inpenting模块详解

  • 图像分辨率
  • 姿势

img

六、ComfyUI超实用SDXL工作流手把手搭建

  • Refined模型
  • SDXL风格化提示词
  • SDXL工作流搭建

img

由于篇幅原因,本文精选几个章节,详细版点击下方卡片免费领取

在这里插入图片描述

img

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/393695.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

揭秘亚马逊新手快速成长背后的秘密:从入门到精通

在亚马逊这个充满机遇与挑战的市场平台上,作为一名深耕多年的卖家,我积累了宝贵的经验和见解。随着市场环境的不断变化,我意识到,无论是新加入的创业者还是经验丰富的老手,都需要不断学习和适应,以在这个平…

游戏行业报告(一)| 中国占全球头部上市游戏企业34%,“智能NPC”竞争方向较受关注

近日,伽马数据发布了《2024中国上市/非上市游戏企业竞争力报告》,本篇文章仅采用《2024中国上市/非上市游戏企业竞争力报告》的部分数据。由于文章太长,所以分了下集,大家可以收藏关注~ 企业全球资本市场竞争现状 全球TOP50上市游…

Motionface ai工具有哪些?

Motionface Android/PC 用一张静态含有人脸相片来生成一个能说会唱的虚拟主播。使用简单便捷,极致的流畅度体验超乎您的想象。 免费下载 Respeak PC电脑软件 任意视频一键生成虚拟主播,匹配音频嘴型同步,保留原视频人物神态和动作&#xff0c…

什么是柔性生产?

柔性生产,是一种能够迅速调整生产流程、产品种类及产量,以低成本、高效率响应市场多样化需求的生产方式。它不仅仅是对生产线硬件的升级,更是对生产组织、管理模式及信息技术的全面革新。柔性生产的核心在于“灵活”二字,即企业能…

JVM(面试用)

目录 一、JVM运行时数据区 二、JVM类加载 类加载过程 1、加载(loading) 2、验证(Verification) 3、准备(Perparation) 4、解析(Resolution) 5、初始化(Initializ…

秒懂C++之deque及反向迭代器

目录 前言 一.deque的常用接口 二.deque的原理 2.1 vector与list的优缺点 2.2 deque的原理 三.反向迭代器 四.全部代码 前言 秒懂C之List-CSDN博客 秒懂C之vector(下)-CSDN博客 本文后面关于反向迭代器的操作会涉及到前面的文章~ 一.deque的常用接…

uni-app封装组件实现下方滑动弹出模态框

子组件 <template><div class"bottom-modal" :class"{show: showModal}"><div class"modal-content" :class"{show: showModal}"><!-- 内容区域 --><slot></slot></div></div></…

【JAVA多线程】AQS,JAVA并发包的核心

目录 1.概述 1.1.什么是AQS 1.2.AQS和BlockQueue的区别 1.3.AQS的结构 2.源码分析 2.1.CLH队列 2.2.模板方法的实现 2.2.1.独占模式 1.获取资源 2.释放资源 2.2.2.共享模式 1.概述 1.1.什么是AQS AQS非常非常重要&#xff0c;可以说是JAVA并发包&#xff08;java.…

案例开发-日程管理2第一期(超详细教程、配备图文和源代码注释,没学过也能看懂)

文章目录 一、 项目前期准备1.数据库准备2.导入依赖3.pojo包处理4.dao包处理5.service包处理6.controller包处理7.加密工具类的使用8.页面文件的导入 总结 一、 项目前期准备 1.数据库准备 创建schedule_system数据库并执行如下语句 SET NAMES utf8mb4; SET FOREIGN_KEY_CHE…

WPF学习(4)- VirtualizingStackPanel (虚拟化元素)+Canvas控件(绝对布局)

VirtualizingStackPanel虚拟化元素 VirtualizingStackPanel 类&#xff08;虚拟化元素&#xff09;和StackPanel 类在用法上几乎差不多。其作用是在水平或垂直的一行中排列并显示内容。它继承于一个叫VirtualizingPanel的抽象类&#xff0c;而这个VirtualizingPanel抽象类继承…

大数据-68 Kafka 高级特性 物理存储 日志存储概述

点一下关注吧&#xff01;&#xff01;&#xff01;非常感谢&#xff01;&#xff01;持续更新&#xff01;&#xff01;&#xff01; 目前已经更新到了&#xff1a; Hadoop&#xff08;已更完&#xff09;HDFS&#xff08;已更完&#xff09;MapReduce&#xff08;已更完&am…

Java之SpringBoot入门(含Spring Mvc)

1.Spring Boot Helper的安装 首先我们要装好Spring Boot Helper 但是由于直接在IDEA中下的是收费版&#xff0c;在学习阶段我们可以去官网下载一些免费版使用 Spring Boot Helper - IntelliJ IDEs Plugin | Marketplace&#xff08;点击即可进入官网&#xff09; 然后在IDEA…

【practise】删除有序数组中的重复项

关于博主&#xff1a; 今天分享一道简单的关于“双指针”算法的题目。算是双指针中非常基础的题目&#xff0c;有兴趣可以借鉴一波~ 目录 1.题目介绍2.题解思路&#xff1a;双指针法3.代码示例 1.题目介绍 题目链接&#xff1a;LINK 本题要求是&#xff1a;对给定的有序数组…

回溯分割+子集篇--代码随想录算法训练营第二十二天| 131.分割回文串,93.复原IP地址,78.子集,90.子集II

131.分割回文串 题目链接&#xff1a;. - 力扣&#xff08;LeetCode&#xff09; 讲解视频&#xff1a;131.分割回文串 题目描述&#xff1a; 给你一个字符串 s&#xff0c;请你将 s 分割成一些子串&#xff0c;使每个子串都是回文串 。返回 s 所有可能的分割方案。 示例 …

sql二次注入实战--2018年网顶杯

网址&#xff1a;BUUCTF在线评测 (buuoj.cn) 当我们进入后显示这个页面&#xff1a; 当我们第一次点击发帖的时候就会跳转到登陆页面&#xff0c;上面有提示&#xff0c;告诉我们账号为zhangwei,密码为zhangwei***&#xff1a; 这里我们可以使用bp抓包工具来进行暴力破解密码&…

makefile举例说明

文章目录 makefile文件config.mk配置文件common.mk文件 目录结构 makefile文件 include config.mk导入config.mk的文件&#xff0c;通常包含项目的配置变量。 all:for dir in $(BUILD_DIR); \do \make -C $$dir; \doneall是项目主目标&#xff0c;遍历BUILD_DIR变量每个子目录…

基于springboot+vue+uniapp的“口腔助手”小程序

开发语言&#xff1a;Java框架&#xff1a;springbootuniappJDK版本&#xff1a;JDK1.8服务器&#xff1a;tomcat7数据库&#xff1a;mysql 5.7&#xff08;一定要5.7版本&#xff09;数据库工具&#xff1a;Navicat11开发软件&#xff1a;eclipse/myeclipse/ideaMaven包&#…

Python开发: 飞机大战 小游戏

玩法 你可以控制飞机左右移动&#xff0c;躲避敌机子弹&#xff0c;同时发射自己的炮弹&#xff0c;将敌人击落&#xff01; 部署方案&#xff1a; 1、代码如下图&#xff1b; 2、将代码保存到一个python中&#xff0c;比如planeFight.py&#xff1b; 3、在你的电脑中安装p…

为什么需要云仓?

云仓&#xff0c;即云端仓储管理&#xff0c;是指通过互联网技术整合和管理仓储资源&#xff0c;实现高效、低成本的库存管理和物流服务。随着电子商务的发展和企业供应链全球化的加剧&#xff0c;云仓成为现代企业管理的一种重要手段。 1、云仓可以显著提高仓储管理效率&#…

算法测试.

一.CodeForces 1829A 题意&#xff1a; 题目意思就是给你t个字符串&#xff0c;让你找出每个串与codeforces这个串有多少不同的字母&#xff1b; 题解&#xff1a; 定义一个变量循环比较字符串&#xff0c;不相同计数即可&#xff1b; 代码&#xff1a; #include <iost…