AI 绘画Stable Diffusion 研究(十五)SD Embedding详解


大家好,我是风雨无阻。

本期内容:

  • Embedding是什么?
  • Embedding有什么作用?
  • Embedding如何下载安装?
  • 如何使用Embedding?

大家还记得 AI 绘画Stable Diffusion 研究(七) 一文读懂 Stable Diffusion 工作原理 这篇文章中,曾提到过词嵌入(Embedding)吗?


我们来简单回顾一下:Embedding 将输入的tokens转换为一个连续的向量,然后stable diffusion再将 Embedding 向量 通过text transformer转换后,作为模型输入,进行训练。


那在上一篇中只是简单提到了Embedding, 对于我们实际使用stable diffusion过程中,可能很多朋友对Embedding的概念还不是很清楚。今天我们就来详细介绍一下Embedding, 它到底是干嘛的?有什么作用?以及应该怎么安装和使用Embedding ?


一、Embedding 的介绍


1、Embedding是什么?


Embedding 又名 textual inversion 中文名:“嵌入或文本反转”。

在计算机科学中,Embedding是将高维数据映射到低维空间的过程。

在图像处理中,Embedding通常用于将图像转换为向量表示,以便进行机器学习和深度学习任务。


在使用stable diffusion进行绘画时,Embedding可以用于将输入的图像转换为向量表示,以便于算法对其进行处理和生成新的图像。这种技术可以使算法更加高效地处理图像数据,并提高生成图像的质量和准确性。


2、Embedding有什么作用?


通俗来讲,Embedding 的作用就是对提示词进行打包。

如果你有做 UI 的经验,那么应该知道组件的概念。

在 Stable Diffusion 中,Embedding 技术就可以被理解为一种组件,它可以将输入数据转换成向量表示,方便模型进行处理和生成。

在日常使用中,Embedding 技术通常用于控制人物的动作和特征,或者生成特定的画风。


我们来举例,思考一个问题:

如果我们直接使用原版本的stable diffusion 文生图功能, 不使用stable diffusion 任何插件,我们应该怎么来生成如下的图片呢?


在这里插入图片描述


想必大家首先想到的是,写一大堆的提示词来进行控制生成,类似例如:

masterpiece, high-quality,1girl,clothes with Pink pattern,(brown hair), pinkearphones, green pattern on the earphones, blue tights, white gloves, ((pinkpattern on the clothes)), cat pattern on the face, detailed eyes, (pink theme), rabbitdecoration on the chest, green word pattern, sewing line on the clothes, long hair.thin girl, delicate face, beautiful face, melon face, skin full of details, pinkbackground, white gloves, thin neck, Sexy figure, (brown eyes:1.2), smile, wearingwhite shoes, green patterns, blushing,.....以下省略N个tag

但是,如果我们引入Embedding 后,只需要如下的提示词就可以生成上面的图:

 masterpiece, high-quality,corneo dva

通过上面的问题,相信大家已经对 Embedding 的作用有所理解了吧。


3、Embedding 的特点


相比于其他模型来说(如 LORA),Embedding 文件的大小只有几十 KB。

除了还原度对比 LORA 差一些外,在存储和使用上却更方便。


总而言之:

Embedding 技术将输入数据转换为向量表示,为模型的处理和生成提供了便利。

通过使用 Embedding,我们可以更加轻松地生成符合预期的样本,而不需要手动输入大量的描述词汇。


二、Embedding下载和安装


既然Embedding 这么便利,我们一定得好好用起来,那么在哪里可以下载呢?

主要还是在c站下载。

接下来,就跟着我的演示步骤,实际操作一下吧。


第一步,打开c站,搜索 Embedding


在这里插入图片描述


第二步,选择喜欢的Embedding 下载


这里演示,我们选择这个骑马的外星人,点击“Download”下载:

在这里插入图片描述


下载后,我们得到 16-token-negative-deliberate-neg.pt 这个文件。


第三步 Embedding安装


将文件 16-token-negative-deliberate-neg.pt 拷贝到 sd-webui-aki-v4.2\embeddings 目录下。


\sd-webui-aki-v4.2\embeddings

在这里插入图片描述

记得重启stable diffusion 才能生效。


三、Embedding 的使用


1、功能栏区域,选择文生图,然后选择右侧生成按钮下方 “显示/隐藏扩展模型” 图标


如图:

在这里插入图片描述


切换到嵌入式 (Enbedding)标签页面 :

在这里插入图片描述


2、根据 Enbedding 模型演示图片 参数进行设置


  • 正向提示词输入

    an astronaut riding a horse on the moon, 8k uhd
    

  • 反向提示词输入

    3d render
    

  • 选择下方刚刚安装的Enbedding : 16-token-negative-deliberate-neg

在这里插入图片描述


反向提示词输入框中会自动添加 16-token-negative-deliberate-neg 模型提示词


如图:

在这里插入图片描述


  • 采样方法设置 : Euler

  • 迭代步数设置:50

  • 勾选高清分辨率修复

  • 随机种子设置:43


在这里插入图片描述


4、点击“生成”按钮,查看效果


在这里插入图片描述


由此可见 Embedding真是一个很有用东西,通过简单的一个提示词就作出有自己特色的作品,感兴趣的朋友赶快玩起来吧~


本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/108793.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【Springboot】| 从深入自动配置原理到实现 自定义Springboot starter

目录 一. 🦁 前言二. 🦁 Spring-boot starter 原理实现分析2.1 自动配置原理 三. 🦁 操作实践3.1 项目场景3.2 搭建项目3.3 添加相关依赖3.4 删除一些不需要的东西3.5 发邮件工具类逻辑编写3.6 创建相关配置类3.7 创建 Spring.factories 文件…

spark中排查Premature EOF: no length prefix available

报错信息 /07/22 10:20:28 WARN DFSClient: Error Recovery for block BP-888461729-172.16.34.148-1397820377004:blk_15089246483_16183344527 in pipeline 172.16.34.64:50010, 172.16.34.223:50010: bad datanode 172.16.34.64:50010 [DataStreamer for file /bdp/data/u9…

docker高级(mysql主从复制)

数据库密码需要设置成自己的!!! 1、创建容器master13307 #docker pulldocker run -p 13307:3306 --name mysql-master \ --privilegedtrue \ -v /mysql/mysql-master/log:/var/log/mysql \ -v /mysql/mysql-master/data:/var/lib/mysql \ -…

python3对接godaddy API,实现自动更改域名解析(DDNS)

python3对接godaddy API,实现自动更改域名解析(DDNS) 文章开始前,先解释下如下问题: ①什么是域名解析? 域名解析一般是指通过一个域名指向IP地址(A解析),然后我们访问…

C++图形界面编程-MFC

C控制台程序是命令行黑框,如果要写一个图形界面,VS也提供了图形界面编程MFC。建项目的时候选如下选项: 类似于QT。 问:那么MFC项目的运行入口main()或WinMain()在哪里呢? 答:其实,在MFC应用程…

【1++的数据结构】之map与set(一)

👍作者主页:进击的1 🤩 专栏链接:【1的数据结构】 文章目录 一,关联式容器与键值对二,setset的使用 三,mapmap的使用 四,multiset与multimap 一,关联式容器与键值对 像l…

视频云存储/安防监控视频AI智能分析网关V3:抽烟/打电话功能详解

人工智能技术已经越来越多地融入到视频监控领域中,近期我们也发布了基于AI智能视频云存储/安防监控视频AI智能分析平台的众多新功能,该平台内置多种AI算法,可对实时视频中的人脸、人体、物体等进行检测、跟踪与抓拍,支持口罩佩戴检…

redux中间件理解,常见的中间件,实现原理。

文章目录 一、Redux中间件介绍1、什么是Redux中间件2、使用redux中间件 一、Redux中间件介绍 1、什么是Redux中间件 redux 提供了类似后端 Express 的中间件概念,本质的目的是提供第三方插件的模式,自定义拦截 action -> reducer 的过程。变为 actio…

Wireshark数据抓包分析之HTTP协议

一、实验目的: 主要时熟悉wireshark的使用 二、预备知识: HTTP协议的相关知识 what fk,原来只要在右页点击切换,就可以开启2台不同的机器欸!nice 三、实验过程: 1.在机器1中通过管理员身份运行hfs之后&a…

第七周第七天学习总结 | MySQL入门及练习学习第二天

实操练习: 1.创建一个名为 cesh的数据库 2.在这个数据库内 创建一个名为 xinxi 的表要求该表可以包含:编号,姓名,备注的信息 3.为 ceshi 表 添加数据 4.为xinxi 表的数据设置中文别名 5.查询 在 xinxi 表中编号 为2 的全部…

Navicat for Mysql 显示 emoji 表情符号乱码问题 — 其它乱码情况都可参考

系统环境: 操作系统:MAC OS 10.11.6 MySQL:Server version: 5.6.21 MySQL Community Server (GPL) Navicat for MySQL: version 9.3.1 - standard 1、问题发现 在客户端执行用户注册,用户名包括 emoji 表情符号,注册完…

线性代数的学习和整理14: 线性方程组求解

目录 1 线性方程组 2 有解,无解 3 解的个数 1 线性方程组 A*xy 3根直线的交点,就是解 无解的情况 无解: 三线平行无解:三线不相交 有解 有唯一解:三线相交于一点有无数解:三条线重叠 2 齐次线性方程组…

软件测试的方法有哪些?

软件测试 根据利用的被测对象信息的不同,可以将软件测试方法分为:黑盒测试、灰盒测试、白盒测试。 1、白盒测试 1)概念:是依据被测软件分析程序内部构造,并根据内部构造分析用例,来对内部控制流程进行测试…

LabVIEW软件安装包分享(附安装教程)

目录 一、软件简介 二、软件下载 一、软件简介 LabVIEW(Laboratory Virtual Instrument Engineering Workbench)是由美国National Instruments(简称NI)公司开发的一款图形化编程工具,广泛应用于测试、测量和控制系统…

【深度学习】实验03 特征处理

文章目录 特征处理标准化归一化正则化 特征处理 标准化 # 导入标准化库 from sklearn.preprocessing import StandardScalerfrom matplotlib import gridspec import numpy as np import matplotlib.pyplot as plt import warnings warnings.filterwarnings("ignore&quo…

Tomcat 部署时 war 和 war exploded区别

在 Tomcat 调试部署的时候,我们通常会看到有下面 2 个选项。 是选择war还是war exploded 这里首先看一下他们两个的区别: war 模式:将WEB工程以包的形式上传到服务器 ;war exploded 模式:将WEB工程以当前文件夹的位置…

基于风险的漏洞管理

基于风险的漏洞管理涉及对即将被利用的漏洞的分类响应,如果被利用,可能会导致严重后果。本文详细介绍了确定漏洞优先级时要考虑的关键风险因素,以及确保基于风险的漏洞管理成功的其他注意事项。 什么是基于风险的漏洞管理对基于风险的漏洞管…

prometheus监控JVM(接入tomcat)

一、整合jmx_exporter及tomcat 1、 jmx_exporter下载地址 https://github.com/prometheus/jmx_exporter/releases 2、 tomcat配置文件下载地址 https://github.com/prometheus/jmx_exporter/blob/main/example_configs/tomcat.yml 3、创建tomcat_exporter目录 [rootlocalhost ~…

前端需要理解的性能优化知识

优化的目的是展示更快、交互响应快、页面无卡顿情况。 1 性能指标 2 分析方法 使用 ChromeDevTool 作为性能分析工具来观察页面性能情况。其中Network观察网络资源加载耗时及顺序,Performace观察页面渲染表现及JS执行情况,Lighthouse对网站进行整体评分…

【算法训练-双指针】最长无重复子串(数组)

废话不多说,喊一句号子鼓励自己:程序员永不失业,程序员走向架构!本篇Blog的主题是最长无重复子串或最长无重复子数组,这类题目出现频率还是很高的。 最长无重复子数组 先来看看数组数据结构的题目 题干 输入&#…