【Stable Diffusion】SD安装、常用模型(checkpoint、embedding、LORA)、提示词具、常用插件

Stable Diffusion,一款强大的AI模型,让我们能够创造出惊人的艺术作品。本文将为您介绍如何安装Stable Diffusion以及深入使用的学习教程。

在这里插入图片描述

1. 安装Stable Diffusion

(需要的小伙伴可以文末自行扫描获取)

Stable Diffusion的安装可能是第一步,但它绝对是重要的一步。以下是一些安装方式:AutoDL:AutoD镜像版本,现在维护到V16。镜像地址:AUTOMATIC1111/stable- diffusion-webui/tzwm_sd_webui_A1111。webui 1.6.0 整合版,支持 SDXL,一键启动,带视频教程。预置 ControlNet v1.1.410 所有模型含 IP-Adapter、汉化、tagger 等常用插件、模型路径优化。有问题可以在微信交流讨论群咨询。

● 秋叶整合包:**可在B站搜索,Stable Diffusion,第一个就是秋叶大佬。Stable Diffusion整合包有适合不同环境的版本。Stable Diffusion整合包v4.4发布

● 星空大佬:**AI绘画整合包(新增 Controlnet1.1和SadTalker)

● kaggle:**Kaggle上也可以找到稳定的版本。stable-diffusion-webui-kaggle、zh-stable- diffusion-webui-kaggle

● 腾讯云:**腾讯云也提供了低成本的Stable Diffusion部署方式。

2. 模型Checkpoint
Checkpoint文件对于训练模型的作者和使用者都至关重要。它们包含了模型参数和优化器状态等信息,是训练过程中的状态快照。对于使用者而言,可以将

Checkpoint 文件理解为一种风格滤镜,例如肖像、漫画、水墨、写实风等。通过选择对应的 Checkpoint 文件,您可以将 Stable Diffusion 模型生成的结果转换为您所选择的特定风格。

下载Checkpoint文件时,请查看相关的模型说明,作者通常提供了文件和使用说明,以帮助您更好地使用和理解文件。

在这里插入图片描述

Checkpoint按画风可以分为三类:

在这里插入图片描述

官方发布的Stable Diffusion1.4/1.5/2.0/2.1等模型效果都比较一般,现在大家用的比较多的,都是私炉模型。目前主流的模型下载网站有:Hugging Face、Civitai(需要有魔法) 、libilibi等。

3. VAE(变分自解码器)

VAE负责将加噪后的潜空间数据转为正常图像,可以简单理解为模型的调色滤镜,主要影响画面的色彩质感。目前大多数新模型在文件中已经融合了VAE,还有一些作者会在model 介绍中推荐合适的VAE。

VAE文件后缀一般是.pt,或者是.safetensor,存放路径是将VAE文件也放在models/Stable- diffusion文件夹下,然后将文件名改成和模型名一致,再在后缀.pt前添加.vae字段,这样就可以在加载模型时选择自动加载VAE了。

在这里插入图片描述

4. Embeddings

Embeddings技术可以将输入数据转化为向量表示,以便模型更好地进行处理和生。Embeddings可以用于控制人物特征、动作和风格。与其他模型(如LORA)相比,Embeddings的大小较小,更加方便存储和使用。它通常用于生成特定的样本,而不需要手动输入大量描述词汇。下面是一些常用的Embeddings:

● 特定人物形象:例如Corneo’s D.va,这些Embeddings用于控制特定角色的特征。

● 风格Embeddings:用于控制生成图片的风格。

● 画风Embeddings:用于赋予生成图片不同的画风。

● 概念(Concept)Embeddings:用于实现不同概念或主题的图片生成。

● 服饰Embeddings:用于控制角色的服装。

在C站或者liblibai网站上,常用的负面embeddings:

badhandv4、EasyNegativeV2(针对二次元模型训练的,解决肢体混乱、颜色混杂、灰度异常等等一系列负面问题,触发词easynegative)、Deep Negative V1.x(针对真人模型训练的。解决包括错误的人体解剖结构、令人反感的配色方案、颠倒的空间结构等等问题。触发词NG_DeepNegative_V1_75T。)

在这里插入图片描述

5. LORA(Local Operation Repeatedly Applied)

LORA是一种重要的技术,用于改善整体的画风,使生成的图片更具特定特征。LORA模型可以被用来实现以下几种效果:

在这里插入图片描述

● 人物角色LORA:用于控制特定人物的外貌和特征。

● 画风LORA:改变生成图片的整体画风。

● 概念(Concept)LORA:用于实现特定概念或主题的图片生成。

● 服饰LORA:用于控制角色的服装。

在这里插入图片描述

在这里插入图片描述

新手必备的lora:

Detail Tweaker LoRA (细节调整LoRA)、leosam’s filmgirl 胶片风 lora、Adjuster 衣物增/减 LoRA、Polaroid LoRA(拍立得LORA)、娜乌斯嘉角色lora、墨幽角色LoRa、国风未来lora、汉服宋服lora、小李国风系列。

需要注意的是,在LORA作者的信息总,会介绍 LORA 模型对应的底模和触发、权重,需要注意查看。

加载LORA扩展模型方法:

SD1.5版本:我们点击文生图下面红色小按钮,就可以显示扩展模型选项。

SD1.6版本如下图:点击窗口中的lora,TAB页切换。 在这里插入图片描述

点击lora图片上的图标,可在弹出窗口页面维护触发词和权重,下次使用时可自动带出。

在这里插入图片描述

在设置——扩展模型中,可以设置一些细节。比如设置模型展示方式是卡牌还是缩略图,卡牌宽高尺寸、LORA模型加载权重等等。

在这里插入图片描述

LORA使用介绍:

使用真实系大模型+角色LORA,就可以得到一个真人coser形象。结合controlnet还可以设计角色的姿势及构图,定制自己的作品。

在这里插入图片描述

idillustration互联网插画风模型 在这里插入图片描述

真实室内模型_realistic interior design v1

在这里插入图片描述

永一丨凤冠霞帔

在这里插入图片描述

当想强化作品中某种方面的特质时,可以叠加使用多个lora,例如使用人物+服装+风格lora来生成图片。具体使用时,你可以通过控制不同lora的权重,使得作品更像某一种lora。

6. Hypernetwork

#### Hypernetwork与LORA类似,但通常用于改善整体的画风,而不是改变画风。Hypernetwork的效果更细腻,可以处理不同画风之间的微小差异。这对于创造特定的画面风格非常有用。

在这里插入图片描述

7. 插件安装

为了更好地使用Stable Diffusion,您可以安装一些插件,例如图库浏览器、提示词补全、提示词反推、局部细节重绘等。这些插件可以提供更多的功能和便捷性。

1. 安装方法:网址安装

打开可安装选框,点击load form就可以看到所有可安装的插件。在搜素框搜索到要安装的插件,点击右侧install就可以自动安装了。

在这里插入图片描述

2. 安装方法:可下载-加载可安**装应用**

在这里插入图片描述

3. 安装方法:下载安装

前两种方式在网络不好时可能会安装错误,更彻底的方式是直接下载插件安装包进行安装。比如将下载好的压缩包解压后放到extensions文件夹下。https://github.com/Physton/sd- webui-prompt-all-in-one.git

安装完后点击重启webui进行刷新,插件安装正确就会出现在已安装列表中。

在这里插入图片描述

在这里插入图片描述

如果某个插件不能用了,点击右侧的检查更新按钮,一般更新到最新版本就可以解决了。如果某个插件还是有问题,可以点击前面的复选框暂时取消使用。

在这里插入图片描述

也可以在启动器中的模型管理–扩展栏目进行更新,卸载。

在这里插入图片描述

介绍几款常用插件:

中文语言包:搜索zh(取消勾选本地化/Localization的筛选)

图库浏览器:搜索image browser

提示词补全: 搜索tag complete,中文词库见网盘

提示词反推:搜索tagger

Ultimate Upscale脚本:SD upscale升级版,用于图片放大。 搜索ultimate upscale

Local Latent Couple:局部细节重绘,搜索llul

Cutoff:精准控色,防止串色,搜索cut off

prompt-all-in-one:prompt综合插件,《提示词补全插件》

8.提示词工具:

魔咒百科词典、NovelAi魔导书、AI提示词加速器、AI tag生成工具、NovelAI tag生成器 V2.1、:可以简单生成提示词:

在这里插入图片描述

提示词参考网站:Civitai(魔法) 、libilibi、炼丹阁、DesAi、openart(偏欧美)、arthub(偏亚洲)这几个网站都有很多优秀的图片可以参考。

在这里插入图片描述

总结

Stable Diffusion是一款令人印象深刻的AI模型,它让我们能够创造出惊人的艺术作品。通过安装合适的Checkpoint文件、使用Embeddings、LORA和Hypernetwork,以及使用插件,您可以发挥Stable Diffusion的最大潜力,创造出独一无二的艺术作品。

Stable Diffusion正在改变艺术创作的方式,它的潜力无限。让我们一起探索这个充满创意和可能性的世界!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/490032.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【工具变量】上市公司企业资本支出数据(1990-2022年)

一、计算方式:资本支出的公式为:经营租赁所支付的现金购建固定资产、无影资产和其他长期资产所支付的现金-处置固定资产、无形资产和其它长期资产而收回的现金净额。 二、数据范围:包括原始数据详细来源和最终数据结果 三、参考文献:[1]杨兴…

洛谷 P10483 小猫爬山 完整题解

一、题目查看 P10483 小猫爬山 - 洛谷 二、解题思路 我们将采取递归 剪枝的思想&#xff1a; sum数组存放每辆车当前载重。 每次新考虑一只小猫时&#xff0c;我们尝试把它放进每个可以放进的缆车中&#xff08;需要回溯&#xff09; for (int i 0; i < k; i) {if (sum[i]…

Leetcode二叉树部分笔记

提示&#xff1a;文章写完后&#xff0c;目录可以自动生成&#xff0c;如何生成可参考右边的帮助文档 Leetcode二叉树部分笔记 1.二叉树的最大深度2.同样的树3.翻转二叉树4.对称二叉树**5. **填充每个节点的下一个右侧节点指针 II**6. 二叉树展开为链表7. 路经总和8.完全二叉树…

如何用状态图进行设计06

独立的控制线程 扩展状态图也提供了获取无序的输入事件的方法。这意味着一个状态开始时&#xff0c;它可能位于一个或多个控制线程的交叉点。控制行为的每个独立线程都类似一个状态机&#xff0c;独自运行&#xff0c;互不干扰。因此&#xff0c;这些控制线程可能会同时发生状…

【多模态】MiniCPM-V多模态大模型使用学习

MiniCPM-V模型使用 前言1. 模型文件下载和选择2. 环境安装配置3. 模型微调3.1 qlora微调minicpm-v-int43.2 lora微调minicpm-v3.3 merge_lora3.4 lora微调后量化int4 4. 模型推理4.1 huggingface API4.2 swift API(A) swift&#xff08;不支持batch inference&#xff09;(B) s…

快速上手Neo4j图关系数据库

参考视频&#xff1a; 【IT老齐589】快速上手Neo4j网状关系图库 1 Neo4j简介 Neo4j是一个图数据库&#xff0c;是知识图谱的基础 在Neo4j中&#xff0c;数据的基本构建块包括&#xff1a; 节点(Nodes)关系(Relationships)属性(Properties)标签(Labels) 1.1 节点(Nodes) 节点…

Transformer: Attention Is All You Need (2017) 翻译

论文&#xff1a;Attention Is All You Need 下载地址如下: download: Transformer Attention Is All you need Attention Is All You Need 中文 《Attention Is All You Need》是《Transformer》模型的开创性论文&#xff0c;提出了一种全新的基于注意力机制的架构&#xf…

可视化报表如何制作?一文详解如何用报表工具开发可视化报表

在如今这个数据驱动的商业时代&#xff0c;众多企业正如火如荼地推进数字化转型&#xff0c;力求在激烈的市场竞争中占据先机。然而&#xff0c;随着业务规模的扩大和运营复杂度的提升&#xff0c;企业的数据量爆炸式增长&#xff0c;传统报表格式单一、信息呈现密集且不易解读…

Angular由一个bug说起之十二:网页页面持续占用CPU过高

随着网络日益发达&#xff0c;网页的内容也更加丰富&#xff0c;形式也更加多样化。而随之而来的性能问题也不容小觑。这篇文章我会根据我在实践中遇到的一个问题来总结&#xff0c;我在面对性能问题的一些解决步骤&#xff0c;希望能对大家有所启发。 查找问题原因 我接触的…

MATLAB图卷积神经网络GCN处理分子数据集节点分类研究

全文链接&#xff1a;https://tecdat.cn/?p38570 本文主要探讨了如何利用图卷积网络&#xff08;GCN&#xff09;对图中的节点进行分类。介绍了相关的数据处理、模型构建、训练及测试等环节&#xff0c;通过对分子数据集的操作实践&#xff0c;展示了完整的节点分类流程&#…

uniapp中vuex(全局共享)的应用

一、Vuex概述 1.1 官方解释 Vuex 是一个专为 Vue.js 应用程序开发的状态管理模式。 它采用集中式存储管理 应用的所有组件的状态&#xff0c;并以相应的规则保证状态以一种可预测的方式发生变化 - Vuex 也集成到 Vue 的官方调试工具 devtools extension&#xff0c;提供了诸…

华为云服务器搭建基于LNMP部署wordpress

Ubuntu系统搭建过程目录 一、检查环境1.1 检查是否安装Nginx1.2 检查是否安装Mysql1.3 检查是否安装PHP二、更新软件包以及安装所需要的依赖 三、安装Nginx3.1 下载并解压nginx3.2. 编译安装3.3 启动和停止和测试3.4 创建服务脚本3.5 Nginx目录 四、安装Mysql4.1 安全安装配置4…

ElasticSearch01-概述

零、文章目录 ElasticSearch01-概述 1、Elastic Stack &#xff08;1&#xff09;简介 官网地址&#xff1a;https://www.elastic.co/cn/ELK是一个免费开源的日志分析架构技术栈总称&#xff0c;包含三大基础组件&#xff0c;分别是Elasticsearch、Logstash、Kibana。但实际…

Python学习(二)—— 基础语法(上)

目录 一&#xff0c;表达式和常量和变量 1.1 表达式 1.2 变量 1.3 动态类型特性 1.4 输入 二&#xff0c;运算符 2.1 算术运算符 2.2 关系运算符 2.3 逻辑运算符 2.4 赋值运算符 2.5 练习 三&#xff0c;语句 3.1 条件语句 3.2 while循环 3.3 for循环 四&#…

Idea汉化插件Datagrip汉化插件

汉化插件 ‍ ‍ Chinese (Simplified) Language Pack / 中文语言包 ‍ 插件地址 ‍ 安装完了之后,如果还不是中文的怎么办 ‍ 需要手动设置 Seetings -> Appearance & Behavior -> System Settings -> Language and Region -> Language 修改为 [ Chi…

ansible 自动化运维工具(三)playbook剧本

目录 Playbook的定义 Playbook组成 Playbook命令 Playbook剧本编写格式 基本组件 Handlers处理器 tags标签 Facts组件 Register&#xff1a;注册变量 Debug模块 Playbook循环 With_items循环 With_dict循环&#xff08;字典循环&#xff09; With_nested循环&…

12.2【JAVA EXP4]next.js的各种问题,DEBUG,前端补强,前后端交互,springSecurity ,java 配置,h2数据库

在服务器组件中使用了 useState 这样的 React Hook。useState 只能在客户端组件中使用&#xff0c;而不能在服务器组件中使用。Next.js 的新架构&#xff08;App Router&#xff09;中&#xff0c;默认情况下&#xff0c;页面和布局组件是服务器组件&#xff0c;因此不能直接使…

Cursor重置机器码-解决Too many free trials.

参考文章&#xff1a;如何绕过Cursor的机器绑定限制 前言 在前面这篇文章无限使用Cursor指南中&#xff0c;我提到使用 无限邮箱 或者 删除账号并重新注册 的方法&#xff0c;来无限使用Cursor免费版。但是当在本机登录过3个账号后&#xff0c;就会报这个“Too many free tria…

【PlantUML系列】部署图(七)

一、部署图的组成部分 节点&#xff08;Node&#xff09;&#xff1a;使用node关键字定义一个节点&#xff0c;节点可以是服务器、数据库或其他硬件设备。组件&#xff08;Component&#xff09;&#xff1a;使用component关键字定义一个组件&#xff0c;组件可以是软件模块或服…

qt QCommandLineParser详解

1、概述 QCommandLineParser是Qt框架中提供的一个类&#xff0c;专门用于解析命令行参数。它简化了命令行参数的处理过程&#xff0c;使得开发者能够轻松定义、解析和验证命令行选项和参数。QCommandLineParser适用于需要从命令行获取输入的控制台应用程序&#xff0c;以及需要…