Stable Diffusion 系列教程 | 打破模型壁垒

目录

1.模型基本分类

1.1 CheckPoint 大模型/底模型/主模型

1.2 VAE美化模型/变分自编码器

1.3 HyperNetwork 超网络

1.4 embeddings(/Textual Inversion) 嵌入式向量

1.5 loRa 低秩适应模型

2. 下载途径和渠道

2.1 C站

2.1.1 如何筛选到自己需要的模型

2.1.2 使用技巧

2.1.3 学习他人作品

2.2 HuggingFace


想要做出好的AI绘画,模型是最重要的,他相当于AI绘画的大脑,决定了AI绘画质量的上限,所以了解AI绘画的各种模型非常重要

相比于Midjourney,Stable Diffusion最大的优势就是开源

因而SD则每时每刻都有人在世界各地训练自己的模型并免费公开共享给全世界的使用者。当然我们也可以训练自己的专属模型

提示词+模型+参数设置

全能型赛博画手

首先我们来了解一下模型的基本分类

1.模型基本分类

具体模型类型有checkpoint、Textual lnversion、Hypernetwork、Aesthetic Gradient、LoRA、LyCORIS、Controlnet、Poses、wildcards等等

常用的有checkpoint

哇塞,这么多,那么这些究竟都是什么意思呢?

1.1 CheckPoint 大模型/底模型/主模型

检查点,常玩游戏的朋友肯定不陌生,一般会在一些节点存档

一个大的模型训练起来是非常费力的,如果每次迭代我们都从头训练那可真实个灾难,因而训练到一定程度我们就给模型存档,生成一个关键点Checkpoint模型,

常见文件后缀:后缀ckpt、safetensors(如果都有提供的话建议下载safetensors,下同)

存放路径: 根目录\models\Stable-diffusion

占用存储: 模型较大,占用3-7GB

我们这里的根目录都是指我们webui的最外层的那个文件夹,比如我这里的是stable-diffusion-webui

使用方法 将模型移动到根目录\models\Stable-diffusion后,在webui界面点击刷新按钮,再点下拉就可以看到了

 

模型推荐

二次元模型

menia mix 生成动漫

AbyssOrangeMix 深源橘

counter-feit v2.5 动漫模型

dream Shper v5 模型 肖像画 梦幻的插画风格

真实系模型

realistic vision v2.0 现实模型

Delibe-rate 比较全能的一个模型

在本章第二节可以看到如何利用其他网站来筛选自己需要的模型

1.2 VAE美化模型/变分自编码器

从使用来看,我们可以把他粗略的理解为“调色滤镜” 有些时候不加载VAE的情况下,出图就会发灰发白

有很多比较新的大模型是会将VAE整合到内部的,比如Chilloutmix。如果再加VAE则可能画面效果不会更好,甚至适得其反

而有的大模型则会有自己适配的VAE,如深渊橘,这里看模型网站上作者的推荐就好

也有一些适用于大多数模型的VAE

二次元风格:kf-f8-anime

写实风格:840000

常见文件后缀:后缀ckpt、pt

存放路径: 根目录/models/VAE

占用存储: 模型较小,占用0-1个GB

使用方法 将模型移动到根目录\models\VAE后,在VAE选项点击刷新按钮,再点下拉就可以看到了

1.3 HyperNetwork 超网络

hypernetworks是一个附加到stable diffusion model上的小型网络,用于微调,和embedings类似,不过现在用的也不是很多了,因为它的功能基本可以被smbeddings替代了

常见文件后缀: 后缀pt

存放路径: 根目录/models/hypernetworks

占用存储: 模型较小,占用几百MB

使用方法 注意HyperNetwork,embeddings这种微调网络和大模型使用方法不同

(1)将模型放到 根目录/models/hypernetworks

(2)首先点击生成按钮下的从左往右数的第三个,然后点击超网络,再点击需要用到的超网络模型,就会在提示词中添加相应的尖括号内容,如本例中的<hypernet>

 

1.4 embeddings(/Textual Inversion) 嵌入式向量

(1)优化画风,

(2)通过仅使用的几张图像,向模型教授新的概念,比如AI不知道奥特曼,通过embeddigns就可以让AI知道奥特曼长什么样子

(3)减少提示词的输入,比如EasyNegative这个Embeddings,里面包含了大量的负面词,可以减少你每次打一堆负面词的痛苦,解决AI绘画痛点,如画手等等

常见文件后缀: 后缀pt

存放路径: 根目录/embeddings

模型的切换通过文件名称来触发

占用存储: 模型很小,占用几十kB到几百kB

使用方法:

(1)将模型放到 根目录/embeddings目录下

(2)同HyperNetwork超网络,首先点击生成按钮下的从左往右数的第三个,然后点击嵌式入,再点击需要用到的嵌入式模型,就会在提示词中添加相应的尖括号内容

1.5 loRa 低秩适应模型

进行人物模型的微调,

让AI学习到一些新的人物概念

常见文件后缀: 后缀safesensors

存放路径: 根目录/embeddings

占用存储: 模型较小,10-200 MB。必须与checkpoint模型一起使用。

使用方法:

(1)将模型放到 根目录/models/Lora

(2)同HyperNetwork超网络,首先点击生成按钮下的从左往右数的第三个,然后点击Lora,再点击需要用到的Lora模型,就会在提示词中添加相应的尖括号内容

除了这些以外还有DreamBooth模型,LyCORIS模型等等,这些模型在模型的进阶用法给大家介绍

2. 下载途径和渠道

SD官方会发布模型

但是官方这个模型出图风格比较单一,因而我们现在下载使用的大多是私人训练的

主流下载网站

2.1 C站

需要科学上网 C站是最主流的一个AI绘画模型网站了,对于模型都是图像化展示,非常便捷

 

2.1.1 如何筛选到自己需要的模型

1 通过模型生成内容区分查找 模型栏目上边有一排可以选择的

2 利用我们第一节讲到的模型类型区分

 

 

2.1.2 使用技巧

注意模型的各种信息,包括作者推荐的VAE,分辨率设置,采样方式等等

如我们点击进入ReV Animated这个模型的下载界面,在模型的介绍界面里有show More

 

然后就可以看到作者推荐的VAE啦,提示词prompting啦之类的

 

初学可以使用别人推荐的一些大模型

stable diffusion 常用大模型解释和推荐(持续更新ing) - 知乎 (zhihu.com)

2.1.3 学习他人作品

C站除了优秀的模型以外,还会有很多优秀的作品,我们可以学习他们的模型搭配,提示词等等

点击C站的Images

点进去以后就可以看到详细的图片生成信息,模型搭配,提示词,采样方式,种子等等

 

2.2 HuggingFace

不需要科学上网,网速较快

 

Hugging Face – The AI community building the future.

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/101626.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【面试高频题】难度 3/5,字典树热门运用题

题目描述 这是 LeetCode 上的 「745. 前缀和后缀搜索」 &#xff0c;难度为 「困难」。 Tag : 「字典树」 设计一个包含一些单词的特殊词典&#xff0c;并能够通过前缀和后缀来检索单词。 实现 WordFilter 类&#xff1a; WordFilter(string[] words) 使用词典中的单词 words 初…

AutoDev 1.1.3 登场,个性化 AI 辅助:私有化大模型、自主设计 prompt、定义独特规则...

在过去的半个月里&#xff0c;我们为开源辅助编程工具 AutoDev 添加了更强大的自定义能力&#xff0c;现在你可以&#xff1a; 使用自己部署的开源大模型自己配置 Intellij IDEA 中的行为自定义开发过程中的规范 当然了&#xff0c;如果您自身拥有开发能力的话&#xff0c;建议…

StreamingWarehouse的一些思考和未来趋势

300万字&#xff01;全网最全大数据学习面试社区等你来&#xff01; 一篇笔记。 以Hudi、Iceberg、Paimon这几个框架为例&#xff0c;它们支持高效的数据流/批读写、数据回溯以及数据更新。具备一些传统的实时和离线数仓不具备的特性&#xff0c;主要有几个方面&#xff1a; 这…

docker 部署服务

1、使用mysql:5.6和 owncloud 镜像&#xff0c;构建一个个人网盘。 [rootbogon ~]# docker pull mysql:5.6 [rootbogon ~]# docker pull owncloud [rootbogon ~]# docker run -itd --name mysql --env MYSQL_ROOT_PASSWORD123456 mysql:5.6 [rootbogon ~]# docker run -itd -…

一文速学-LightGBM模型算法原理以及实现+Python项目实战

LighGBM 前言 LighGBM作为GBDT算法的衍生模型&#xff0c;在其他论文研究以及数学建模比赛中十分常见。如果不熟悉GBDT算法的可以去看看我的上一篇文章&#xff0c;过多关于GBDT的细节不再过多描述。主要将讲述一下LighGBM较于GBDT算法的改进以及独特算法细节优化&#xff0c…

批量爬虫采集完成任务

批量爬虫采集是现代数据获取的重要手段&#xff0c;然而如何高效完成这项任务却是让许多程序员头疼的问题。本文将分享一些实际操作价值高的方法&#xff0c;帮助你提高批量爬虫采集的效率和专业度。 目标明确&#xff0c;任务合理划分&#xff1a; 在开始批量爬虫采集前&…

Python爬虫(十四)_BeautifulSoup4 解析器

CSS选择器&#xff1a;BeautifulSoup4 和lxml一样&#xff0c;Beautiful Soup也是一个HTML/XML的解析器&#xff0c;主要的功能也是如何解析和提取HTML/XML数据。 lxml只会局部遍历&#xff0c;而Beautiful Soup是基于HTML DOM的&#xff0c;会载入整个文档&#xff0c;解析整…

详细介绍如何基于ESP32实现气象站数据显示--附源码

功能介绍&#xff1a; 驱动ili9341 从京东获取天气数据 开始使用 拿到钥匙 1.从京东注册账号 2.从网站获取密钥 安装ESP32 SDK ESP-IDF Programming Guide - ESP32 - — ESP-IDF Programming Guide latest documentation 笔记&#xff1a; 该项目兼容 ESP-IDF 3.X 分支和 4…

【Linux驱动】NVIDIA Jetson Orin NX有时开机启动慢(5~10分钟)

1、问题描述 新到手的 Orin NX 有时开机启动慢,多次测试,总结出规律:在连接网线的情况,启动很慢(5~10分钟);不连接网线的情况下是正常启动速度。 2、原因分析 在连接网线的情况下启动,卡在如下界面很长时间: 可见打印信息: Start HTTP Boot over IPv6. Error: Co…

『论文精读』FastViT(ICCV 2023,Apple开源)论文解读

『论文精读』FastViT(ICCV 2023&#xff0c;Apple开源)论文解读 文章目录 一. FastViT简介二. 模型架构2.1. Stage 的内部架构2.2. Stem 的结构2.3. Patch Embedding 的架构2.4. 位置编码 三. 参考文献 论文下载链接&#xff1a;https://arxiv.org/pdf/2303.14189.pdf论文代码…

BLFS学习系列 第25章. 图形环境库 —— libdrm

一、简介 libdrm提供了一个用户空间库&#xff0c;用于在支持ioctl接口的操作系统上访问直接渲染管理器&#xff08;DRM&#xff09;。libdrm是一个低级别库&#xff0c;通常由图形驱动&#xff08;程序&#xff09;使用&#xff0c;如Mesa DRI驱动&#xff08;程序&#xff0…

基于java+swing俄罗斯方块

基于javaswing俄罗斯方块 一、系统介绍二、功能展示三、其他系统实现五、获取源码 一、系统介绍 项目类型&#xff1a;Java SE项目&#xff08;awtswing&#xff09;非开源 项目名称&#xff1a;俄罗斯方块&#xff08;Tertis) 主要技术&#xff1a;java、awt、swing等技术 …

【玩转Linux操作】crond的基本操作

&#x1f38a;专栏【玩转Linux操作】 &#x1f354;喜欢的诗句&#xff1a;更喜岷山千里雪 三军过后尽开颜。 &#x1f386;音乐分享【Counting Stars 】 欢迎并且感谢大家指出小吉的问题&#x1f970; 文章目录 &#x1f354;概述&#x1f354;命令⭐常用选项 &#x1f354;练…

图解算法--排序算法

目录 1.冒泡排序算法 2.选择排序算法 3.插入排序算法 4.希尔排序算法 5.归并排序算法 6.快速排序算法 1.冒泡排序算法 原理讲解&#xff1a; 从待排序的数组中的第一个元素开始&#xff0c;依次比较当前元素和它相邻的下一个元素的大小。如果当前元素大于相邻元素&#x…

剪枝基础与实战(1): 概述

本文介绍基于L1正则化的剪枝原理,并以VGG网络进行实战说明。将从零详细介绍模型训练、稀疏化、剪枝、finetune的全过程,提供详细的源码及说明,有助于对剪枝的熟练掌握,后续也会对yolov8进行剪枝的介绍。 论文: Learning Efficient Convolutional Networks through Network …

SpringBoot项目(支付宝整合)——springboot整合支付宝沙箱支付 从极简实现到IOC改进

目录 引出git代码仓库准备工作支付宝沙箱api内网穿透 [natapp.cn](https://natapp.cn/#download) springboot整合—极简实现版1.导包配置文件2.controller层代码3.进行支付流程4.支付成功回调 依赖注入的改进1.整体结构2.pom.xml文件依赖3.配置文件4.配置类&#xff0c;依赖注入…

渗透测试方法论

文章目录 渗透测试方法论1. 渗透测试种类黑盒测试白盒测试脆弱性评估 2. 安全测试方法论2.1 OWASP TOP 102.3 CWE2.4 CVE 3. 渗透测试流程3.1 通用渗透测试框架3.1.1 范围界定3.1.2 信息搜集3.1.3 目标识别3.1.4 服务枚举3.1.5 漏洞映射3.1.6 社会工程学3.1.7 漏洞利用3.1.8 权…

根据源码,模拟实现 RabbitMQ - 虚拟主机 + Consume设计 (7)

目录 一、虚拟主机 Consume设计 1.1、承接问题 1.2、具体实现 1.2.1、消费者订阅消息实现思路 1.2.2、消费者描述自己执行任务方式实现思路 1.2.3、消息推送给消费者实现思路 1.2.4、消息确认 一、虚拟主机 Consume设计 1.1、承接问题 前面已经实现了虚拟主机大部分功…

【linux】2 Linux编译器-gcc/g++和Linux调试器-gdb

文章目录 一、Linux编译器-gcc/g使用1.1 背景知识1.2 gcc如何完成1.3 函数库1.4 gcc选项 二、linux调试器-gdb使用2.1 背景2.2 开始使用 总结 ヾ(๑╹◡╹)&#xff89;" 人总要为过去的懒惰而付出代价ヾ(๑╹◡╹)&#xff89;" 一、Linux编译器-gcc/g使用 1.1 背景…

JS加密的域名锁定功能,JShaman支持泛域名

JShaman的域名锁定功能&#xff0c;支持泛域名 JShaman的JS代码混淆加密中&#xff0c;有一项“域名锁定”功能。使用此功能后&#xff0c;代码运行时会检测浏览器地址中的域名信息&#xff0c;如是非指定域名&#xff0c;则不运行&#xff0c;以此防止自己网站的JS代码被复制…