Stable Diffusion 模型的概念、类型、下载、安装、使用

本文收录于《AI绘画从入门到精通》专栏,专栏总目录:点这里。

大家好,我是水滴~~

我们在《Stable Diffusion WebUI 界面介绍》 时,第一个就讲到了 Stable Diffusion 模型,那么这个模型是什么?该从哪儿下载?下载后放到哪儿?该怎么使用呢?本篇文章将围绕着这几个问题来逐一讲述。

文章目录

  • 一、什么是模型
  • 二、大模型的类型
    • 2.1 基础模型(Base Model)
    • 2.2 文件类型
  • 三、大模型在哪儿下载
    • 3.1 Civitai(C站)
    • 3.2 LiblibAI(哩布哩布AI)
  • 四、大模型放哪里
  • 五、使用大模型生成图片


一、什么是模型

Stable Diffusion 是一种基于扩散过程的图像生成模型,由 CompVis、Stability AI 和 LAION 共同开发。该模型通过模拟扩散过程,将噪声图像逐渐转化为目标图像,可以生成高质量、高分辨率的图像。
Stable Diffusion 模型经过大量的图文模型进行训练,具有强大的生成能力,可以胜任多种风格,如写实、原画、2.5D等,并能实现顶级的光影效果和人物风景细节。

简单来理解,Stable Diffusion 是经过训练出来的,可以生成图片的模型。人们可以针对性的来训练某种风格的模型,所以我们会看到有很多种模型。我们想要生成什么风格类型的图片,就选择对应的模型。

模型是生成图片的基础,我们想要出什么图,就选择什么样的模型,所以我们一般称它为大模型底模型主模型

在下图中有三种模型,每一种模型都有自己的风格:

在这里插入图片描述

  • Dark Sushi Mix 大颗寿司Mix:动漫风格、2.5D
  • Disney Pixar Cartoon type B:3D 风格、迪士尼皮克斯动画片
  • majicMIX realistic 麦橘写实:写实风格、亚洲人面孔

二、大模型的类型

2.1 基础模型(Base Model)

Stable Diffusion 的基础模型有很多版本,而使用最广泛的是 SD1.5 和 SDXL(Stable Diffusion Extra Large),绝大部分模型都是基于这两个版本来训练出来的。

下面是这两个版本的差异:

  • 图像质量和生成速度:SDXL在图像质量方面相对于SD 1.5有了显著的提升。SDXL能够生成更高质量的图像,具有更强的细节和更真实的质感。此外,SDXL的生成速度也比SD 1.5更快,这得益于其更大的模型规模和更高效的计算资源利用。
  • 模型规模和训练数据:SDXL是一个更大规模的模型,其参数数量比SD 1.5更多。这意味着SDXL能够处理更复杂、更精细的图像生成任务。同时,SDXL的训练数据量也比SD 1.5更大,这有助于提高其生成图像的多样性和准确性。
  • 应用场景:由于SDXL在图像质量和生成速度方面的优势,它更适合用于需要高质量图像生成的应用场景,如广告、游戏设计、影视制作等。而SD 1.5则更适合用于一些对图像质量要求不高、更注重生成速度的场景,如社交媒体分享、个人创作等。

2.2 文件类型

Stable Diffusion 模型的文件类型主要包括以下几种:

  • .ckpt:这是 TensorFlow 和 PyTorch 等深度学习框架常用的模型检查点(checkpoint)文件扩展名。它通常用于保存和加载模型在训练过程中的权重和状态。
  • .safetensors:这是一种特定的文件格式,用于保存模型的权重和参数。在某些情况下,Stable Diffusion模型可能会使用这种格式来存储其模型文件。
  • .pt:这是PyTorch深度学习框架使用的模型文件扩展名。PyTorch是一个流行的深度学习框架,因此许多模型,包括Stable Diffusion,可能会使用这种格式来存储模型文件。

在这几种模型文件中,最常用的是 .ckpt.safetensors 两种类型。
.safetensors 是 HuggingFace 推出的新的模型存储格式。与 .ckpt 不同 .safetensors 格式不会包含执行代码,因此不需要反序列化。这意味着加载模型时 .safetensors 会更快,也更安全。目前,.safetensors 已经成为主流的 Stable Diffusion 模型存储格式。。

三、大模型在哪儿下载

那么在哪里可以下载我们想要的模型呢?这里给大家推荐两个网站:

3.1 Civitai(C站)

Civitai(C站)是全球最大的 Stable Diffusion 模型的分享网站,用户可以免费下载模型。C站的作者来自于全球各地,模型种类繁多,是 AI 绘画爱好者的首选。

C站是国外网站,需要魔法才能打开。也可以关注我的专栏,我会定期分享 C站上优秀的模型。

在这里插入图片描述

3.2 LiblibAI(哩布哩布AI)

LiblibAI(哩布哩布AI)是国内最大的 Stable Diffusion 模型的分享网站,上面大部分模型用户可以免费下载。哩布哩布AI 上的模型中国元素居多,非常受国内爱好者的青睐。
在这里插入图片描述

四、大模型放哪里

模型下载完后,通常是这样子的:
在这里插入图片描述

我们将它放到 Stable Diffusion WebUI 主目录中的 \models\Stable-diffusion 目录下:

在这里插入图片描述

我们点击模型列表右侧的【刷新】按钮,模型就会被加载到列表中:

在这里插入图片描述

选择模型,会有一个加载的过程,速度与磁盘有关,固态盘加载的会快一些:

在这里插入图片描述

选择好后,我们就可以使用它了:

在这里插入图片描述

五、使用大模型生成图片

选择好模型后,输入提示词,我们先来输入一个简单的:a girl,表示生成一个女孩,然后点击【生成】按钮:

在这里插入图片描述

生成需要一个过程(显卡越好越快),右下角可以看到生成的过程和进度:

在这里插入图片描述

生成结束后,就可以看到完整图片了,点击后可以放大:

在这里插入图片描述

这样,该模型的第一张图就生成好了。

我们再来一张,这次提示词增加了绿色头发:a girl, green hair,表示生成一个绿头发的女孩:
在这里插入图片描述
生成的结果:

在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/263359.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

东方博宜 1519. 求1~n中每个数的因子有哪些?

东方博宜 1519. 求1~n中每个数的因子有哪些&#xff1f; #include<iostream> using namespace std; int main() {int n ;cin >> n ;for(int i 1 ; i < n ; i){int a[1000] ;int k 0 ;for(int j 1 ; j < i ; j){if(i%j0){a[k] j ;k ;} }cout << i …

前端工程化面试题 | 17.精选前端工程化高频面试题

&#x1f90d; 前端开发工程师、技术日更博主、已过CET6 &#x1f368; 阿珊和她的猫_CSDN博客专家、23年度博客之星前端领域TOP1 &#x1f560; 牛客高级专题作者、打造专栏《前端面试必备》 、《2024面试高频手撕题》 &#x1f35a; 蓝桥云课签约作者、上架课程《Vue.js 和 E…

JVM(1)

JVM简介 JVM是Java Virtual Machine的简称,意为Java虚拟机. 在java中,它归属于jre(java运行时环境), 而jre归属于jdk(java开发工具包). 虚拟机是指通过软件模拟的具有完整硬件功能的,运行在一个完全隔离的环境中的完整计算机系统. 常见的虚拟机:JVM, VMwave, VirtualBox. J…

Spring Security学习(七)——父子AuthenticationManager(ProviderManager)

前言 《Spring Security学习&#xff08;六&#xff09;——配置多个Provider》有个很奇怪的现象&#xff0c;如果我们不添加DaoAuthenticationProvider到HttpSecurity中&#xff0c;似乎也能够达到类似的效果。那我们为什么要多此一举呢&#xff1f;从文章的效果来看确实是多…

AI:135-基于卷积神经网络的艺术品瑕疵检测与修复

🚀点击这里跳转到本专栏,可查阅专栏顶置最新的指南宝典~ 🎉🎊🎉 你的技术旅程将在这里启航! 从基础到实践,深入学习。无论你是初学者还是经验丰富的老手,对于本专栏案例和项目实践都有参考学习意义。 ✨✨✨ 每一个案例都附带关键代码,详细讲解供大家学习,希望…

Mybatis总结--传参二

#叫做占位符 Mybatis是封装的JDBC 增强版 内部还是用的jdbc 每遇到一个#号 这里就会变为&#xff1f;占位符 一个#{}就是对应一个问号 一个占位符 用这个对象执行sql语句没有sql注入的风险 八、多个参数-使用Param 当 Dao 接口方法有多个参数&#xff0c;需要通过名称使…

力扣随笔之颜色分类(中等75)

思路&#xff1a;定义两个指针划分left&#xff0c;right划分三个区域left左边是红色区域&#xff0c;right右边是蓝色区域&#xff0c;left和right之间是白色区域&#xff1b;定义一个遍历指针遍历整个数组&#xff0c;遇到红色与left所指位置数字交换&#xff0c;并将left自加…

Element table 实现表格行、列拖拽功能

安装包 npm install sortablejs --save <template><div class"draggable" style"padding: 20px"><el-table row-key"id" :data"tableData" style"width: 100%" border><el-table-columnv-for"(it…

趣学贝叶斯统计:贝叶斯定理和乐高积木

利用贝叶斯定理&#xff0c;可以将条件概率倒置。知道P(B|A)&#xff0c;就可以求出P(A|B)。例如&#xff0c;知道感冒时你打喷嚏的概率&#xff0c;就可以倒过来判断打喷嚏时你感冒的概率。这样&#xff0c;我们就用数据更新了自己对世界的信念。 目录 1. 运用乐高2. 通过数学…

SpringBoot和SpringCloud的区别,使用微服务的好处和缺点

SpringBoot是一个用于快速开发单个Spring应用程序的框架&#xff0c;通过提供默认配置和约定大于配置的方式&#xff0c;快速搭建基于Spring的应用。让程序员更专注于业务逻辑的编写&#xff0c;不需要过多关注配置细节。可以看成是一种快速搭建房子的工具包&#xff0c;不用从…

C语言:指针的进阶讲解

目录 1. 二级指针 1.1 二级指针是什么&#xff1f; 1.2 二级指针的作用 2. 一维数组和二维数组的本质 3. 指针数组 4. 数组指针 5. 函数指针 6. typedef的使用 7. 函数指针数组 7.1 转移表 1. 二级指针 如果了解了一级指针&#xff0c;那二级指针也是可以很好的理解…

【安卓逆向】app防止截屏分析与去除

本次分析的app name为&#xff1a;5paH5qGI54uX 这款应用打开之后里面的内容是不允许截图的&#xff0c;防止截图分析&#xff1a;Android应用防止截屏_landroid/view/window;->setflags 0x2000-CSDN博客 App防止恶意截屏功能的方法&#xff1a;iOS、Android和鸿蒙系统的实…

红日靶场3

靶场链接&#xff1a;漏洞详情 在虚拟机的网络编辑器中添加两个仅主机网卡 信息搜集 端口扫描 外网机处于网端192.168.1.0/24中&#xff0c;扫描外网IP端口&#xff0c;开放了80 22 3306端口 80端口http服务&#xff0c;可以尝试登录网页 3306端口mysql服务&#xff0c;可…

7-liunx服务器规范

目录 概况liunx日志liunx系统日志syslog函数openlog 可以改变syslog默认输出方式 &#xff0c;进一步结构化 用户信息进程间的关系会话ps命令查看进程关系 系统资源限制改变工作目录和根目录服务器程序后台话 概况 liunx服务器上有很多细节需要注意 &#xff0c;这些细节很重要…

nodejs+vue+ElementUi废品废弃资源回收系统

系统主要是以后台管理员管理为主。管理员需要先登录系统然后才可以使用本系统&#xff0c;管理员可以对系统用户管理、用户信息管理、回收站点管理、站点分类管理、站点分类管理、留言板管理、系统管理进行添加、查询、修改、删除&#xff0c;以保障废弃资源回收系统系统的正常…

瑞_23种设计模式_装饰者模式

文章目录 1 装饰者模式&#xff08;Decorator Pattern&#xff09;1.1 介绍1.2 概述1.3 装饰者模式的结构 2 案例一2.1 需求2.2 代码实现 3 案例二3.1 需求3.2 代码实现 4 JDK源码解析5 总结5.1 装饰者模式的优缺点5.2 装饰者模式的使用场景5.3 装饰者模式 VS 代理模式 &#x…

创作纪念日:记录我的成长与收获

机缘 一开始是在我深入学习前端知识的Vue.js框架遇到了一个问题&#xff0c;怎么都解决不了&#xff0c;心烦意乱地来csdn上找解决方法。开心的是真被我找到了&#xff0c;真的很感恩&#xff0c;也意识到在这个平台上分享自己的经验是多么有意义的事情&#xff0c;可能随便的…

Python爬虫-付费代理推荐和使用

付费代理的使用 相对免费代理来说&#xff0c;付费代理的稳定性更高。本节将介绍爬虫付费代理的相关使用过程。 1. 付费代理分类 付费代理分为两类&#xff1a; 一类提供接口获取海量代理&#xff0c;按天或者按量收费&#xff0c;如讯代理。 一类搭建了代理隧道&#xff0…

【前端素材】推荐优质后台管理系统Welly平台模板(附源码)

一、需求分析 后台管理系统&#xff08;或称作管理后台、管理系统、后台管理平台&#xff09;是一种专门用于管理网站、应用程序或系统后台运营的软件系统。它通常由一系列功能模块组成&#xff0c;为管理员提供了管理、监控和控制网站或应用程序的各个方面的工具和界面。以下…

WSL2配置Linux、Docker、VS Code、zsh、oh my zsh(附Docker开机自启设置)

0. 写在前面 本篇笔记来自于UP主麦兜搞IT的合集视频Windows10开发环境搭建中的部分内容 1. 安装WSL2 按照微软官方文档进行操作&#xff0c;当然也可以直接wsl --install 也可以按照 旧版手动安装的步骤 来进行操作 选择安装的是Ubuntu 20.04 LTS 注&#xff1a;WSL默认安装…