Stable Diffusion系列（一）：古早显卡上最新版 WebUI 安装及简单操作

文章目录

    • Stable Diffusion安装
      • AnimateDiff插件适配
      • sdxl模型适配
    • Stable Diffusion使用
      • 插件安装
      • 界面设置
      • 基础文生图
      • 加入lora的文生图

Stable Diffusion安装

我的情况比较特殊，显卡版本太老，最高也就支持cuda10.2，因此只能安装pytorch1.12.1，并且无法安装xformers。
在这里插入图片描述

在安装好虚拟环境和对应pytorch版本后，按照github教程安装stable diffusion webui即可，在webui.sh中将use_venv=1 (默认) 修改为use_venv=0，以在当前激活的虚拟环境中运行webui，然后执行bash webus.sh安装相关依赖。

针对显卡使用情况，可在webui-user.sh中设置可见显卡export CUDA_VISIBLE_DEVICES=0,1,2，并在执行webui.py时在命令行中通过--device-id=1指定具体的使用设备。

为了使用最新的模型和插件，需要做出以下适配:

AnimateDiff插件适配

该插件的原理是在调用和完成时分别向原始模型中注入（inject）和删除（restore）时间步模块从而生成连续变化的GIF，由于整体版本过老，直接执行该插件会报没有insert和pop方法的错误，因此需要在animatediff_mm.py文件中手动实现这两个函数，需要注意insert和pop的操作和通常理解不一样：

    def inject(self, sd_model, model_name="mm_sd_v15.ckpt"):unet = sd_model.model.diffusion_modelself._load(model_name)self.gn32_original_forward = GroupNorm32.forwardgn32_original_forward = self.gn32_original_forward# self.tes_original_forward = TimestepEmbedSequential.forward# def mm_tes_forward(self, x, emb, context=None):#     for layer in self:#         if isinstance(layer, TimestepBlock):#             x = layer(x, emb)#         elif isinstance(layer, (SpatialTransformer, VanillaTemporalModule)):#             x = layer(x, context)#         else:#             x = layer(x)#     return x# TimestepEmbedSequential.forward = mm_tes_forwardif self.mm.using_v2:logger.info(f"Injecting motion module {model_name} into SD1.5 UNet middle block.")# unet.middle_block.insert(-1, self.mm.mid_block.motion_modules[0])# unet.middle_block.add_module('new_module', self.mm.mid_block.motion_modules[0])# unet.middle_block.appendself.mm.mid_block.motion_modules[0])unet.middle_block = unet.middle_block[0:-1].append(self.mm.mid_block.motion_modules[0]).append(unet.middle_block[-1])# n = len(unet.middle_block._modules)# index = -1# if index < 0:#     index += n# for i in range(n, index, -1):#     unet.middle_block._modules[str(i)] = unet.middle_block._modules[str(i - 1)]# unet.middle_block._modules[str(index)] = unet.middle_blockelse:logger.info(f"Hacking GroupNorm32 forward function.")def groupnorm32_mm_forward(self, x):x = rearrange(x, "(b f) c h w -> b c f h w", b=2)x = gn32_original_forward(self, x)x = rearrange(x, "b c f h w -> (b f) c h w", b=2)return xGroupNorm32.forward = groupnorm32_mm_forwardlogger.info(f"Injecting motion module {model_name} into SD1.5 UNet input blocks.")for mm_idx, unet_idx in enumerate([1, 2, 4, 5, 7, 8, 10, 11]):mm_idx0, mm_idx1 = mm_idx // 2, mm_idx % 2unet.input_blocks[unet_idx].append(self.mm.down_blocks[mm_idx0].motion_modules[mm_idx1])logger.info(f"Injecting motion module {model_name} into SD1.5 UNet output blocks.")for unet_idx in range(12):mm_idx0, mm_idx1 = unet_idx // 3, unet_idx % 3if unet_idx % 3 == 2 and unet_idx != 11:# unet.output_blocks[unet_idx].insert(#     -1, self.mm.up_blocks[mm_idx0].motion_modules[mm_idx1]# )# unet.output_blocks[unet_idx].add_module('new_module', self.mm.up_blocks[mm_idx0].motion_modules[mm_idx1])# unet.output_blocks[unet_idx].append(self.mm.up_blocks[mm_idx0].motion_modules[mm_idx1])unet.output_blocks[unet_idx] = unet.output_blocks[unet_idx][0:-1].append(self.mm.up_blocks[mm_idx0].motion_modules[mm_idx1]).append(unet.output_blocks[unet_idx][-1])else:unet.output_blocks[unet_idx].append(self.mm.up_blocks[mm_idx0].motion_modules[mm_idx1])self._set_ddim_alpha(sd_model)self._set_layer_mapping(sd_model)logger.info(f"Injection finished.")def restore(self, sd_model):self._restore_ddim_alpha(sd_model)unet = sd_model.model.diffusion_modellogger.info(f"Removing motion module from SD1.5 UNet input blocks.")for unet_idx in [1, 2, 4, 5, 7, 8, 10, 11]:# unet.input_blocks[unet_idx].pop(-1)unet.input_blocks[unet_idx] = unet.input_blocks[unet_idx][:-1]logger.info(f"Removing motion module from SD1.5 UNet output blocks.")for unet_idx in range(12):if unet_idx % 3 == 2 and unet_idx != 11:# unet.output_blocks[unet_idx].pop(-2)unet.output_blocks[unet_idx] = unet.output_blocks[unet_idx][:-2].append(unet.output_blocks[unet_idx][-1])else:# unet.output_blocks[unet_idx].pop(-1)unet.output_blocks[unet_idx] = unet.output_blocks[unet_idx][:-1]if self.mm.using_v2:logger.info(f"Removing motion module from SD1.5 UNet middle block.")# unet.middle_block.pop(-2)unet.middle_block = unet.middle_block[:-2].append(unet.middle_block[-1])else:logger.info(f"Restoring GroupNorm32 forward function.")GroupNorm32.forward = self.gn32_original_forward# TimestepEmbedSequential.forward = self.tes_original_forwardlogger.info(f"Removal finished.")if shared.cmd_opts.lowvram:self.unload()

sdxl模型适配

在选择sdxl模型时，会收到如下报错：

AssertionError: We do not support vanilla attention in 1.12.1+cu102 anymore, as it is too expensive. Please install xformers via e.g. 'pip install xformers==0.0.16'

然后就会自动下载模型，但由于hugging face的连接问题，会报这种错误：

requests.exceptions.ConnectTimeout: (MaxRetryError("HTTPSConnectionPool(host='huggingface.co', port=443): Max retries exceeded with url: /laion/CLIP-ViT-bigG-14-laion2B-39B-b160k/resolve/main/open_clip_pytorch_model.bin (Caused by ConnectTimeoutError(<urllib3.connection.HTTPSConnection object at 0x7fc89a4438b0>, 'Connection to huggingface.co timed out. (connect timeout=10)'))"), '(Request ID: 9f90780e-6ae0-4531-83df-2f5052c4a1a3)')

这时就需要把所有下不了的模型下载到本地，然后把代码里的version由模型名称改成模型路径，例如将repositories/generative-models/configs/inference/sd_xl_base.yaml中的version: laion2b_s39b_b160k改成本地的/models/hugfac/CLIP-ViT-bigG-14-laion2B-39B-b160k/open_clip_pytorch_model.bin

但到这里还没完，为了能正常运行，需要在代码里把对于xformer的检查相关Assert部分注释掉，并重新实现repositories/generative-models/sgm/modules/diffusionmodules/model.py中的attention函数：

def attention(self, h_: torch.Tensor) -> torch.Tensor:h_ = self.norm(h_)q = self.q(h_)k = self.k(h_)v = self.v(h_)# compute attentionB, C, H, W = q.shapeq, k, v = map(lambda x: rearrange(x, "b c h w -> b (h w) c"), (q, k, v))q, k, v = map(lambda t: t.unsqueeze(3).reshape(B, t.shape[1], 1, C).permute(0, 2, 1, 3).reshape(B * 1, t.shape[1], C).contiguous(),(q, k, v),)# out = xformers.ops.memory_efficient_attention(#     q, k, v, attn_bias=None, op=self.attention_op# )k = k / (k.shape[-1] ** 0.5)attn = torch.matmul(q, k.transpose(-2, -1))attn = torch.softmax(attn, dim=-1)out = torch.matmul(attn, v)out = (out.unsqueeze(0).reshape(B, 1, out.shape[1], C).permute(0, 2, 1, 3).reshape(B, out.shape[1], C))return rearrange(out, "b (h w) c -> b c h w", b=B, h=H, w=W, c=C)

Stable Diffusion使用

插件安装

点击扩展→可用→简单粗暴按星数排序：
在这里插入图片描述
如果github无法访问，可以复制链接后前面加上https://ghproxy.com/从网址安装：
在这里插入图片描述

最终安装的部分插件如下，注意需要手动把插件模型下载到对应路径下才能使用：
在这里插入图片描述

界面设置

在设置→用户界面中对快捷设置和UItab做修改：
在这里插入图片描述
点击右上角设置kitchen插件主题：
在这里插入图片描述
在这里插入图片描述

最终效果如下：
在这里插入图片描述

基础文生图

首先在模型左侧选择Stable Diffusion模型及其对应VAE，然后输入正向和反向提示词，在下面点击生成相关设置如采样方法、采样迭代次数和宽高等。

需要注意的几点：

  • Clip跳过层设置：CLIP 是用来给提示词编码的神经网络，默认是使用模型最后一层的输出作为提示词的嵌入表示，将其设为2就可以使用模型倒数第二层的输出作为嵌入表示。增加这一参数时，可以更好地保留提示中的信息，生成与提示更匹配的图片，但设置的值过大也会影响编码的准确性。该参数仅适用于使用CLIP的模型，即1.x模型及其派生物。2.0模型及其派生物不与CLIP交互，因为它们使用OpenCLIP。
  • 将交叉关注层向上转型到float32设置：遇到NAN报错或者花屏图片时可以试试。
  • 图片大小设置：对于SDXL模型，为了保证生成质量图片至少为1024x1024
    • 16:9（电影摄影）1820x1024
    • 3:2（专业摄影）1536x1024
    • 4:3（普通图片）1365x1024
  • 采样方法：对SDXL 1.0来说，建议使用任何DPM++采样器，特别是带有Karras采样器的DPM++。比如DPM++ 2M Karras或DPM++ 2S a Karras

生成示例如下：

在这里插入图片描述

加入lora的文生图

lora是一类对模型进行微调的方法，是一系列参数量较小的模型，在与原始模型结合后，可以对生成图片做特定修饰，可以理解为化妆技术。
lora的使用方法是将模型下载到models/Lora文件夹下，注意最好分文件夹存放，方便调用和管理：
在这里插入图片描述
对应的前端界面如下：
在这里插入图片描述
使用方法很简单，在输入提示词后直接点击lora模型，就会自动添加到输入末尾：
在这里插入图片描述

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.rhkb.cn/news/176123.html

如若内容造成侵权/违法违规/事实不符，请联系长河编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

十八、模型构建器（ModelBuilder）快速提取城市建成区——批量掩膜提取夜光数据、夜光数据转面、面数据融合、要素转Excel（基于参考比较法）

十八、模型构建器（ModelBuilder）快速提取城市建成区——批量掩膜提取夜光数据、夜光数据转面、面数据融合、要素转Excel（基于参考比较法）

一、前言 前文实现批量投影栅格、转为整型，接下来重点实现批量提取夜光数据，夜光数据转面、夜光数据面数据融合、要素转Excel。将相关结果转为Excel，接下来就是在Excel中进行阈值的确定，阈值确定无法通过批量操作，除非采用其他方式，但是那样的学习成本较高，对于参考比较…
阅读更多...
virtual 关键字中 cv限定符的使用

virtual 关键字中 cv限定符的使用

对于如下定义&#xff1a; struct A { virtual int f( ) { return 1; } } a; struct B: A {int f( ) const { return 2; }int f( ) volatile { return 3; }int f( ) const volatile { return 4; } } c; int main(int argc, char *argv[ ]) { A *p&c; return p->f( ); } …
阅读更多...
智慧矿山AI算法助力护帮板支护监测，提升安全与效率

智慧矿山AI算法助力护帮板支护监测，提升安全与效率

在智慧矿山AI算法系列中&#xff0c;护帮板支护监测是保障矿山安全和提高生产效率的重要环节。护帮板作为矿山支护体系中的重要组成部分&#xff0c;在矿山生产中起到了关键的作用。那么&#xff0c;护帮板在哪种状态下是正常打开的呢&#xff1f;本文将对此进行介绍。 护帮板的…
阅读更多...
腾讯云双11云服务器大促优惠活动：超多云服务器优惠惊喜不断！

腾讯云双11云服务器大促优惠活动：超多云服务器优惠惊喜不断！

腾讯云双11大促优惠活动已经拉开帷幕&#xff0c;为广大用户带来了一系列的超值优惠。活动时间从现在起一直延续到2023年11月30日23:59:59&#xff0c;让用户有足够的时间去选择和购买心仪的产品。活动入口链接为https://1111.mian100.cn&#xff0c;点击链接即可进入活动页面。…
阅读更多...
多输入多输出 | Matlab实现k-means-LSTM（k均值聚类结合长短期记忆神经网络）多输入多输出组合预测

多输入多输出 | Matlab实现k-means-LSTM（k均值聚类结合长短期记忆神经网络）多输入多输出组合预测

多输入多输出 | Matlab实现k-means-LSTM&#xff08;k均值聚类结合长短期记忆神经网络&#xff09;多输入多输出组合预测 目录 多输入多输出 | Matlab实现k-means-LSTM&#xff08;k均值聚类结合长短期记忆神经网络&#xff09;多输入多输出组合预测预测效果基本描述程序设计参…
阅读更多...
smartLink HW-DP新版提供更多扩展功能——用于PROFIBUS和HART系统中物联网集成

smartLink HW-DP新版提供更多扩展功能——用于PROFIBUS和HART系统中物联网集成

Softing工业自动化的smartLink HW-DP网关可独立于控制器访问PROFIBUS DP网络&#xff0c;且新发布的1.30固件版本还提供了更多数据连接和传输的扩展功能。 smartLink HW-DP可无缝集成到PROFIBUS网络中&#xff0c;而不会影响现有设备的运行。该网关还可为新的和现有的PROFIBUS …
阅读更多...
【网络安全 --- 任意文件上传漏洞靶场闯关 6-15关】任意文件上传漏洞靶场闯关，让你更深入了解文件上传漏洞以及绕过方式方法，思路技巧

【网络安全 --- 任意文件上传漏洞靶场闯关 6-15关】任意文件上传漏洞靶场闯关，让你更深入了解文件上传漏洞以及绕过方式方法，思路技巧

一&#xff0c;工具资源下载 百度网盘资源下载链接地址&#xff1a; 百度网盘 请输入提取码百度网盘为您提供文件的网络备份、同步和分享服务。空间大、速度快、安全稳固&#xff0c;支持教育网加速&#xff0c;支持手机端。注册使用百度网盘即可享受免费存储空间https://pan…
阅读更多...
机器学习-基本知识

机器学习-基本知识

 任务类型 ◼ 有监督学习(Supervised Learning) 每个训练样本x有人为标注的目标t&#xff0c;学习的目标是发现x到t的映射&#xff0c;如分类、回归。 ◼ 无监督学习(Unsupervised Learning) 学习样本没有人为标注&#xff0c;学习的目的是发现数据x本身的分布规律&#xf…
阅读更多...
Linux的开发环境安装配置与后端项目部署

Linux的开发环境安装配置与后端项目部署

目录 一.安装开发环境 1.准备阶段 1.1 创建新目录 1.2 解压文件 2.JDK的安装与配置环境变量 2.1 解压jdk压缩包 2.2 配置环境变量 2.3 设置环境变量生效 2.4 验证是否安装成功 3.Tomcat的安装与使用 3.1 解压安装 3.2 开启服务 3.3 开放端口 3.4 访问成功 4.MySQ…
阅读更多...
Azure - 机器学习实战：快速训练、部署模型

Azure - 机器学习实战：快速训练、部署模型

本文将指导你探索 Azure 机器学习服务的主要功能。在这里&#xff0c;你将学习如何创建、注册并发布模型。此教程旨在让你深入了解 Azure 机器学习的基础知识和常用操作。 关注TechLead&#xff0c;分享AI全维度知识。作者拥有10年互联网服务架构、AI产品研发经验、团队管理经验…
阅读更多...
scrapy-redis分布式爬虫（分布式爬虫简述+分布式爬虫实战）

scrapy-redis分布式爬虫（分布式爬虫简述+分布式爬虫实战）

一、分布式爬虫简述 &#xff08;一&#xff09;分布式爬虫优势 1.充分利用多台机器的带宽速度 2.充分利用多台机器的ip地址 &#xff08;二&#xff09;Redis数据库 1.Redis是一个高性能的nosql数据库 2.Redis的所有操作都是原子性的 3.Redis的数据类型都是基于基本数据…
阅读更多...
超级搜索技术，普通人变强的唯一外挂

超级搜索技术，普通人变强的唯一外挂

搜索效率&#xff1a;Google >微信公众号 >短视频 >百度 1、信息咨询搜索 在Google搜索栏前面加上 “” 限定关键词 intitle 限定标题 allintitle 限定标题多个关键词 intext 限定内容关键词 inurl 限定网址关键词 site 限定网址来源 imagesize 限定图片尺寸 filet…
阅读更多...
函数总结

函数总结

一、main函数 //argc 统计命令行传参的个数 //argv 保存命令行传的具体参数,每个参数当做字符串来存储&#xff0c;const是为了不让main函数修改argv数组里的内容 1.1值传递 此为值传递;形参的值改变不影响实参的值 1.2 地址传递 形参拿到的是实参的地址&#xff0c;实际操…
阅读更多...
一文看懂图像格式 RAW、RGB、YUV、Packed/Unpacked、Bayer、MIPI、Planar、Semi-Planar、Interleaved

一文看懂图像格式 RAW、RGB、YUV、Packed/Unpacked、Bayer、MIPI、Planar、Semi-Planar、Interleaved

目录 一、通用属性 1. Packed/Unpacked 2. 压缩/非压缩 二、RAW 1. Bayer格式 2. 分类 3. MIPI RAW 三、RGB 分类 四、YUV 1. YUV与RGB转换 2. 分类 3. 内存计算 五、压缩格式 有的人&#xff0c;错过了&#xff0c;一生再也找寻不到。 本文详细分析各种图像格式…
阅读更多...
有效的数独

有效的数独

题目链接 有效的数独 题目描述 注意点 board.length 9board[i].length 9board[i][j] 是一位数字&#xff08;1-9&#xff09;或者 ‘.’ 解答思路 首先判断行是否满足数独条件&#xff0c;再判断列是否满足数独条件&#xff0c;最后再判断划分的3x3方格是否满足数独条件…
阅读更多...
Yakit工具篇：WebFuzzer模块之重放和爆破

Yakit工具篇：WebFuzzer模块之重放和爆破

简介 Yakit的Web Fuzzer模块支持用户自定义HTTP原文发送请求。为了让用户使用简单&#xff0c;符合直觉&#xff0c;只需要关心数据相关信息&#xff0c;Yakit后端(yaklang)做了很多工作。 首先我们先来学习重放请求的操作&#xff0c;在日常工作中可以使用 Web Fuzzer进行请…
阅读更多...
32、github的使用小技巧

32、github的使用小技巧

如何在github中阅读项目代码 如果要完整阅读项目代码&#xff0c; 可能要在文件间来回跳转&#xff0c;就非常麻烦。所以我们往往会把项目代码下载到本地&#xff0c;用更强大的编辑器来阅读。 在github中&#xff0c;可以这样操作&#xff1a; 登录 GitHub 后&#xff0c;直…
阅读更多...
【Linux】第四站：Linux基本指令（三）

【Linux】第四站：Linux基本指令（三）

文章目录 一、时间相关的指令1.指令简介2.使用 二、cal指令三、find指令 -name1.介绍2.使用 四、grep指令1.介绍2.使用 五、zip/unzip指令1.介绍2.zip的安装3.使用 六、tar指令&#xff1a;打包解包&#xff0c;不打开它、直接看内容1.介绍2.使用 七、bc指令八、uname -r指令1.…
阅读更多...
【Linux】配置JDKTomcat开发环境及MySQL安装和后端项目部署

【Linux】配置JDKTomcat开发环境及MySQL安装和后端项目部署

目录 一、jdk安装配置 1. 传入资源 2. 解压 3. 配置 二、Tomcat安装 1. 解压开启 2. 开放端口 三、MySQL安装 1. 解压安装 2. 登入配置 四、后端部署 1. 数据库 2. 导入.war包 3. 修改端口 4.开启访问 一、jdk安装配置 打开虚拟机 Centos 登入账号&#xff…
阅读更多...
数字孪生技术与VR：创造数字未来

数字孪生技术与VR：创造数字未来

在当今数字化浪潮中&#xff0c;数字孪生和虚拟现实&#xff08;VR&#xff09;技术是两大亮点&#xff0c;它们以独特的方式相互结合&#xff0c;为各个领域带来了创新和无限可能。本篇文章将探讨数字孪生与VR之间的关系&#xff0c;以及它们如何共同开辟未来的新前景。 数字…
阅读更多...
最新文章
推荐文章

Copyright @ 2022~2023