【diffuser系列】ControlNet

    • ControlNet: TL;DR
    • Control Type
    • StableDiffusionControlNetPipeline
      • 1. Canny ControlNet
        • 1.1 模型与数据加载
        • 1.2 模型推理
        • 1.3 DreamBooth微调
      • 2. Pose ControlNet
        • 2.1 数据和模型加载
        • 2.2 模型推理

ControlNet: TL;DR

ControlNet 是在 Lvmin Zhang 和 Maneesh Agrawala 的 Adding Conditional Control to Text-to-Image Diffusion Models 中引入的。 它引入了一个框架，允许支持各种空间环境，这些环境可以作为Diffusion模型（如 Stable Diffusion）的Additional conditionings。

训练 ControlNet 由以下步骤组成：（每一种新的condition都需要重新训练一个新的 ControlNet 权重副本）

  1. 复制 Diffusion 模型的预训练参数，例如 Stable Diffusion 的Latent UNet（称为“trainable copy”），同时单独维护原始的预训练参数（“locked copy”）： locked 的参数副本可以保留从大型数据集中学到的大量先验知识，而 trainable 参数副本则用于学习特定于任务的方面。

  2. 参数的 trainable 和 locked 副本通过“zero convolution”层连接，这些层作为 ControlNet 框架的一部分进行了优化，从0 逐步增长参数值，确保开始时没有随机的噪音会干扰finetuning。这是一种训练技巧，用于在训练新condition时保留冻结模型已经学习的语义。
    在这里插入图片描述
    推理时，需要Pre-trained的扩散模型权重和Finetune过的 ControlNet 权重。与仅使用原始 Stable Diffusion 模型相比，将 Stable Diffusion v1-5 与 ControlNet 检查点一起使用需要大约 7 亿个参数，这使得 ControlNet 在推理时需要的内存成本更高。在使用不同的condition时，只需切换 ControlNet 参数。这使得在一个应用程序中部署多个 ControlNet 权重变得相当简单。

Control Type

8种：Canny、Depth、Openpose、Normal、Seg、Scribble、Mlsd、Hed

  • 边缘线Canny：controlnet='lllyasviel/sd-controlnet-canny'，黑色背景上有白边的单色图像。
    在这里插入图片描述

  • 深度图Depth：lllyasviel/sd-controlnet-depth，灰度图像，黑色表示深部区域，白色表示浅层区域。在这里插入图片描述

  • 骨骼图像Opse：controlnet='fusing/stable-diffusion-v1-5-controlnet-openpose'或lllyasviel/sd-controlnet-openpose
    在这里插入图片描述

  • 软边缘线HED：lllyasviel/sd-controlnet-hed，在黑色背景上具有白色柔和边缘的单色图像。

在这里插入图片描述

  • 法线贴图Normal Map：lllyasviel/sd-controlnet-normal
    在这里插入图片描述
  • M-LSD 线：lllyasviel/sd-controlnet-mlsd，仅由黑色背景上的白色直线组成的单色图像。
    在这里插入图片描述
  • 语义分割seg：lllyasviel/sd-controlnet-seg
    在这里插入图片描述
  • 人类涂鸦scribble：lllyasviel/sd-controlnet-scribble

在这里插入图片描述

StableDiffusionControlNetPipeline

StableDiffusionControlNetPipeline像其他 diffuser pipeline 一样，可以从huggingface加载预训练权重。

在命令行安装必要的库：

# diffusers依赖
pip install -q diffusers==0.14.0 transformers xformers git+https://github.com/huggingface/accelerate.git
# 处理不同condition的依赖
pip install -q opencv-contrib-python
pip install -q controlnet_aux

1. Canny ControlNet

1.1 模型与数据加载

加载图像

from diffusers import StableDiffusionControlNetPipeline
from diffusers.utils import load_imageimage = load_image("https://hf.co/datasets/huggingface/documentation-images/resolve/main/diffusers/input_image_vermeer.png"
)
image

在这里插入图片描述
调用cv2的Canny算法提取edge图像作为condition

import cv2
from PIL import Image
import numpy as npimage = np.array(image)low_threshold = 100
high_threshold = 200image = cv2.Canny(image, low_threshold, high_threshold)
image = image[:, :, None]
image = np.concatenate([image, image, image], axis=2)
canny_image = Image.fromarray(image)
canny_image

在这里插入图片描述

用torch.dtype=torch.float16半精度(half-precision)加载SD(runwaylml/stable-diffusion-v1-5)和ControlNet-Cnney(lllyasviel/sd-controlnet-canny)，实现更快的 Inference。controlnet='lllyasviel/sd-controlnet-canny'

from diffusers import StableDiffusionControlNetPipeline, ControlNetModel
import torch# 分布加载StableDiffusion和ControlNet 组成 StableDiffusionControlNetPipeline
controlnet = ControlNetModel.from_pretrained("lllyasviel/sd-controlnet-canny", torch_dtype=torch.float16)
pipe = StableDiffusionControlNetPipeline.from_pretrained("runwayml/stable-diffusion-v1-5", controlnet=controlnet, torch_dtype=torch.float16
)

使用当前最快的Noise Scheduler UniPCMultistepScheduler，减少Inference steps from 50 to 20

from diffusers import UniPCMultistepSchedulerpipe.scheduler = UniPCMultistepScheduler.from_config(pipe.scheduler.config)

使用pipe的enable_model_cpu_offload函数实现GPU的自动加载管理，无需手动to("cuda")：因为在推理过程中，模型（如SD）需要多个按顺序运行的模型组件。 在使用 ControlNet 进行 Stable Diffusion 的情况下，我们首先使用 CLIP 文本编码器，然后是 unet 和 controlnet，然后是 VAE 解码器，最后运行safechecker。 大多数组件在推理过程中只运行一次，因此不需要一直占用 GPU 内存。通过启用智能的enable_model_cpu_offload，我们确保 每个组件只在需要时加载到 GPU 中，这样我们就可以显着节省内存消耗。

pipe.enable_model_cpu_offload()

利用 FlashAttention/xformers 注意力层加速（如果没有配置xformers就跳过）

pipe.enable_xformers_memory_efficient_attention()
1.2 模型推理

分别测试加和不加prompt后缀的生成结果：

  • prompt 的文本提示应该尽可能地清晰、具体、简洁地描述想要生成的图像，避免模糊、冗长、矛盾的表述。文本提示可以从主体描述、环境氛围、艺术类别、艺术风格、材质、构图、视角、光照、色调等等方面来解构，也可以使用表情符号、角色名、场景名等来增加表现力。
  • prompt 的后缀参数可以影响图像生成的质量、分辨率等。不同参数之间要用，隔开。
normal_image = pipe(["Trump"],canny_image,negative_prompt=["monochrome, lowres, bad anatomy, worst quality, low quality"],generator=generator[0],num_inference_steps=20,
)

在这里插入图片描述

# positive prompt后缀
good_image = pipe(["Trump, best quality, extremely detailed"],canny_image,negative_prompt=["monochrome, lowres, bad anatomy, worst quality, low quality"],generator=generator[0],num_inference_steps=20,
)

在这里插入图片描述

1.3 DreamBooth微调

还可以用DreamBooth来 fine-tune ControlNet模型 ：加载StableDiffusionPipeline（在Mr Potato Head人物subject上DreamBooth微调过的StableDiffusion）和ControlNet（前面一模一样的canny的controlnet）组成StableDiffusionControlNetPipeline
Mr Potato Head

model_id = "sd-dreambooth-library/mr-potato-head"
controlnet = ControlNetModel.from_pretrained("lllyasviel/sd-controlnet-canny", torch_dtype=torch.float16)
pipe = StableDiffusionControlNetPipeline.from_pretrained(model_id,  # StableDiffusionPipeline的model_idcontrolnet=controlnet,  # ControlNetModel实例torch_dtype=torch.float16,
)
pipe.scheduler = UniPCMultistepScheduler.from_config(pipe.scheduler.config)
pipe.enable_model_cpu_offload()
pipe.enable_xformers_memory_efficient_attention()  # 如果没有装xformers注释掉即可

推理

generator = torch.manual_seed(2)
prompt = "a photo of sks mr potato head, best quality, extremely detailed"
output = pipe(prompt,canny_image,negative_prompt="monochrome, lowres, bad anatomy, worst quality, low quality",generator=generator,num_inference_steps=20,
)

在这里插入图片描述

2. Pose ControlNet

2.1 数据和模型加载

加载瑜伽数据

urls = "yoga1.jpeg", "yoga2.jpeg", "yoga3.jpeg", "yoga4.jpeg"
imgs = [load_image("https://hf.co/datasets/YiYiXu/controlnet-testing/resolve/main/" + url)for url in urls
]image_grid(imgs, 2, 2)

在这里插入图片描述

调用controlnet_aux的OpenposeDetector提取图片中的pose

from controlnet_aux import OpenposeDetectormodel = OpenposeDetector.from_pretrained("lllyasviel/ControlNet")poses = [model(img) for img in imgs]
image_grid(poses, 2, 2)

在这里插入图片描述
加载StableDiffusionControlNetPipeline，controlnet ='fusing/stable-diffusion-v1-5-controlnet-openpose'

controlnet = ControlNetModel.from_pretrained("fusing/stable-diffusion-v1-5-controlnet-openpose", torch_dtype=torch.float16
)model_id = "runwayml/stable-diffusion-v1-5"
pipe = StableDiffusionControlNetPipeline.from_pretrained(model_id,controlnet=controlnet,torch_dtype=torch.float16,
)
pipe.scheduler = UniPCMultistepScheduler.from_config(pipe.scheduler.config)
pipe.enable_model_cpu_offload()
pipe.enable_xformers_memory_efficient_attention()  # 如果没有装xformers注释掉即可
2.2 模型推理
generator = [torch.Generator(device="cpu").manual_seed(2) for i in range(4)]
prompt = "super-hero character, best quality, extremely detailed"
output = pipe([prompt] * 4,poses,negative_prompt=["monochrome, lowres, bad anatomy, worst quality, low quality"] * 4,generator=generator,num_inference_steps=20,
)
image_grid(output.images, 2, 2)

在这里插入图片描述

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.rhkb.cn/news/197544.html

如若内容造成侵权/违法违规/事实不符，请联系长河编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

（数据结构）线性表的定义和基本操作

（数据结构）线性表的定义和基本操作

阅读更多...
麦克风阵列入门

麦克风阵列入门

文章引注： http://t.csdnimg.cn/QP7uC 一、麦克风阵列的定义 所谓麦克风阵列其实就是一个声音采集的系统，该系统使用多个麦克风采集来自于不同空间方向的声音。麦克风按照指定要求排列后，加上相应的算法（排列算法）就可…
阅读更多...
漫谈广告机制设计 | 万剑归宗：聊聊广告机制设计与收入提升的秘密（2）

漫谈广告机制设计 | 万剑归宗：聊聊广告机制设计与收入提升的秘密（2）

书接上文漫谈广告机制设计 | 万剑归宗：聊聊广告机制设计与收入提升的秘密（1），我们谈到流量作为一种有限资源，其分配方式（或者交易方式）也经历了几个阶段：第一个是谈判定价阶段&#…
阅读更多...
线性方程组

线性方程组

线性方程组 设存在线性方程组 { a 1 , 1 x 1 a 1 , 2 x 2 ⋯ a 1 , n x n b 1 a 2 , 1 x 1 a 2 , 2 x 2 ⋯ a 2 , n x n b 2 ⋮ ⋮ a m , 1 x 1 a m , 2 x 2 ⋯ a m , n x n b m \left.\left\{\begin{array}{l}a_{1,1}x_1a_{1,2}x_2\cdotsa_{1,n}x_nb_1\\a_{2,1}…
阅读更多...
linux查看资源占用情况常用命令

linux查看资源占用情况常用命令

1. 查看 CPU 使用情况： top这个命令会显示系统中当前活动进程的实时信息，包括 CPU 使用率、内存使用率等。按 q 键退出。 2. 查看内存使用情况： free -m这个命令显示系统内存的使用情况，以兆字节（MB）为…
阅读更多...
【预处理详解】

【预处理详解】

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 目录 前言 1. 预定义符号 2. #define定义常量 3. #define定义宏 4. 带有副作用的宏参数 5. 宏替换的规则 6. 宏函数的对比 7. #和## 7.1 #运算符 7.2 ## 运算符 8. 命名约定 …
阅读更多...
【Spring总结】注解开发

【Spring总结】注解开发

本篇讲的内容主要是基于Spring v2.5的注解来完成bean的定义 之前都是使用纯配置的方式来定义的bean 文章目录 前言1. Spring v2.5 注解开发定义bean第一步：在需要定义的类上写上注解Component第二步：在Spring Config中定义扫描包第三步：主方法…
阅读更多...
企业数字化过程中数据仓库与商业智能的目标

企业数字化过程中数据仓库与商业智能的目标

当前环境下，各领域企业通过数字化相关的一切技术，以数据为基础、以用户为核心，创建一种新的，或对现有商业模式进行重塑就是数字化转型。这种数字化转型给企业带来的效果就像是一次重构，会对企业的业务流程、思维文化、…
阅读更多...
为什么求职者反感企业招聘用的人才测评？

为什么求职者反感企业招聘用的人才测评？

为什么求职者会对人才测评的不满？大概率是认为性格测评不能完整的定义人的优势，也就是测不准！ 这个想法是对的，性格测评并不能100%的展现一个完整的人，目前没有那个测评的信效度能达到如此理想，估计以后也…
阅读更多...
Elasticsearch中的语义检索

Elasticsearch中的语义检索

一、传统检索的背景痛点 和传统的基于关键词的匹配方式不同，语义检索，利用大模型，将文本内容映射到神经网络空间，最终记忆token做检索。 例如想要搜索中国首都，例如数据集中，只有一篇文章在描述北京&#x…
阅读更多...
Pandas分组聚合_Python数据分析与可视化

Pandas分组聚合_Python数据分析与可视化

Pandas分组聚合 分组单列和多列分组Series 系列分组通过数据类型或者字典分组获取单个分组对分组进行迭代 聚合应用单个聚合函数应用多个聚合函数自定义函数传入 agg() 中对不同的列使用不同的聚合函数 分组聚合的流程主要有三步： 分割步骤将 DataFrame 按照指定的…
阅读更多...
Leetcode经典题目之“双指针交换元素“类题目

Leetcode经典题目之“双指针交换元素“类题目

1 LC 27. 移除元素 class Solution {public int removeElement(int[] nums, int val) {int nnums.length;int s0;for(int i0;i<n;i){// 只有不等于目标值的时候才会进行交换&#xff0c;然后移动s指针if(nums[i]!val){swap(nums,i,s);}}return s;}void swap(int[]nums, int…
阅读更多...
【cpolar】Ubuntu本地快速搭建web小游戏网站，公网用户远程访问

【cpolar】Ubuntu本地快速搭建web小游戏网站，公网用户远程访问

&#x1f3a5; 个人主页&#xff1a;深鱼~&#x1f525;收录专栏&#xff1a;cpolar&#x1f304;欢迎 &#x1f44d;点赞✍评论⭐收藏 目录 前言 1. 本地环境服务搭建 2. 局域网测试访问 3. 内网穿透 3.1 ubuntu本地安装cpolar 3.2 创建隧道 3.3 测试公网访问 4. 配置…
阅读更多...
【C++初阶】STL详解（四）vector的模拟实现

【C++初阶】STL详解（四）vector的模拟实现

本专栏内容为&#xff1a;C学习专栏&#xff0c;分为初阶和进阶两部分。 通过本专栏的深入学习&#xff0c;你可以了解并掌握C。 &#x1f493;博主csdn个人主页&#xff1a;小小unicorn ⏩专栏分类&#xff1a;C &#x1f69a;代码仓库&#xff1a;小小unicorn的代码仓库&…
阅读更多...
如何解决msvcr100.dll丢失问题？5个实用的解决方法分享

如何解决msvcr100.dll丢失问题？5个实用的解决方法分享

在日常计算机操作过程中&#xff0c;相信不少小伙伴都经历过这样一种困扰&#xff0c;那便是某款应用程序或者游戏无法正常启动并弹出“找不到msvcr100.dll”的提示信息。这类问题让人头疼不已&#xff0c;严重影响到了我们的工作效率和休闲娱乐。接下来&#xff0c;就让小编带…
阅读更多...
大数据HCIE成神之路之数学（3）——概率论

大数据HCIE成神之路之数学（3）——概率论

概率论 1.1 概率论内容介绍1.1.1 概率论介绍1.1.2 实验介绍 1.2 概率论内容实现1.2.1 均值实现1.2.2 方差实现1.2.3 标准差实现1.2.4 协方差实现1.2.5 相关系数1.2.6 二项分布实现1.2.7 泊松分布实现1.2.8 正态分布1.2.9 指数分布1.2.10 中心极限定理的验证 1.1 概率论内容介绍…
阅读更多...
视频合并：掌握视频嵌套合并技巧，剪辑高手的必备秘籍

视频合并：掌握视频嵌套合并技巧，剪辑高手的必备秘籍

在视频剪辑的过程中&#xff0c;掌握视频合并的技巧是每个剪辑高手必备的技能之一。通过合理的合并视频&#xff0c;可以增强视频的视觉效果&#xff0c;提高观看体验。 一、视频合并的准备工作 收集素材&#xff1a;在进行视频合并之前&#xff0c;首先需要收集足够的素材&a…
阅读更多...
ATTCK实战系列——红队实战（一）

ATTCK实战系列——红队实战（一）

文章目录 网络拓扑环境搭建外网渗透信息收集端口扫描目录扫描 漏洞利用phpmyadmin拿shellgeneral_log_file写一句话蚁剑连接 网站后台拿shell关闭防火墙新建用户&#xff0c;开启3389 内网渗透&#xff08;一&#xff09;CSCS木马上线信息收集hashdumpMimikatz抓取明文密码 权限…
阅读更多...
数据结构——树状数组

数据结构——树状数组

文章目录 前言问题引入问题分析树状数组lowbit树状数组特性初始化一个树状数组更新操作前缀和计算区间查询 总结 前言 原题的连接 最近刷leetcode的每日一题的时候&#xff0c;遇到了一个区间查询的问题&#xff0c;使用了一种特殊的数据结构树状数组&#xff0c;学习完之后我…
阅读更多...
Spring Boot中使用MongoDB完成数据存储

Spring Boot中使用MongoDB完成数据存储

我们在开发中用到的数据存储工具有许多种&#xff0c;我们常见的数据存储工具包括&#xff1a; 关系性数据库&#xff1a;使用表格来存储数据&#xff0c;支持事务和索引。&#xff08;如&#xff1a;MySQL&#xff0c;Oracle&#xff0c;SQL Server等&#xff09;。NoSQL数据…
阅读更多...
最新文章
推荐文章

Copyright @ 2022~2023