用于视频生成的扩散模型

学习自https://lilianweng.github.io/posts/2024-04-12-diffusion-video/

文章目录

  • 3D UNet和DiT
    • VDM
    • Imagen Video
    • Sora
  • 调整图像模型生成视频
    • Make-A-Video(对视频数据微调)
    • Tune-A-Video
    • Gen-1
    • 视频 LDM
    • SVD稳定视频扩散
  • 免训练
    • Text2Video-Zero
    • ControlVideo
  • 参考文献

3D UNet和DiT

VDM

空间上

  1. 2D卷积扩展为3D卷积,具体操作 3 × 3 3\times3 3×3 替换成 1 × 3 × 3 1\times3\times3 1×3×3

     提高计算效率,增强网络非线性和表示能力,优化网络深度和结构
    
  2. 空间注意力块考虑像素之间的空间关系,第一个轴用来区分不同的批次或样本

     保持空间信息有效性,利用批次处理提高训练和推理的效率
    

时间上

在空间注意块之后添加时间注意块,在第一轴执行操作。相对位置嵌入用于跟踪帧的顺序,时间注意模块可以捕获良好的时间连贯性。

在这里插入图片描述

Imagen Video

  1. 冻结的文本编码器提供文本嵌入作为条件

  2. 交错空间和时间超分扩散模型的级联
    在这里插入图片描述

     - SSR(Scene Structure Representation): 指的是对视频中的场景结构进行建模和表示的方法。场景结构可以理解为视频中不同场景或镜头之间的关系和转换。SSR的目标是捕捉视频中的场景切换、场景内部的动作和对象交互等信息,以便后续的分析和处理。- TSR(Temporal Structure Representation): 指的是对视频中的时间结构进行建模和表示的方法。时间结构涉及到视频中不同时间点或时间段的关系和变化。TSR的目标是分析和描述视频中的时间序列信息,如动作的持续时间、速度的变化等。- SSR 通过双线性调整大小(基于双线性插值)进行上采样,而 TSR 通过重复帧或填充空白帧来上采样。
    
  3. 对具有共享参数的帧执行空间操作,时间层跨帧混合捕获时间连贯性。
    在这里插入图片描述

  4. 应用渐进式蒸馏来加快取样速度,每次蒸馏迭代都可以将所需的取样步骤减少一半。

     模型蒸馏:蒸馏技术能够将大型复杂模型的知识和性能转移到更小、更快速的模型中,从而节省计算资源和内存消耗。主要包括以下几个步骤:大模型准备、目标模型选择(小模型)、大模型软标签生成、目标模型训练、temperature参数控制模型泛化收敛和稳定性、性能评估。
    

Sora

Sora运用DiT结构,在视频和图像潜在编码时空token上运行,视觉输入为时间token充当transformer的输入标记。

在这里插入图片描述

调整图像模型生成视频

可以通过插入时间层“膨胀”预训练的文本到图像的扩散模型,只对视频数据微调新层,或者完全避免额外训练。新模型具有文本-图像对的先验,降低对文本-视频对数据的要求。

Make-A-Video(对视频数据微调)

在这里插入图片描述
最终推理目标: y ^ t = SR h ∘ SR l t ∘ ↑ F ∘ D t ∘ P ∘ ( x ^ , CLIP text ( x ) ) \hat{\mathbf{y}}_t = \text{SR}_h \circ \text{SR}^t_l \circ \uparrow_F \circ D^t \circ P \circ (\hat{\mathbf{x}}, \text{CLIP}_\text{text}(\mathbf{x})) y^t=SRhSRltFDtP(x^,CLIPtext(x))
在这里插入图片描述
时空SR层包括伪3D Convo层(左)和伪3D注意力层(右):
在这里插入图片描述
Conv P3D = Conv 1D ( Conv 2D ( h ) ∘ T ) ∘ T Attn P3D = flatten − 1 ( Attn 1D ( Attn 2D ( flatten ( h ) ) ∘ T ) ∘ T ) \begin{aligned} \text{Conv}_\text{P3D} &= \text{Conv}_\text{1D}(\text{Conv}_\text{2D}(\mathbf{h}) \circ T) \circ T \\ \text{Attn}_\text{P3D} &= \text{flatten}^{-1}(\text{Attn}_\text{1D}(\text{Attn}_\text{2D}(\text{flatten}(\mathbf{h})) \circ T) \circ T) \end{aligned} ConvP3DAttnP3D=Conv1D(Conv2D(h)T)T=flatten1(Attn1D(Attn2D(flatten(h))T)T)

输入张量 h \mathbf{h} h ∘ T \circ T T时间和空间维度之间的交换, flatten ( . ) \text{flatten}(.) flatten(.)是要转换的矩阵运算符 h \mathbf{h} h成为 h ’ ∈ R B × C × F × H × W \mathbf{h}’ \in \mathbb{R}^{B \times C \times F \times H \times W} hRB×C×F×H×W flatten − 1 ( . ) \text{flatten}^{-1}(.) flatten1(.)反转这一过程。

训练流程:首先仅对图像进行训练(文本对不参与),添加新时态层对未标记的视频数据微调。

Tune-A-Video

给定一个包含 m m m框架 V = { v i ∣ i = 1 , … , m } \mathcal{V} = \{v_i \mid i = 1, \dots, m\} V={vii=1,,m}和描述性提示 τ \tau τ,基于微编辑和相关的文本提示 τ ∗ \tau^* τ生成新视频 V ∗ \mathcal{V}^* V

Tune-A-Video的Unet集成了ST-Attention 时空注意力模块,查询前几帧的相关位置获得时间一致性。对于潜在特征 v i v_i vi,前一帧 v i − 1 v_{i-1} vi1和第一帧 v 1 v_1 v1得到
Q = W Q z v i , K = W K [ z v 1 , z v i − 1 ] , V = W V [ z v 1 , z v i − 1 ] O = softmax ( Q K ⊤ d ) ⋅ V \begin{aligned} &\mathbf{Q} = \mathbf{W}^Q \mathbf{z}_{v_i}, \quad \mathbf{K} = \mathbf{W}^K [\mathbf{z}_{v_1}, \mathbf{z}_{v_{i-1}}], \quad \mathbf{V} = \mathbf{W}^V [\mathbf{z}_{v_1}, \mathbf{z}_{v_{i-1}}] \\ &\mathbf{O} = \text{softmax}\Big(\frac{\mathbf{Q} \mathbf{K}^\top}{\sqrt{d}}\Big) \cdot \mathbf{V} \end{aligned} Q=WQzvi,K=WK[zv1,zvi1],V=WV[zv1,zvi1]O=softmax(d QK)V

微调体现在哪里?
微调期间只有ST-Attn和Cross-Attn中query的投影更新,保留先前的文本到图像知识。ST-Attn提高时空一致性,Cross-Attn优化文本-视频对齐。

在这里插入图片描述

Gen-1

分开考虑视频的结构和内容 p ( x ∣ s , c ) p(\mathbf{x} \mid s, c) p(xs,c)

  • 内容 c c c主要是外观语义信息,嵌入CLIP
  • 结构 s s s主要描述几何和动力学,使用深度估计或者其他特定任务的侧面信息。

残差块中的每个2D空间convo层之后添加1D时态convo,2D空间注意块之后添加1D时态注意力块。Training,结构变量s与潜在变量z连接,内容变量c在cross-attn中提供。Inference,
在这里插入图片描述

视频 LDM

训练LDM,对模型进行微调,然后生成添加时间维度的视频。时间层 { l ϕ i ∣ i = 1 , … , L } \{l^i_\phi \mid i = \ 1, \dots, L\} {lϕii= 1,,L}和空间层 l θ i l^i_\theta lθi交错,在微调时保持冻结。视频LDM以低fps生成关键帧,通过两个步骤的潜在插帧提高fps。
在这里插入图片描述

LDM预训练自编码看不到视频容易产生闪烁的伪影,因此,在解码器中添加了额外的时间层,使用3D卷积够早的时间判别器微调。在时间解码器微调期间,冻结的编码器独立处理视频中的每一帧,并使用视频感知鉴别器跨帧强制执行时间连贯的重建。
在这里插入图片描述

SVD稳定视频扩散

主要三个阶段:T2I预训练、视频预训练和视频微调
其他技术:三种不同的字幕模型。删除运动少的剪辑,过多的文本和较低美学价值的帧。
首先生成远距离关键帧,为了保证高质量的时间一致性,使用STUNet通过一次生成视频的持续时间消除对TSR的依赖。
STUNet 膨胀了预训练的文本到图像 U-net,以便能够在时间和空间维度上对视频进行下采样和上采样。基于 Convo 的模块由预先训练的文本到图像层组成,然后是因式分解的时空卷积。在最粗糙的 U-Net 级别,基于注意力的块包含预先训练的文本到图像,然后是时间注意力。只有新添加的层才会进行进一步的训练。
在这里插入图片描述

免训练

Text2Video-Zero

通过增强具有两个关键时间一致性的预训练图像扩线模型,实现zero-shot、免训练的视频生成:

  1. 使用运动动力学对潜在代码序列进行采样,以保持全局场景和背景时间的一致性
  2. 使用新跨帧注意机制重新编程帧级自注意,保留前景对象的上下文、外观和标识。

在这里插入图片描述
在这里插入图片描述
x T ′ 1 = DDIM-backward ( x T 1 , Δ t ) where  T ′ = T − Δ t W k ← a warping operation of  δ k = λ ( k − 1 ) δ x ~ T ′ k = W k ( x T ′ 1 ) x T k = DDIM-forward ( x ~ T ′ k , Δ t ) for  k = 2 , … , m \begin{aligned} \mathbf{x}^1_{T'} &= \text{DDIM-backward}(\mathbf{x}^1_T, \Delta t)\text{ where }T' = T - \Delta t \\ W_k &\gets \text{a warping operation of }\boldsymbol{\delta}^k = \lambda(k-1)\boldsymbol{\delta} \\ \tilde{\mathbf{x}}^k_{T'} &= W_k(\mathbf{x}^1_{T'})\\ \mathbf{x}^k_T &= \text{DDIM-forward}(\tilde{\mathbf{x}}^k_{T'}, \Delta t)\text{ for }k=2, \dots, m \end{aligned} xT1Wkx~TkxTk=DDIM-backward(xT1,Δt) where T=TΔta warping operation of δk=λ(k1)δ=Wk(xT1)=DDIM-forward(x~Tk,Δt) for k=2,,m

此外,Text2Video-Zero将预训练SD模型中的自注意力层替换为新的跨帧注意力机制,并参考第一帧。其动机是在整个生成的视频中保留有关前景对象的外观、形状和身份的信息。
Cross-Frame-Attn ( Q k , K 1 : m , V 1 : m ) = Softmax ( Q k ( K 1 ) ⊤ c ) V 1 \text{Cross-Frame-Attn}(\mathbf{Q}^k, \mathbf{K}^{1:m}, \mathbf{V}^{1:m}) = \text{Softmax}\Big( \frac{\mathbf{Q}^k (\mathbf{K}^1)^\top}{\sqrt{c}} \Big) \mathbf{V}^1 Cross-Frame-Attn(Qk,K1:m,V1:m)=Softmax(c Qk(K1))V1
平滑北京和扩散步骤中合并实际和扭曲的潜在代码t
x ˉ t k = M k ⊙ x t k + ( 1 − M k ) ⊙ ( α x ~ t k + ( 1 − α ) x t k ) for  k = 1 , … , m \bar{\mathbf{x}}^k_t = \mathbf{M}^k \odot \mathbf{x}^k_t + (1 − \mathbf{M}^k) \odot (\alpha\tilde{\mathbf{x}}^k_t +(1−\alpha)\mathbf{x}^k_t)\quad\text{for }k=1, \dots, m xˉtk=Mkxtk+(1Mk)(αx~tk+(1α)xtk)for k=1,,m
这里的 x t k \mathbf{x}^k_t xtk是实际的潜码, x ~ t k \tilde{\mathbf{x}}^k_t x~tk是背景上扭曲的潜码, α \alpha α是超参。

ControlVideo

在ControlNet基础上添加了三个新的机制

  1. 跨帧注意机制
  2. 交错帧平滑器
  3. 分层采样器

在这里插入图片描述

参考文献

[1] Cicek et al. 2016. “3D U-Net: Learning Dense Volumetric Segmentation from Sparse Annotation.”

[2] Ho & Salimans, et al. “Video Diffusion Models.” 2022 | webpage

[3] Bar-Tal et al. 2024 “Lumiere: A Space-Time Diffusion Model for Video Generation.”

[4] Brooks et al. “Video generation models as world simulators.” OpenAI Blog, 2024.

[5] Zhang et al. 2023 “ControlVideo: Training-free Controllable Text-to-Video Generation.”

[6] Khachatryan et al. 2023 “Text2Video-Zero: Text-to-image diffusion models are zero-shot video generators.”

[7] Ho, et al. 2022 “Imagen Video: High Definition Video Generation with Diffusion Models.”

[8] Singer et al. “Make-A-Video: Text-to-Video Generation without Text-Video Data.” 2022.

[9] Wu et al. “Tune-A-Video: One-Shot Tuning of Image Diffusion Models for Text-to-Video Generation.” ICCV 2023.

[10] Blattmann et al. 2023 “Align your Latents: High-Resolution Video Synthesis with Latent Diffusion Models.”

[11] Blattmann et al. 2023 “Stable Video Diffusion: Scaling Latent Video Diffusion Models to Large Datasets.”

[12] Esser et al. 2023 “Structure and Content-Guided Video Synthesis with Diffusion Models.”

[13] Bar-Tal et al. 2024 “Lumiere: A Space-Time Diffusion Model for Video Generation.”

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/372952.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

C++deque容器

文章目录 deque容器概念deque操作deque对象的带参数构造deque头部和末尾的添加移除操作deque的数据存取deque与迭代器deque赋值deque插入deque删除 deque容器概念 deque是双端数组,而vector是单端的。 deque头部和尾部添加或移除元素都非常快速, 但是在中部安插元…

一个php文件怎么实现联系表单自动发送邮件

学习PHP:如何编写一个自动发送邮件的联系表单处理器? 无论是反馈意见、业务咨询,还是技术支持,联系表单都能为用户提供便捷的交流途径。AokSend将探讨如何通过一个PHP文件实现联系表单的自动发送邮件功能。 php文件:…

Java实战:寻找完美数

文章目录 一、何谓完美数二、寻找完美数(一)编程思路(二)编写程序(三)运行程序 三、实战小结 一、何谓完美数 完美数是一种特殊的自然数,它等于其所有正除数(不包括其本身&#xff…

数据结构作业/2024/7/9

2>实现双向循环链表的创建、判空、尾插、遍历、尾删、销毁 fun.c #include "head.h" //1.双向循环链表的创建 doubleloop_ptr create_list() …

数据结构——顺序表【C】

顺序表 1. 顺序表的概念以及结构1.1概念1.2静态顺序表和动态顺序表 2. 顺序表接口模拟实现接口总览2.1 初始化数据和销毁容器 2.2 顺序表的尾插和尾删2.3 头插和头删2.4 任意位置插入和删除数据2.5 查找数据 3. 顺序表的问题 : 1. 顺序表的概念以及结构 1.1概念 顺…

利用亚马逊云科技云原生Serverless代码托管服务开发OpenAI ChatGPT-4o应用

今天小李哥继续介绍国际上主流云计算平台亚马逊云科技AWS上的热门生成式AI应用开发架构。上次小李哥分享​了利用谷歌云serverless代码托管服务Cloud Functions构建Gemini Pro API​,这次我将介绍如何利用亚马逊的云原生服务Lambda调用OpenAI的最新模型ChatGPT 4o。…

初识SpringBoot

1.Maven Maven是⼀个项⽬管理⼯具, 通过pom.xml⽂件的配置获取jar包,⽽不⽤⼿动去添加jar包 主要功能 项⽬构建管理依赖 构建Maven项目 1.1项目构建 Maven 提供了标准的,跨平台(Linux, Windows, MacOS等)的⾃动化项⽬构建⽅式 当我们开发了⼀个项⽬之后, 代…

LLM指令微调Prompt的最佳实践(六):基于ChatGPT搭建聊天机器人

文章目录 1. 前言2. Prompt定义3. 搭建聊天机器人Chatbot3.1 角色定义1. system2. assistant3. user4. 总结 3.2 初始函数3.3 讲笑话机器人3.4 订餐机器人 4. 参考 1. 前言 前情提要: 《LLM指令微调Prompt的最佳实践(一):Prompt原…

Apache AGE 安装部署

AGE概述 概述 我们可以通过源码安装、拉取docker镜像运行、直接使用公有云三种方式中的任意一种来使用Apache AGE 获取 AGE 发布版本 可以在 https://github.com/apache/age/releases 找到发布版本和发布说明。 源代码 源代码可以在 https://github.com/apache/age 找到…

万字长文整理Java多线程相关面试题

目录 ​1. 什么是线程和进程? 线程与进程有什么区别? 那什么是上下文切换? 进程间怎么通信? 什么是用户线程和守护线程? 2. 并行和并发的区别? 3. 创建线程的几种方式? Runnable接口和C…

Codeforces Round 954 (Div. 3) F. Non-academic Problem

思路&#xff1a;考虑缩点&#xff0c;因为是无向图&#xff0c;所以双连通分量缩完点后是一棵树&#xff0c;我们去枚举删除每一条树边的答案&#xff0c;然后取最小值即可。 #include <bits/stdc.h>using namespace std; const int N 3e5 5; typedef long long ll; …

3-6 构建线性模型解决温度计示数转换问题

3-6 构建线性模型解决温度计示数转换问题 直接上源码 %matplotlib inline import numpy as np import torch torch.set_printoptions(edgeitems2, linewidth75)导入必要的库并设置 PyTorch 的打印选项&#xff0c;确保在打印张量时显示边缘项和行宽。 #%% t_c [0.5, 14.0,…

gpt-4o看图说话-根据图片回答问题

问题&#xff1a;中国的人口老龄化究竟有多严重&#xff1f; 代码下实现如下&#xff1a;&#xff08;直接调用openai的chat接口&#xff09; import os import base64 import requests def encode_image(image_path): """ 对图片文件进行 Base64 编码 输入…

phpexcel导入导出

前言&#xff1a; 如果你到处的excel软件打开有问题&#xff0c;下面有介绍解决办法 导入 1. composer init 初始化 2. 下载phpspreadsheet 这里需要注意php版本&#xff0c;需要大于7.2 composer require phpoffice/phpspreadsheet3. 编写代码 <?php require vendo…

Linux多进程和多线程(八)多线程

多线程 线程定义线程与进程线程资源 线程相关命令 pidstat 命令 top 命令ps 命令常见的并发方案 1. 多进程模式2. 多线程模式 创建线程 1. pthread_create() 示例:创建一个线程 2. pthread_exit() 退出线程3. pthread_join() 等待线程结束 示例: 线程分离 创建多个线程 示例 1:…

“郑商企航”暑期社会实践赴美丽美艳直播基地开展调研

马常旭文化传媒网讯&#xff08;记者张明辉报道&#xff09;导读&#xff1a;2024 年 7 月 3 日&#xff0c;商学院暑期社会实践团“郑商企航”在河南省郑州市新密市岳村镇美丽美艳直播基地&#xff0c;展开了一场意义非凡的考察活动&#xff0c;团队成员深度调研了直播基地的产…

CTF php RCE(二)

0x04 php伪协议 这种我们是先看到了include才会想到&#xff0c;利用伪协议来外带文件内容&#xff0c;但是有些同学会问&#xff0c;我们怎么知道文件名是哪个&#xff0c;哪个文件名才是正确的&#xff0c;那么这里我们就得靠猜了 include函数 因为 include 是一个特殊的语…

C++笔试强训3

提示&#xff1a;文章写完后&#xff0c;目录可以自动生成&#xff0c;如何生成可参考右边的帮助文档 文章目录 一、选择题1-5题6-10题 二、编程题题目一题目二 一、选择题 1-5题 如图所示&#xff0c;如图所示p-3指向的元素是6&#xff0c;printf里面的是%s&#xff0c;从6开…

Python入门 2024/7/8

目录 数据容器 dict(字典&#xff0c;映射) 语法 定义字典字面量 定义字典变量 定义空字典 从字典中基于key获取value 字典的嵌套 字典的常用操作 新增元素 更新元素 删除元素 清空字典 获取全部的key 遍历字典 统计字典内的元素数量 练习 数据容器的通用操作…

SQLite 命令行客户端 + Windows 批处理应用

SQLite 命令行客户端 Windows 批处理应用 下载 SQLite 客户端1. Bat 辅助脚本1. 执行SQL.bat执行 2. 导出Excel.bat执行效果 3. 导出HTML.bat执行效果 4. 清空-订单表.bat5. 订单表.bat 2. 测试 SQL1. 创建订单表.sql2. 插入订单表.sql3. 查询订单表.sql4. 清空订单表.sql5. 删…