视频中使用了实时模型:只需2~4 个步骤甚至一步即可生成768 x 768分辨率图像。
这项技术可以把任意的stable diffusion模型转为实时模型。
潜在一致性模型 LCM
LCM 只需 4,000 个训练步骤(约 32 个 A100 GPU 一小时)即可从任何预训练的SD模型中提取出实时模型。
实现原理:
@opus,你知道吗,论文作者发明了一种叫做潜在一致性模型(LCMs)的技术,它可以帮助我们更快地生成高质量的图像。
shadow
opus
有点深奥,为什么能更快???
现在,我来给你举个例子来解释一下这个技术是怎么实现的。
#
想象一下,我们要画一张美丽的风景画,但是我们只知道一些描述这个风景的文字,比如"在湖边有一棵高大的树,周围有很多花和小鸟"。
在以前,我们需要一步一步地进行迭代,才能一点点地画出这个画面。
但是有了LCMs技术,我们可以更快地生成这样的图像。
LCMs通过直接预测一个叫做ODE解的东西,来解决这个画图的过程。
ODE解可以想象成是一种数学方程,它告诉我们如何把文字描述转化为图像。
代替了之前需要一步步计算,来逐步求解的过程。
通过直接预测这个ODE解,我们不再需要反复迭代,而是可以快速地生成出高质量的图像。
通过LCMs技术,我们可以更快地将文字描述转化为图像,让我们可以更方便地创造出美丽的画面。
希望这个例子能帮助你理解LCMs技术的原理哦!
体验地址
https://huggingface.co/SimianLuo/LCM_Dreamshaper_v7
社群通道