[ComfyUI]官方已支持Skyreels混元图生视频,速度更快,效果更好(附工作流)

一、介绍

昨天有提到官方已经支持了Skyreels,皆大欢喜,效果更好一些,还有GGUF量化版本,进一步降低了大家的显存消耗。

今天就来分享一下官方流怎么搭建,我体验下来感觉更稳了一些,生成速度也更快,不愧是官方。

二、相关模型

要使用官方版的混元视频,你版本要更新到2月19号

然后其他模型很多是通用的,有几个是新的,反正我网盘里面都有提供

首先是大模型,bf16或者fp8的,还有GGUF的回头再说

加速lora:skyreels-i2v-smooth-lora-test-00000350.safetensors

CLIP有2个

VAE一个

三、工作流说明

不复杂,官方的流其实和Flux那一套很像,我一共分5个模块和大家说说

  • 图片处理,尺寸限制
  • 模型加载,各种模型
  • 提示词描述
  • 采样生成视频
  • 视频合并输出

来,今天干货很多,今年AI视频领域要大爆发了,快跟上,付费的工具太贵了,还是多期待这种开源的能起来,这样大家玩AI的成本才能降下来。

图片处理

首先我们要对图片做一些尺寸限制,目前 Skyreels 官方有给出推荐的图片尺寸 544x97,最高帧率是97帧,在这个范围内都可以调整。

所有我这里对宽高做了一些限制,这里面有个很细节的地方,我设置了短边最少是544,高度跟着自适应,这种是适合竖屏的,如果是横屏的你就自己调整一下。

尺寸越大,生成时间越长,关键是显存占用就更多。

我测试了上百次,发现一个问题,之前我用倍数取整8倍,经常会报错下面这个错。

后来我调整到16倍了就不报错了,这个细节大家自己遇到了也可以跟着调整。感觉这个对图片尺寸有一些限制的。

模型加载,各种模型

这里核心就是加载了Skyreels的I2V模型,以及上篇提到的 加速稳定lora,这2个是核心,中间的Patch Sage Attention KJ以及Patch Model Patcher Order你可以隐藏掉。

我这里开启了,是要用到SageAttention注意力量化加速的应用,可以提高视频生成速度。
官网地址:https://github.com/thu-ml/SageAttention

简单的理解,就是保持质量不变,减少生成时间,这个在视频领域还是很重要的。

安装这个,我折腾了好几个小时,这个东西不能在线安装,需要把源码下载下来,本地编译安装,才是最新的SageAttention 2.0.1 版本。

安装对本地的依赖版本要求比较高,我简单的列一下:
官方也给出了基础要求,torch要大于2.3,我是安装2.5.1
CUDA也不能太低,我是安装了12.4

安装步骤如下

git clone https://github.com/thu-ml/SageAttention.git
cd sageattention 
python setup.py install  # or pip install -e .

安装SageAttention之前,需要先安装上了triton,这个之前一篇讲Skyreels的文章说到过。

如果你折腾了半天安装不上,也可以不用,直接参数选择禁用即可。

另外,KJ大佬那边模型也提供了GGUF的模型
https://huggingface.co/Kijai/SkyReels-V1-Hunyuan_comfy/tree/main

大家根据自己实际显存大小挑选使用把推荐Q4、Q6都试试看,要使用GGUF,你那你需要安装个GGUF插件。

提示词描述

这个就是常规的提示词模块了,最终接入到InstructPixToPix条件。

要注意的是,这里正负提示词都需要写个FPS-24,听说这样生成的视频质量会好一些。

这里的动画描述词要自己写,我自己额外做了一个高级版本,通过图片反推,再通过DeepSeek R1的思考,直接根据一张图给出了最适合的图片动画描述词。

效果还不错,接入了目前最火的DeepSeek R1的API,免费额度也够我用很久了。

这部分是付费,有需要的到时候再联系我,教你如何接入DeepSeek R1。

采样生成视频

官方版本的采样一共分两次,第一次是增加了一些噪点后采样一次,然后再接一个采样,有个地方设置要注意,这里用了分离Sigmas,值记得要是总步数的一半,比如我们这里只要20步,那前后各10步。

空Latent视频这里的总长度就是帧率,49帧就是大概2秒。

其他设置保持不变即可,最后出的视频再加一个图像调色后就可以生成视频了

到这里后面其实还可以做一些优化,比如补帧、以及后期的视频高清放大,都有方案,以后再慢慢分享,一次分享太多怕大家吸收不过来。

案例演示

下面是几个我通过DeepSeek R1推理模型给出的动画提示词描述,效果感觉比我自己写牛逼多了。

这些都是直接在ComfyUI工作流里面搞定的,都是自动化,非常方便。

蓝色长发如绸缎般轻柔向右侧飘动,发尾泛起细微光点涟漪,鳞片服饰下摆随步伐节奏小幅起伏闪烁,犄角头饰尖端缓慢上下点动,T台两侧人群头部同步小幅度左右转动注视,背景波浪纹路由中心向两侧传递起伏光波,保持CGI材质的光泽流动感与暗色人鱼装束对比,所有动态元素运动轨迹相互牵引,服装高光区域始终维持鳞片结构的数字渲染质感

混元图生视频1

棕色长发末端轻柔向右飘动, 仙女灯串光线柔和明暗起伏, 窗外云层缓慢向左平移, 木地板反光波纹轻微荡漾, 灰色沙发靠垫随呼吸节奏微微下陷, 保持写实摄影质感与极简家居构图

自动写提示词2

黄叶沿弧形轨迹缓慢飘落,白色货车沿路面轻微颠簸前行,轮胎匀速旋转,炊烟呈波浪形向右侧蜿蜒上升,左侧邮箱因震动左右微幅摆动,云层整体向右缓慢平移,树枝末梢随风高频低幅颤动,枫叶在飘落时伴随自转,保持半写实笔触的温暖秋色质感,柏油路面反光点随云影移动明暗交替,二楼窗帘呈现呼吸般的起伏,轮胎扬起的细小尘埃呈螺旋扩散,所有动态元素活动范围严格控制在局部区域。

hunyuan-_00011

打伞少女的长发丝缕向右轻柔飘动,伞面以中心轴缓慢顺时针旋转,绿色植物叶片随伞转动方向起伏摇摆,荧光蝴蝶翅膀高频颤动伴随光粒上升轨迹,地面光晕以呼吸节奏明暗脉动,保持霓虹渐变笔触与柔光弥散效果,禁止人物位移或镜头推拉,所有动态幅度控制在伞面投影区域内

hunyuan-_00018

少女骑行时棕色发丝轻柔后扬,蓝色裙摆随踏板节奏小幅起伏,自行车轮匀速转动辐条闪烁,背景云层缓慢右飘形态缓慢拉伸,海面波纹横向扩散推挤船体轻微上下浮动,保持动漫风格高饱和色块与硬朗轮廓线,禁止镜头移动或比例变化,动态元素仅限发梢10%、裙摆15%、云层20%区域微动。

hunyuan-_00020

四、云端镜像

大家如果没有本地 ComfyUI 环境,或者本地显卡配置低于 16G 的,可以使用嘟嘟部署的仙宫云镜像,可直接加载使用。后续分享的工作流都会更像到镜像中,一周更新一次,方便大学学习。

目前整合了2个镜像,一个是Flux绘图用的,另外一个是针对视频模型的,之所以分开是一些模型兼容问题,分开比较好处理。

今天这个图生视频官方版本案例已经弄到镜像上了,欢迎体验,镜像上我也安装了加速的SageAttention 2.0.1,4秒视频,5分钟就出来了,速度和可灵官方接口差用差不多。

镜像名称:嘟嘟AI绘画趣味学


云平台镜像地址:

https://www.xiangongyun.com/image/detail/d961a7dc-ade3-4bd5-a7c6-92ac49ff5e4b?r=37BCLY

https://www.xiangongyun.com/image/detail/81716d29-4461-4b0b-ba4b-7b9b7dd569d3?r=37BCLY

新用户通过邀请码注册,总共可获得 8 元奖励,体验 4 个小时的 4090 作图时长

五、总结

以上就是ShyReels官方版工作流使用说明了,效果真的越来越好了。

简单版本图生视频工作流是免费分享给大家。

但想要带DeepSeek R1自动生成动画提示词模块的,可以联系我,这个是付费版本的,售价还是39.9,我会发你完整版工作流,再给你一个详细的接入文档,DeepSeek R1目前是主流大模型,接入ComfyUI可以做很多事情。

昨天刚帮一个影视机构搞定批量图生视频工作流,省下了大批成本,可灵目前还是偏贵,现在AI视频开源模型越来越好,我相信以后AI视频的价格是可以打下来的。

AI时代,值得我们去投入时间研究。

技术的迭代是飞快的,要关注最新的消息才不会掉队。​

嘟嘟每天分享最新的ComfyUI技术前沿。​

本篇中的工作流和模型网盘链接:https://pan.quark.cn/s/ab576aa693ab

我是嘟嘟,专注于 AI 绘画以及 AI 工具分享,欢迎来一起交流。​

如果觉得文章有帮助,请帮忙点赞收藏关注一下呦~​

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/24822.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

ui设计公司兰亭妙微分享:科研单位UI界面设计

科研单位的UI界面设计是一项至关重要的任务,它不仅关乎科研工作的效率,还直接影响到科研人员的用户体验。以下是对科研单位UI界面设计的详细分析: 一、设计目标 科研单位的UI界面设计旨在提升科研工作的效率与便捷性,同时确保科…

纷析云:赋能企业财务数字化转型的开源解决方案

在企业数字化转型的浪潮中,财务管理的高效与安全成为关键。纷析云凭借其开源、安全、灵活的财务软件解决方案,为企业提供了一条理想的转型路径。 一、开源的力量:自主、安全、高效 纷析云的核心优势在于其100%开源的财务软件源码。这意味着…

Win11安装dpanel实现docker可视化面板,并解决端口冲突的问题

目标是给Win11的docker安装dpanel可视化面板,可以更直观的看到docker中的数据。 执行镜像(没有则自动拉取) 首先配置好docker加速环境(阿里云的docker加速等),然后访问GitHub - donknap/dpanel: 轻量化 do…

Jmeter聚合报告导出log文档,Jmeter聚合报告导出到CSV

Jmeter聚合报告导出log文档 在Filename中输入 EKS_perf_log\\${type}_log\\${__P(UNIQUEID,${__time(YMDHMS)})}\all-graph-results-log.csv 可以得到执行的log,文件夹包含时间戳 Jmeter聚合报告导出到CSV 点击Save Table Data,保存到CSV文件中

OpenAPI Generator:API开发的瑞士军刀

一、工具介绍 OpenAPI Generator是基于OpenAPI规范(Swagger)的代码生成工具,支持50种编程语言的客户端/服务端代码生成。其核心价值在于: 自动化生成⇒减少重复劳动规范API开发流程 核心能力矩阵: 功能支持示例客户端SDK生成Java/Python/T…

【Linux探索学习】第二十七弹——信号(上):Linux 信号基础详解

Linux学习笔记: https://blog.csdn.net/2301_80220607/category_12805278.html?spm1001.2014.3001.5482 前言: 前面我们已经将进程通信部分讲完了,现在我们来讲一个进程部分也非常重要的知识点——信号,信号也是进程间通信的一…

DeepSeek行业应用实践报告-智灵动力【112页PPT全】

DeepSeek(深度搜索)近期引发广泛关注并成为众多企业/开发者争相接入的现象,主要源于其在技术突破、市场需求适配性及生态建设等方面的综合优势。以下是关键原因分析: 一、技术核心优势 开源与低成本 DeepSeek基于开源架构&#xf…

探索AI新前沿,CoT推理赋能文生图!港中文首次提出文生图的o1推理和inference scaling新范式

OpenAI的o1模型凭借思维链(Chain-of-Thought, CoT)技术,在推理能力上实现了质的飞跃,引领了大模型理解领域的新风尚。然而,这一创新的火花能否照亮图像生成领域?近日,来自香港中文大学、北京大学…

C# | GDI+图像测距辅助线的实现思路

C# | GDI图像测距辅助线的实现思路 文章目录 C# | GDI图像测距辅助线的实现思路一、辅助线需求概述二、坐标系与角度计算2.1 笛卡尔坐标系2.2 线长和角度计算方法2.3 文本角度矫正计算方法2.4 坐标变换实现步骤 三、与if判断方式对比四、总结 一、辅助线需求概述 在图像测量工…

SQL Server2019下载及安装教程

一、软件下载 SQLServer2019及SSMS管理工具下载链接: 百度网盘 请输入提取码 二、SQLServer2019安装 选中要安装的iso映像文件,右键点击装载(有些系统可以直接双击打开,有些需要安装Daemon Tools软件去打开) 找到s…

嵌入式开发--STM32的USB不识别和需要重新拔插的解决

STM32在通过USB口设备连接电脑时,一般是将其模拟为虚拟串口(VCP)。如果在调试中按了复位键,就不能连接电脑了。此时一般需要拔插一下USB口,但这样会给用户带来许多麻烦。 USB接口电路 电路接口中,USB-P线会…

深度剖析数据中台架构图,铸造数字文明的基石

🔥🔥 AllData大数据产品是可定义数据中台,以数据平台为底座,以数据中台为桥梁,以机器学习平台为中层框架,以大模型应用为上游产品,提供全链路数字化解决方案。 ✨奥零数据科技官网:http://www.aolingdata.com ✨AllData开源项目:https://github.com/alldatacenter/a…

MySQL练习

将安装包下载并上传 方法一 步骤 创建组与用户 [rootlocalhost ~]# groupadd mysql [rootlocalhost ~]# useradd -r -g mysql -s /bin/false mysql 解压安装包 [rootlocalhost ~]# tar xf mysql-8.0.36-linux-glibc2.28-x86_64.tar.xz -C /usr/local/软连接 [rootlocalh…

jdk21下载、安装(Windows、Linux、macOS)

Windows 系统 1. 下载安装 访问 Oracle 官方 JDK 下载页面 或 OpenJDK 下载页面,根据自己的系统选择合适的 Windows 版本进行下载(通常选择 .msi 安装包)。 2. 配置环境变量 右键点击 “此电脑”,选择 “属性”。 在左侧导航栏…

docker的下载与使用(一)

本文默认使用linux系统以及会linux的基本指令,windows下安装docker较为繁琐 docker是什么 Docker 是一个开源的应用容器引擎,基于go 语言并遵从 Apache2.0 协议开源。 Docker 可以让开发者打包他们的应用以及依赖包到一个轻量级、可移植的容器中&…

WIn32 笔记:本专栏课件

专栏导航 上一篇:在VS2019里面,调整代码字体大小 回到目录 下一篇:计算机基础:二进制基础01,比特与字节 本节前言 在之前的讲解里面,我讲解了 Visual Studio 软件的一些个基础操作步骤。从本节开始&am…

【NLP 27、文本分类任务 —— 传统机器学习算法】

不要抓着枯叶哭泣,你要等待初春的新芽 —— 25.1.23 一、文本分类任务 定义:预先设定好一个文本类别集合,对于一篇文本,预测其所属的类别 例如: 情感分析: 这家饭店太难吃了 —> 正类 …

基于YOLO11深度学习的医学X光骨折检测与语音提示系统【python源码+Pyqt5界面+数据集+训练代码】

《------往期经典推荐------》 一、AI应用软件开发实战专栏【链接】 项目名称项目名称1.【人脸识别与管理系统开发】2.【车牌识别与自动收费管理系统开发】3.【手势识别系统开发】4.【人脸面部活体检测系统开发】5.【图片风格快速迁移软件开发】6.【人脸表表情识别系统】7.【…

FastAPI系列:Ubuntu部署FastAPI项目实战

这篇文章提供了在Ubuntu上部署FastAPI应用程序的详细指南。首先,读者将学习如何创建项目目录并设置Python虚拟环境,接着安装FastAPI、Uvicorn和Gunicorn等必要依赖。随后,文章指导用户编写基本的FastAPI应用程序代码,并使用Gunico…

Redis缓存淘汰算法——LRU

文章目录 一、LRU 算法概述1.1 LRU 算法的工作原理1.2 手写LRU 二、Redis 中的 LRU 算法2.1 近似 LRU 算法2.2 如何判断“最近最少使用”的键?2.3 Redis 中的 LRU 配置 在 Redis 中, LRU(Latest Recently Used,最近最少使用&…