重塑视频创作的格局!ComfyUI-Mochi本地部署教程

一、介绍

image.png

mochi是近期Genmo公司开源的先进视频生成模型,具有高保真运动和强大的提示遵循性。此模型的发布极大的缩小了闭源和开源视频生成系统之间的差距。

image.png

目前,视频生成模型与现实之间存在巨大差距。其中最影响视频生成的两个关键功能也就是运动质量和提示词遵循性。

mochi模型性能评估:当前发布的480p预览版有以下优势:

提示词遵循:对文本提示具有极高的遵从性,确保生成的视频能够准确反映所给的命令。

运动质量:Mochi 1 以每秒 30 帧的速度生成流畅的视频,持续时间长达 5.4 秒,具有很高的时间一致性和逼真的运动动态。能模拟流体动力学、毛皮和头发模拟等物理特性,并可以表达出人们穿越恐怖谷场景时一致的、流畅的动作。

image.png

image.png

其它更多信息可点击官网详细了解:https://www.genmo.ai/,进入官网登录之后还可以在线体验视频生成功能

接下来就谈谈如何在 ComfyUI 上进行部署:

二、部署

要求:

显存 >=24G
CUDA 版本 >=11.8

1. 部署 ComfyUI

(1)使用命令克隆 ComfyUI
git clone https://github.com/comfyanonymous/ComfyUI.git
cd ComfyUI
(2)安装 conda(如已安装则跳过)

下面需要使用 Anaconda 或 Mimiconda 创建虚拟环境,可以输入 conda --version 进行检查。下面是 Mimiconda 的安装过程:

  • 下载 Miniconda 安装脚本
wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh
  • 运行安装脚本
bash Miniconda3-latest-Linux-x86_64.sh
  • 遵循安装提示并初始化

按 Enter 键查看许可证条款,阅读完毕后输入 yes 接受条款,安装完成后,脚本会询问是否初始化 conda 环境,输入 yes 并按 Enter 键。

  • 运行 source ~/.bashrc 命令激活 conda 环境
  • 再次输入 conda --version 命令来验证是否安装成功,如果出现类似 conda 4.10.3 这样的输出就成功了。
(3)创建虚拟环境

输入下面的命令:

conda create -n comfyui
conda activate comfyui
(4)安装 pytorch
pip install torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/cu121
(5)安装项目依赖
pip install -r requirements.txt

此时所需环境就已经搭建完成,通过下面命令进行启动:

python main.py

访问网址得到类似下图界面即表示成功启动:

1730185829776_419bea3e_14633769.png

到这里 Comfy UI 就初步搭建好了(这里只是简单实现 ComfyUI 的基础功能,如果想要安装更多细节,请看我“Comfy UI”部署教程)

2. 部署 mochi

(1)下载文本编码模型

第一步是要下载文本编码器文件(如果你没有从Flux模型中下载过): t5xxl_fp16.safetensors

进入 hugging face 网站,点击搜索:mochi_preview_repackaged

image.png

第一次登录需要注册,然后搜索后需要填写信息获取模型访问的权限。通过后点击“Flies”选择"split_files":
出现的三个文件夹就是我们所需的模型文件。点击 text_encoders文件夹,将其中的t5xxl模型下载到 ComfyUI/models/text_encoders/ 文件夹中

image.png

两个模型,根据自己的情况选择一个下载,fp16肯定是要比fp8效果要好的。

(2)下载VAE模型

同理,点击“vae”文件夹,将其中的模型下载到ComfyUI/models/vae/文件夹中

(3)下载视频生成模型mochi

点击进入diffusion_models文件夹

image.png

下载mochi_preview_bf16.safetensors文件,放在你的 ComfyUI/models/diffusion_models/ 目录中:

image.png

你会看到两个mochi模型文件,因为官方发布的原生模型是40G,在ComfyUI中进行了量化,因此有bf16版本和fp8版本,其中,fp8是包含了视频生成、clip文本编码和vae功能的多合一模型,这能降低视频生成所需要的显存,以及缩短所需时间,但是,也会降低生成视频的质量,可以根据情况进行选择。

(3)下载工作流

点击链接:Mochi Video Model | ComfyUI_examples,然后将下图拖入 Comfy UI 即可出现工作流:

image.png

fp8多合一模型的工作流:

image.png

工作流如下:
 

image.png


至此 mochi 模型就部署在 Comfy UI 中了。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/1147.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Docker 安装开源的IT资产管理系统Snipe-IT

一、安装 1、创建docker-compose.yaml version: 3services:snipeit:container_name: snipeitimage: snipe/snipe-it:v6.1.2restart: alwaysports:- "8000:80"volumes:- ./logs:/var/www/html/storage/logsdepends_on:- mysqlenv_file:- .env.dockernetworks:- snip…

Oracle重启后业务连接大量library cache lock

一、现象 数据库和前段应用重启后,出现大量library cache lock等待事件。 二、分析解决 本次异常原因是:原因定位3: 库缓存对象无效 Library cache object Invalidations 三、各类情况具体分析如下 原因定位1:由于文字导致的非…

硬件设计-七位半电压表硬件方案(下)

目录 摘要 简介 解决方案和评估系统简介 应用聚焦:高准确度数据采集器 结论 摘要 本文探讨了为仪器仪表应用设计高准确度设备所涉及的挑战,并介绍了由低INL SAR ADC、全集成式超低温漂精密基准电压源、四通道匹配电阻网络和零漂移低噪声放大器构建的…

基于springboot+vue+微信小程序的宠物领养系统

基于springbootvue微信小程序的宠物领养系统 一、介绍 本项目利用SpringBoot、Vue和微信小程序技术,构建了一个宠物领养系统。 本系统的设计分为两个层面,分别为管理层面与用户层面,也就是管理者与用户,管理权限与用户权限是不…

Termora 一个开源的 SSH 跨平台客户端工具

Termora 是一个终端模拟器和 SSH 客户端,支持 Windows,macOS 和 Linux。 功能特性 支持 SSH 和本地终端支持 SFTP 文件传输支持 Windows、macOS、Linux 平台支持 Zmodem 协议支持 SSH 端口转发支持配置同步到 Gist支持宏(录制脚本并回放&…

TypeScript Jest 单元测试 搭建

NPM TypeScript 项目搭建 创建目录 mkdir mockprojectcd mockproject初始化NPM项目 npm init -y安装TypeScript npm i -D typescript使用VSCode 打开项目 创建TS配置文件tsconfig.json {"compilerOptions": {"target": "es5","module&…

sql模糊关联匹配

需求目标: 建立临时表 drop table grafana_bi.zbj_gift_2024;USE grafana_bi; CREATE TABLE zbj_gift_2024 (id INT AUTO_INCREMENT PRIMARY KEY,userName VARCHAR(255),giftName VARCHAR(255),giftNum INT,points INT,teacher VARCHAR(255),sendDate DATETIME,…

Web前端:JavaScript标识符与变量

JavaScript介绍 JavaScript 是一种轻量级的脚本语言。所谓“脚本语言”,指的是它不具备开发操作系统的能力,而是只用来编写控制其他大型应用程序的“脚本”。 JavaScript 是一种嵌入式(embedded)语言。它本身提供的核心语法不算…

mac homebrew配置使用

本文介绍mac上homebrew工具的安装、配置过程。homebrew功能类似于centos的yum,用于软件包的管理,使用上有命令的差异。 本次配置过程使用mac,看官方文档,在linux上也可以用,但我没试过,有兴趣的同学可以试试…

对话新晋 Apache SeaTunnel Committer:张圣航的开源之路与技术洞察

近日,张圣航被推选为 Apache SeaTunnel 的 Committer成员。带着对技术的热情和社区的责任,他将如何跟随 Apache SeaTunnel 社区迈向新的高度?让我们一起来聆听他的故事。 自我介绍 请您简单介绍一下自己,包括职业背景、当前的工作…

智慧公厕大数据驱动下的公共卫生管理与优化

在快速发展的城市化进程中,公共卫生问题日益凸显,成为城市管理的重要议题。智慧公厕,作为公共卫生设施的一次革命性创新,正借助物联网技术的东风,引领公共卫生进入一个全新的生态时代。本文将深入探讨智慧公厕如何利用…

后盾人JS--JS值类型使用(终章)

数值类型转换技巧与NaN类型 什么是NaN呢&#xff1f;顾名思义就是&#xff0c;not a number <!DOCTYPE html> <html lang"en"> <head><meta charset"UTF-8"><meta name"viewport" content"widthdevice-width,…

EFK采集k8s日志

在 Kubernetes 集群中&#xff0c;需要全面了解各个 pod 应用运行状态、故障排查和性能分析。但由于 Pod 是动态创建和销毁的&#xff0c;其日志分散且存储不持久&#xff0c;因此需要通过集中式日志采集方案&#xff0c;将日志收集到统一的平台并配置日志可视化分析和监控告警…

探索网络安全:浅析文件上传漏洞

前言 在数字化时代&#xff0c;网络安全已成为我们每个人都需要关注的重要议题。无论是个人隐私保护&#xff0c;还是企业数据安全&#xff0c;网络威胁无处不在。了解网络安全的基本知识和防护措施&#xff0c;对我们每个人来说都至关重要。 网络安全 网络安全并非只是对网…

计算机网络 (36)TCP可靠传输的实现

前言 TCP&#xff08;传输控制协议&#xff09;是一种面向连接的、可靠的、基于字节流的传输层通信协议。TCP通过多种机制实现可靠传输&#xff0c;这些机制主要包括连接管理、序列号和确认应答机制、重传机制、流量控制、拥塞控制等。 一、连接管理 TCP使用三次握手&#xff0…

零样本极速复刻语音!F5-TTS本地部署教程

一、介绍 F5-TTS 是由上海交通大学、剑桥大学和吉利汽车研究院&#xff08;宁波&#xff09;有限公司于 2024 年共同开源的一款高性能文本到语音 (TTS) 系统&#xff0c;它基于流匹配的非自回归生成方法&#xff0c;结合了扩散变换器 (DiT) 技术。。这一系统能够在没有额外监督…

poi处理多选框进行勾选操作下载word以及多word文件压缩

一、场景 将数据导出word后且实现动态勾选复选框操作 eg: word模板 导出后效果&#xff08;根据数据动态勾选复选框&#xff09; 二、解决方案及涉及技术 ① 使用poi提供的库进行处理&#xff08;poi官方文档&#xff09; ② 涉及依赖 <!-- excel工具 --><depen…

关于使用FastGPT 摸索的QA

近期在通过fastGPT&#xff0c;创建一些基于特定业务场景的、相对复杂的Agent智能体应用。 工作流在AI模型的基础上&#xff0c;可以定义业务逻辑&#xff0c;满足输出对话之外的需求。 在最近3个月来的摸索和实践中&#xff0c;一些基于经验的小问题点&#xff08;自己也常常…

开放词汇检测新晋SOTA:DOSOD实时检测算法详解

在计算机视觉领域&#xff0c;目标检测技术一直是研究的热点与难点。随着应用场景的不断拓展&#xff0c;传统的闭集检测逐渐显露出其局限性&#xff0c;开放词汇检测&#xff08;Open-Vocabulary Object Detection&#xff09;应运而生&#xff0c;为行业带来了新的活力与可能…

Spring 项目 基于 Tomcat容器进行部署

文章目录 一、前置知识二、本地Idea运行Spring项目1. 将写好的 Spring 项目先打包成 war 包2. 查看项目工件&#xff08;Artifact&#xff09;是否存在3. 配置 Tomcat3.1 添加一个本地 Tomcat 容器3.2 将项目部署到 Tomcat 4. 运行项目 三、基于 Tomcat 部署及多实例部署1. Spr…