使用启智OpenI平台体验Open-Sora笔记

OpenI准备部分

镜像代码仓

在这里插入图片描述
在这里插入图片描述

创建云脑任务

在这里插入图片描述

新建调试任务

在这里插入图片描述
镜像选择
如果不想体验整个安装配置过程的话,我准备了一个Open-Sora的环境镜像应该可以直接开箱即用
地址:

192.168.204.22:5000/default-workspace/99280a9940ae44ca8f5892134386fddb/image:OpenSoraV2

如果想自己体验整个环境配置准备阶段的可以使用这个镜像地址镜像地址:

192.168.204.22:5000/default-workspace/99280a9940ae44ca8f5892134386fddb/image:ubuntu22.04-cuda12.1.0-py310-torch2.1.2-tf2.14

模型选择:搜索打勾的两个选中添加
在这里插入图片描述
参数设置部分基本如下图所示
在这里插入图片描述

点击新建任务完成创建调试任务的工作

环境准备

如果使用我制造好的Open-Sora镜像的话直接跳转到克隆代码仓那一步

安装flash attention

pip install packaging ninja
pip install flash-attn --no-build-isolation

安装apex

cd /tmp/code
git clone https://github.com/NVIDIA/apex
cd apex
pip install -v --disable-pip-version-check --no-cache-dir --no-build-isolation --config-settings "--build-option=--cpp_ext" --config-settings "--build-option=--cuda_ext" ./

安装xformers

pip install -U xformers --index-url https://download.pytorch.org/whl/cu121

克隆代码仓及安装

cd /temp/code
git clone https://github.com/hpcaitech/Open-Sora #这边可以替换成克隆后在openi的代码仓地址
cd Open-Sora
pip install -v .  #如果使用Open-Sora的话这一步不要执行

注:如果使用我制作号的Open-Sora镜像的话这一步不要执行pip install! Git Clone完成就好!

如果不使用我公开的模型文件,想自己体验下载模型的话,可以使用下面的文件脚本(download_model.py)放到Open-Sora代码仓文件夹的上一层执行
安装依赖

pip install modelscope

下载脚本

import torch
from modelscope import snapshot_download, AutoModel, AutoTokenizer
import os
snapshot_download('AI-ModelScope/sd-vae-ft-ema', cache_dir='./Open-Sora/opensora/models/', revision='master')
snapshot_download('AI-ModelScope/Open-Sora', cache_dir='./Open-Sora/opensora/models/', revision='master')

重新安装torch==2.2.1

如果使用我配置的Open-Sora镜像的话这一步不要执行

不重新安装在openi平台有概率会被重新安装成torch==2.1.1,这样就造成了版本不匹配

pip uninstlal torch torchvision torchaudio
pip3 install torch==2.2.1 torchvision torchaudio==2.2.1 --index-url https://download.pytorch.org/whl/cu121

修改文件(Open-Sora/configs/opensora/inference/16x256x256.py)

num_frames = 16
fps = 24 // 3
image_size = (256, 256)# Define model
model = dict(type="STDiT-XL/2",space_scale=0.5,time_scale=1.0,enable_flashattn=True,enable_layernorm_kernel=True,from_pretrained="/tmp/code/Open-Sora/opensora/models/Open-Sora/OpenSora-v1-HQ-16x256x256.pth",
)
vae = dict(type="VideoAutoencoderKL",from_pretrained="/tmp/code/Open-Sora/opensora/models/sd-vae-ft-ema",
)
text_encoder = dict(type="t5",from_pretrained="DeepFloyd/t5-v1_1-xxl",model_max_length=120,
)
scheduler = dict(type="iddpm",num_sampling_steps=100,cfg_scale=7.0,
)
dtype = "fp16"# Others
batch_size = 2
seed = 42
prompt_path = "./assets/texts/t2v_samples.txt"
save_dir = "./outputs/samples/"

设置HF镜像

export HF_ENDPOINT=https://hf-mirror.com

拷贝模型

cd opensora/models/
cp -r /tmp/pretrainmodel/* ./

运行代码

cd ../..
torchrun --standalone --nproc_per_node 1 scripts/inference.py configs/opensora/inference/16x256x256.py

运行时GPU情况:

Mon Mar 25 18:07:00 2024
+-----------------------------------------------------------------------------+
| NVIDIA-SMI 515.65.01    Driver Version: 515.65.01    CUDA Version: 12.1     |
|-------------------------------+----------------------+----------------------+
| GPU  Name        Persistence-M| Bus-Id        Disp.A | Volatile Uncorr. ECC |
| Fan  Temp  Perf  Pwr:Usage/Cap|         Memory-Usage | GPU-Util  Compute M. |
|                               |                      |               MIG M. |
|===============================+======================+======================|
|   0  NVIDIA A100-PCI...  Off  | 00000000:92:00.0 Off |                    0 |
| N/A   48C    P0   210W / 250W |  22662MiB / 40960MiB |    100%      Default |
|                               |                      |             Disabled |
+-------------------------------+----------------------+----------------------++-----------------------------------------------------------------------------+
| Processes:                                                                  |
|  GPU   GI   CI        PID   Type   Process name                  GPU Memory |
|        ID   ID                                                   Usage      |
|=============================================================================|
+-----------------------------------------------------------------------------+

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/287869.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

sql注入五-WEB攻防-注入工具SQLMAPTamper编写指纹修改高权限操作目录架构

演示案例: 数据猜解-库表列数据&字典权限操作-文件&命令&交互式提交方法-POST&HEAD&JSON绕过模块-Tamper脚本-使用&开发分析拓展-代理&调试&指纹&风险&等级 #参考: https://www.cnblogs.com/bmjoker/p/9326258.…

PMBOK第八版、项目管理AI标准...PMI标准今年有这些进展

项目管理实践标准不断在演变,PMI作为项目管理领域的权威机构,一直致力于与全球各行各业的项目实践者一同探索和研究最新的行业标准,确保PMI标准符合全球项目专业人士当前能力建设与职业发展的需要。 今年以来,我们发布了一系列PM…

NetSuite学习笔记 - 人工成本字段如何按员工所属公司货币显示

在员工档案中输入了人工成本1000,在列表中显示的跟详情中显示的不一样?为什么?怎么办? 详情页中维护人工成本为1000 列表中显示为140.77 1. 开始我以为是因为用的中文环境,可能选了两个不同的字段,切换到英…

学习笔记:MYSQL数据库基础知识

MYSQL数据库基础知识学习笔记 MYSQL基础学习数据库相关概念现主流数据库排名数据模型SQL分类SQL数据库基础操作 2024/3/27 学习资料:黑马程序员:MYSQL MYSQL基础学习 数据库和数据库管理系统(DBMS) 数据库: 是存储数据的集合,包括表、视图、索引等对象…

client-go中ListAndWatch机制,informer源码详解

文章首发地址: 学一下 (suxueit.com)https://suxueit.com/article_detail/s9UMb44BWZdDRfKqFv22 先上一张,不知道是那个大佬画的图 简单描述一下流程 client-go封装部分 以pod为例 、先List所有的Pod资源,然后通过已经获取的pod资源的最大版…

阿里云 -- 连接云服务器ECS、管理云服务器ECS、WordPress 页面配置

连接云服务器ECS 1. 远程连接云服务器ECS,点击实例最右侧操作列的远程连接按钮,并在弹出的对话框中点击立即登录 2. 登录云服务器ECS,通过密码认证方式,输入用户名和密码 提示:新创建的ECS实例状态即使为运行中&#…

微信投票小程序源码系统:创建新活动+多模板一键切换 带完整的安装代码包以及搭建教程

随着社交媒体的普及,投票活动已经成为人们表达意见、参与决策的重要方式。微信小程序作为一种新兴的应用形态,具有用户基数大、使用门槛低的特点,非常适合举办投票活动。然而,对于普通用户来说,开发一个功能完善的投票…

xilinx的高速接口构成原理和连接结构

本文来源: V3学院 尤老师的培训班笔记【高速收发器】xilinx高速收发器学习记录Xilinx-7Series-FPGA高速收发器使用学习—概述与参考时钟GT Transceiver的总体架构梳理 文章目录 一、概述:二、高速收发器结构:2.1 QUAD2.1.1 时钟2.1.2 CHANNEL…

前端html常用标签 笔记

一、基础 开始标签 结束标签 大部分是成对出现的标签,这个是空标签(/放在最后,/可以省掉) 缩进 向后Tab 、前向ShiftTab 红的就是元素属性 标签可以使内容有一些特殊的表现: 给body颜色后: h1 span(连起来) 标签: 标题h1 h2 h3 …

介绍部署esxi8.0产品的方式

什么是esxi esxi的中文叫裸机虚拟机管理器 ESXi是由VMware公司开发的一种裸机虚拟机管理器,全称为VMware ESXi。 ESXi是一种虚拟化技术,专门设计用于在物理服务器上运行虚拟机,它的主要特点是能够最大限度地降低硬件配置要求并简化部署过程…

Android 性能优化实例分享-内存优化 兼顾效率与性能

背景 项目上线一段时间后,回顾重要页面 保证更好用户体验及生产效率,做了内存优化和下载导出优化,具体效果如最后的一节的表格所示。 下面针对拍摄流程的两个页面 预览页 导出页优化实例进行介绍: 一.拍摄前预览页面优化 预览效果问题 存在…

tcp 协议详解

什么是 TCP 协议 TCP全称为 “传输控制协议(Transmission Control Protocol”). 人如其名, 要对数据的传输进行一个详细的控制。TCP 是一个传输层的协议。 如下图: 我们接下来在讲解 TCP/IP 协议栈的下三层时都会先解决这两个问题: 报头与有效载荷如何…

EtherCAT转RS232网关在风电领域的应用

开疆智能EtherCAT转RS232网关在风电领域的应用主要体现在以下几个方面: 1.数据采集与传输:在风力发电设备中,传感器和执行器的数据采集和传输至关重要。EtherCAT转RS232网关可以将风力发电设备中的RS232通信协议转换为EtherCAT协议&#xff0…

何恺明重提十年之争——模型表现好是源于能力提升还是捕获数据集偏置?

想象一下,如果把世界上所有的图片都找来,给它们放到一块巨大的空地上,其中内容相似的图片放得近一些,内容不相似的图片放得远一些(类比向量嵌入)。然后,我随机地向这片空地撒一把豆子&#xff0…

【Linux实践室】Linux用户管理实战指南:用户密码管理操作详解

🌈个人主页:聆风吟_ 🔥系列专栏:Linux实践室、网络奇遇记 🔖少年有梦不应止于心动,更要付诸行动。 文章目录 一. ⛳️任务描述二. ⛳️相关知识2.1 🔔用户密码存放地及方式2.2 🔔使用…

yolov5+pyside6+登录+用户管理目标检测可视化源码

一、软件简介 这是基于yolov5目标检测实现的源码,提供了用户登录功能界面; 用户需要输入正确的用户名和密码才可以登录。如果是超级管理员,可以修改普通用户的信息,并且在检测界面的右上角显示【管理用户】按钮。 支持图片、视频、…

DNS协议 是什么?说说DNS 完整的查询过程?

一、是什么 DNS(Domain Names System),域名系统,是互联网一项服务,是进行域名和与之相对应的 IP 地址进行转换的服务器 简单来讲,DNS相当于一个翻译官,负责将域名翻译成ip地址 IP 地址&#…

Web API —— DOM 学习(四)(完结)

目录 一、日期对象 (一)实例化 (二)日期对象方法 1.时间戳介绍 2.获得时间戳的方式 getTime()方法 new Date()方法 Date.now()方法 二、节点操作 (一)DOM 节点 1.节点类型 元素节点 &#xff08…

SpringBoot 邮件服务集成配置全面解析

前言 本文以网易邮箱(及 163 邮箱)为例,展示如何为 SpringBoot 项目集成邮件服务,其他邮箱配置类似,可以自行查看 Spring Email 指南 或是其他官方文档 授权码 首先我们需要获取授权码,用于后续配置&…

【线段树二分】第十三届蓝桥杯省赛C++ A组/研究生组 Python 研究生组《扫描游戏》(C++)

【题目描述】 有一根围绕原点 O 顺时针旋转的棒 OA,初始时指向正上方(Y 轴正向)。 在平面中有若干物件,第 i 个物件的坐标为(,),价值为 。 当棒扫到某个物件时,棒的长度会瞬间增长 &#xff…