Oasis 500M：开源的实时生成交互式视频内容的 AI 模型

❤️ 如果你也关注大模型与 AI 的发展现状，且对 AI 应用开发非常感兴趣，我会快速跟你分享最新的感兴趣的 AI 应用和热点信息，也会不定期分享自己的想法和开源实例，欢迎关注我哦！

🥦 微信公众号｜搜一搜：蚝油菜花 🥦

🚀 快速阅读

Oasis 500M 是一款实时生成视频内容的 AI 模型。
模型基于用户输入生成交互式游戏画面。
提供了模型的权重和推理代码。

正文（附运行示例）

Oasis 是什么

在这里插入图片描述

Oasis 是一个由 Decart 和 Etched 联合推出的革命性 AI 技术，是世界上首个实时 AI 世界模型。它能够以每秒 20 帧的速度实时生成交互式视频内容，支持用户通过文字或语音命令控制游戏进程，开启了“生成式交互体验”的新纪元。Oasis 展示了 AI 在物理理解方面的能力，支持玩家在游戏中进行移动、跳跃、建造和破坏等操作，对游戏、教育、娱乐和社交等多个领域产生深远影响。

Oasis 的主要功能

实时视频内容生成：以每秒 20 帧的速度实时生成交互式视频内容，提供流畅的游戏体验。
交互式控制：支持键盘、鼠标、文字或语音命令控制游戏进程。
物理世界模拟：支持玩家在游戏中进行移动、跳跃、建造和破坏等操作，模拟真实世界的物理规则。
开放世界探索：支持玩家自由探索全新生成的地图和环境。
内容个性化：根据用户的喜好和行为即时创建个性化内容。

Oasis 的技术原理

模型架构：基于 Transformer 的模型架构，包括 Diffusion Transformer 骨干网络和 Transformer-based autoencoder。
低延迟设计：实现低动作到帧延迟的模型架构，快速响应玩家输入。
硬件优化：针对特定 GPU 和服务器硬件架构进行专有系统优化。
Sohu 芯片：将在 Sohu 芯片上运行，支持 4K 分辨率下运行超过 1000 亿参数的模型。

如何运行 Oasis 500M

首先，克隆仓库并安装依赖：

git clone https://github.com/etched-ai/open-oasis.git
cd open-oasis
pip install -r requirements.txt

然后，下载模型权重：

huggingface-cli login
huggingface-cli download Etched/oasis-500m oasis500m.pt # DiT checkpoint
huggingface-cli download Etched/oasis-500m vit-l-20.pt  # ViT VAE checkpoint

最后，运行推理脚本生成视频：