ControlNet 作者 Lvmin Zhang 又开始整活了！这次发布的PaintsUndo 只需要上传一张图片， 就能够一键生成绘画过程！快来了解学习！

1、核心技术

PaintsUndo 是一项突破性的技术，旨在通过输入静态图像，自动生成该图像的整个绘画过程视频，可以处理各种类型的图像。

项目的核心在于一系列基于AI的模型，这些模型能够接受图像输入并输出绘画序列，展示从初步素描到最终作品的详细步骤。这些步骤包括但不限于草图绘制、描线、上色、阴影处理、形状转换、左右翻转、颜色曲线调整、图层可见性变化，甚至在绘画过程中的创意调整。这种模拟人类绘画行为的能力，不仅为艺术家提供了新的表达方式，也为AI技术在艺术创作领域的应用开辟了新的路径。

2、模型介绍

目前发布了两个模型：单帧模型和多帧模型。

单帧模型采用 SD1.5 的修改架构，以一幅图像和一个操作步骤作为输入，输出一幅图像。假设一件艺术品通常需要经过 1000 次人工操作才能创作出来（例如一笔是一次操作），那么操作步长是 0-999 之间的整数。数字 0 是最终完成的艺术品，数字 999 是在纯白画布上绘制的第一笔。

多帧模型基于 VideoCrafter 系列模型，但没有使用原始 Crafter 的 lvdm，所有训练 / 推理代码完全从头开始实现。项目作者对神经网络的拓扑进行了很多修改，并且经过大量训练后，神经网络的行为与原始 Crafter 有很大不同。

两个模型配合使用，就能生成一段完整的创作过程视频。

3、安装与配置

· 前提条件

要运行 PaintsUndo 项目，用户需要确保具备以下软件、库和硬件环境：

· Python 3.10；

· Anaconda 或 Miniconda；

· 必要的 Python 库：xformers，以及 requirements.txt 中列出的其他库；

· 推荐使用的显卡具备至少 16GB VRAM，最佳性能推荐使用 Nvidia 4090 或 3090TI，这些显卡提供24GB VRAM以确保流畅运行；

· 在极端优化条件下（包括权重卸载和切片注意力机制），理论上最小的VRAM需求为10~12.5 GB。

安装步骤

· 克隆仓库：

git clone https://github.com/lllyasviel/Paints-UNDO.git

· 安装依赖：

cd Paints-UNDOconda create -n paints_undo python=3.10conda activate paints_undopip install xformerspip install -r requirements.txt

· 运行项目：

• python gradio_app.py

*西安觉醒元宇宙AI，是专注线上AI培训、AI绘画辅导、AI开发服务的专业教育平台！

▍扫描下方二维码进入AI交流学习群，获取超多AI前沿知识！