一、介绍
InstantStyle 是一个由小红书的 InstantX 团队开发并推出的图像风格迁移框架,它专注于解决图像生成中的风格化问题,旨在生成与参考图像风格一致的图像。以下是关于 InstantStyle 的详细介绍:
1.技术特点
风格与内容的有效分离 :InstantStyle 能够实现风格和内容的有效分离,从而在不牺牲内容信息的情况下,注入所期望的艺术风格。这一特性使得用户能够轻松地将任意图像的风格应用到其他图像上,创造出独特的艺术效果。
多用途图像风格注入 :与以往基于扩散模型的方法(如 Lora)相比,InstantStyle 完成了多用途图像风格注入,无需重新训练即可进行风格迁移。这意味着用户可以输入任意一种图像作为风格参考,InstantStyle 都能提取其风格特征并应用到其他图像上。
创新的特征表示和减法操作 :InstantStyle 利用 CLIP 模型(一种将图像和文本映射到共享特征空间的模型)来分别提取参考图像的风格特征和内容文本的特征。通过简单的减法操作,去除图像特征中与内容相关的部分,从而得到更加纯粹的风格特征。这种方法显著减少了内容泄露的问题,使得生成的图像更加符合风格迁移的目标。
增强的文本控制能力 :InstantStyle 在保持风格一致性的同时,也提供了对生成内容的精细控制。用户可以通过输入文本提示来指导生成图像的内容,从而实现更加个性化的风格迁移效果。
2.应用场景
艺术创作 :艺术家和设计师可以利用 InstantStyle 快速生成灵感草图或将自己的创意与经典艺术风格相结合,创作出独一无二的艺术作品。
社交媒体 :在社交媒体上分享生活点滴时,使用 InstantStyle 将照片风格化可以让分享更加个性化和有趣味性。
旅游纪念 :旅行时拍摄的照片可以通过 InstantStyle 转换成不同艺术风格制作成独一无二的旅游纪念品留下难忘的回忆。
教育培训 :在美术、设计等领域的教育培训中 InstantStyle 可以作为教学工具帮助学生直观理解不同艺术风格的特点和魅力。
3. 项目资源
风格保留文生图 · 创空间 (modelscope.cn)
二、容器构建说明
建议使用 RTX3090+24G 显卡,RTX3060+12G 显卡会爆显存
1. 安装 miniconda
进入 Anaconda 官网:
Miniconda — Anaconda 文档
找到快速命令行安装,选择 Linux 系统,复制代码进入终端进行安装。
等待安装完成。
2. 安装并更新基础命令,让后续使用更快捷: unzip、lsof、git、git-lfs
apt-get update
apt-get install -y unzip
apt-get install -y lsof
apt-get install -y git
apt-get install -y git-lfs
3. 克隆项目仓库,并打开文件(保证空闲内存在90G以上)
git clone https://www.modelscope.cn/studios/instantx/InstantStyle.git
cd InstantStyle
4. 创建 python 为 3.11 版本的虚拟环境,名称为instant
conda create -n instant python=3.11 -y
5. 激活虚拟环境instant
conda activate instant
6. 安装项目依赖文件及相应包
为了安装速度更快可以将 pip 进行永久换源
pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple
pip install -r requirements.txt
pip install modelscope
7. 指定端口,运行 py 文件(运行项目,首次运行会自动下载模型参数,需要保证网络通畅)
export GRADIO_SERVER_NAME=0.0.0.0
export GRADIO_SERVER_PORT=8080
python app.py
耐心等待
出现以下界面即为运行成功
三、网页演示
运行成功后获取访问链接,即可进入 webUI 界面