❤️ 如果你也关注大模型与 AI 的发展现状,且对大模型应用开发非常感兴趣,我会快速跟你分享最新的感兴趣的 AI 应用和热点信息,也会不定期分享自己的想法和开源实例,欢迎关注我哦!
🥦 微信公众号|搜一搜:蚝油菜花 🥦
🚀 快速阅读
- DreamClear 是一种高性能的图像修复技术,专注于隐私安全的数据集管理。
- DreamClear 能够将低质量图像恢复为高质量图像,同时确保数据隐私。
- DreamClear 适用于图像质量提升、细节恢复、隐私保护等场景。
正文(附运行示例)
DreamClear 是什么
DreamClear 是中国科学院自动化研究所和字节跳动团队联合推出的高性能图像修复技术,专注于隐私安全的数据集管理,能将低质量(LQ)图像恢复为高质量(HQ)图像。
DreamClear 的主要功能
- 图像恢复:DreamClear 能将低质量图像恢复为高质量图像,提升图像的细节和质量。
- 隐私保护:在进行图像恢复的同时,DreamClear 考虑到了数据隐私的保护,确保在使用过程中用户的隐私安全。
- 深度学习模型:基于深度学习技术,DreamClear 能智能识别和修复图像中的问题,提高恢复效果。
DreamClear 的技术原理
- 深度扩散先验(Deep Diffusion Prior): DreamClear 的核心思想是在干净图像分布中进行搜索,分布由扩散先验表示,找到清晰图像,同时保持对输入的退化图像的忠实。
- 方差保持采样(Variance Preservation Sampling, VPS)技术: DreamClear 基于新颖的方差保持采样技术,有助于在扩散过程中保持图像的方差,对于生成高质量的恢复图像至关重要。
- 无监督和训练自由的方法: DreamClear 是无监督和训练自由的盲图像修复方法,不需要退化先验知识,能产生高保真度和普适性,适用于各种类型的图像退化。
- 自适应调制器混合(MoAM): DreamClear 的“自适应调制器混合”模块可以动态适配多个图像恢复模型,适应不同的图像劣化类型,进一步扩展了模型的适用性。
如何运行 DreamClear
DreamClear 的运行需要依赖特定的环境和模型,具体步骤如下:
- 克隆 DreamClear 仓库并安装依赖。
git clone https://github.com/shallowdream204/DreamClear.git
cd DreamClear
conda create -n dreamclear python=3.9 -y
conda activate dreamclear
pip3 install -r requirements.txt
- 下载预训练模型。
DreamClear 的预训练模型可以在 Huggingface 上找到,包括基础模型和 DreamClear 提供的模型。
- 准备训练数据。
使用提供的工具生成配对数据,并提取 T5 特征。
python3 tools/make_paired_data.py \
--gt_path gt_path1 gt_path2 ... \
--save_dir /path/to/save/folder/ \
--epoch 1 # number of epochs to generate paired data
python3 tools/extract_t5_features.py \
--t5_ckpt /path/to/t5-v1_1-xxl \
--caption_folder /path/to/caption/folder \
--save_npz_folder /path/to/save/npz/folder
- 训练 DreamClear。
使用提供的脚本和配置文件进行训练。
python3 -m torch.distributed.launch --nproc_per_node=8 --nnodes=... --node_rank=... --master_addr=... --master_port=... \train_dreamclear.py configs/DreamClear/DreamClear_Train.py \--load_from /path/to/PixArt-XL-2-1024-MS.pth \--vae_pretrained /path/to/sd-vae-ft-ema \--swinir_pretrained /path/to/general_swinir_v1.ckpt \--val_image /path/to/RealLQ250/lq/val_image.png \--val_npz /path/to/RealLQ250/npz/val_image.npz \--work_dir experiments/train_dreamclear
- 测试 DreamClear。
使用提供的脚本和配置文件进行图像恢复测试。
python3 -m torch.distributed.launch --nproc_per_node 1 --master_port 1234 \test_1024.py configs/DreamClear/DreamClear_Test.py \--dreamclear_ckpt /path/to/DreamClear-1024.pth \--swinir_ckpt /path/to/general_swinir_v1.ckpt \--vae_ckpt /path/to/sd-vae-ft-ema \--lre --cfg_scale 4.5 --color_align wavelet \--image_path /path/to/RealLQ250/lq \--npz_path /path/to/RealLQ250/npz \--save_dir validation
资源
- DreamClear 代码仓库:https://github.com/shallowdream204/DreamClear
- DreamClear 模型库:https://huggingface.co/shallowdream204/DreamClear/tree/main
- DreamClear 论文:https://arxiv.org/pdf/2410.18666
❤️ 如果你也关注大模型与 AI 的发展现状,且对大模型应用开发非常感兴趣,我会快速跟你分享最新的感兴趣的 AI 应用和热点信息,也会不定期分享自己的想法和开源实例,欢迎关注我哦!
🥦 微信公众号|搜一搜:蚝油菜花 🥦