这篇文章依然是比较轻松的方式跟大家介绍Ai生成会使用到的一些工具,希望这些工具可以帮助到你更好的更稳定的快捷的生成高质量图片。说来轻松其实也不算轻松,虽然我已经按照生成的链路对工具做了规整。但是里面涉及到的工具其实确实不算少,并且很多工具其实是一类工具(就是只是给了个例子,要用好可能还得自己做更进一步挑选适配)。要理解每个工具在自己生产中如何使用才能做到提效提质,那确实得花一番工夫去了解工具原理,现在工具能做到什么程度,自己要如何改造工具。
Ai生成图片已经开始慢慢由toy变成了可以稳定生成的链路。大有计算成像平民化大众化链路趋势,1.计算图像学高升的数学知识+牛逼的编程技巧才能实现图像创作——专业管线渲染计算成像;2.Ai作图你只要会说话,就能生成一个不错的图片,然后加上各种Ai模型配合(你要了解使用原理)就能生成还算专业图片——平民化计算成像。
训练辅助工具
图片打标
图片自然描述-image caption
https://huggingface.co/Salesforce/blip-image-captioning-large
图片打标——iprompt
https://huggingface.co/spaces/hysts/DeepDanbooru
prompt是文本生成图,无中生有的核心。所以prompt的工具其实还有非常多,大家可以日常整理手机,当然我也会持续更新此文档。https://github.com/AUTOMATIC1111/stable-diffusion-webui/wiki/Extensions-Prompt
https://github.com/adieyal/sd-dynamic-prompts
图片质量打分工具
https://github.com/tsngo/stable-diffusion-webui-aesthetic-image-scorer
图片扩充
尺寸调整
这个难点在于如何识别出物体位置、边界然后做图片归一化
https://github.com/nachifur/MulimgViewer
物体边界识别
https://huggingface.co/keremberke/yolov8m-building-segmentation
物体轮廓线识别
https://bowenc0221.github.io/maskformer/
内容填充
https://huggingface.co/spaces/nielsr/text-based-inpainting
图片增强
https://github.com/albumentations-team/albumentations
人像工具
人脸调整
生成清晰的人脸https://huggingface.co/spaces/sczhou/CodeFormer
来张实际效果
手指调整
1.如果出现手指可以描述是五个手指
2.利用negative prompt把手指不正常的去处
3.训练一个正面人物手指处理lora
多手调整
1.训练模型时候加重negative prompt人物手的描述权重
2.训练一个人物手脚过滤模型
产图工具
模型
通用内容模型
SD原生模型:
sd1.5、sd2.1
https://stablediffusionweb.com/
写实模型:
dreamlike-photoreal-2.0
二次元模型:
novel ai
https://huggingface.co/andite/anything-v4.0
专用内容模型
亚洲人脸模型:
https://civitai.com/models/6925/realdosmix)+Realistic
https://huggingface.co/dcy/AsiaFacemix
插画风格:
q萌:kawaye1_6000(Q萌)
厚涂:
FloydianSound/WLOP_Diffusion_v1-5
civitai模型如何获取下载地址
huggingface模型如何获取下载地址
第一步:找到卡片页:files and versions
第二步:选择模型点进去
得到模型url地址就可以用:aria2c工具下载
例:
aria2c https://huggingface.co/andite/anything-v4.0/resolve/main/anything-v4.0-pruned-fp16.safetensors
lora层
这里有太多东西可以说,但是基本都是要自己准备数据训练模型来实现。比较考验技术底子,说白了就是你想让模型学习什么。
再记一句话吧,要做真正工业应用的产品,而不只是toy自己训练模型是必须的。并且利用好lora,可以把lora当成功能分层,效果分层类似计算成像的管线路子效果可以做到很震撼。
https://civitai.com/tag/lora
深度图层
https://github.com/thygate/stable-diffusion-webui-depthmap-script
对图片生成深度图层,可以用在3D或者AR、VR虚拟生成,元宇宙世界中使用。或者可以用在游戏引擎中做角色建模,也可以在3d打印时候使用。
场景环境控制(这块大家还未重视,做独立的场景生成模型)
室内场景
室外场景
光照控制
色系控制
prompt扩写润色
https://huggingface.co/spaces/blairoreilly/merve-chatgpt-prompts-bart-long
https://huggingface.co/spaces/awacke1/PromptRefinery
后效处理工具
图片角色背景融合
多物体融合渲染:https://github.com/Extraltodeus/multi-subject-render
利用深度图扩展,可以根据物体的深度距离创建多物体前景+背景做多物体融合。
多角色融合
https://www.cs.cmu.edu/~custom-diffusion/
其它工程思路:单独生成角色,然后把多个角色放上来,用outpaint方式来融合
https://github.com/zero01101/openOutpaint-webUI-extension
多物体融合渲染:https://github.com/Extraltodeus/multi-subject-render
利用深度图扩展,可以根据物体的深度距离创建多物体前景+背景做多物体融合。
光照调整
可以通过风格调整来实现,对同一种光照图片做**光照lora
位置调整
角色适合放在场景图片什么位置:可以考虑objectdetector对相似背景下物体放置位置预估,然后吧角色放置合适位置,做后续融合处理
多角色融合时候和场景图片如何做位置调整:可以考虑objectdetector对相似背景下物体放置位置预估,然后吧角色放置合适位置,做后续融合处理
超分
实现生成图片的尺寸放大,图片的高清晰度优化https://github.com/xinntao/ESRGAN
studio易用性工具
多语言插件
https://github.com/dtlnor/stable-diffusion-webui-localization-zh_CN
aria2内容下载工具
高速稳定下载文件:https://aria2.github.io/
提效工具
批量prompt效果展示,选择最佳prompthttps://github.com/dr413677671/PromptGallery-stable-diffusion-webui
多参数最有效果选择https://github.com/mcmonkeyprojects/sd-infinity-grid-generator-script