打造Ai作图studio需要哪些工具

这篇文章依然是比较轻松的方式跟大家介绍Ai生成会使用到的一些工具,希望这些工具可以帮助到你更好的更稳定的快捷的生成高质量图片。说来轻松其实也不算轻松,虽然我已经按照生成的链路对工具做了规整。但是里面涉及到的工具其实确实不算少,并且很多工具其实是一类工具(就是只是给了个例子,要用好可能还得自己做更进一步挑选适配)。要理解每个工具在自己生产中如何使用才能做到提效提质,那确实得花一番工夫去了解工具原理,现在工具能做到什么程度,自己要如何改造工具。

Ai生成图片已经开始慢慢由toy变成了可以稳定生成的链路。大有计算成像平民化大众化链路趋势,1.计算图像学高升的数学知识+牛逼的编程技巧才能实现图像创作——专业管线渲染计算成像;2.Ai作图你只要会说话,就能生成一个不错的图片,然后加上各种Ai模型配合(你要了解使用原理)就能生成还算专业图片——平民化计算成像。

训练辅助工具

图片打标

图片自然描述-image caption

https://huggingface.co/Salesforce/blip-image-captioning-large

图片打标——iprompt

https://huggingface.co/spaces/hysts/DeepDanbooru

prompt是文本生成图,无中生有的核心。所以prompt的工具其实还有非常多,大家可以日常整理手机,当然我也会持续更新此文档。https://github.com/AUTOMATIC1111/stable-diffusion-webui/wiki/Extensions-Prompt

https://github.com/adieyal/sd-dynamic-prompts

图片质量打分工具

https://github.com/tsngo/stable-diffusion-webui-aesthetic-image-scorer

图片扩充

尺寸调整

这个难点在于如何识别出物体位置、边界然后做图片归一化

https://github.com/nachifur/MulimgViewer

物体边界识别

https://huggingface.co/keremberke/yolov8m-building-segmentation

物体轮廓线识别

https://bowenc0221.github.io/maskformer/

内容填充

https://huggingface.co/spaces/nielsr/text-based-inpainting

图片增强

https://github.com/albumentations-team/albumentations

人像工具

人脸调整

生成清晰的人脸https://huggingface.co/spaces/sczhou/CodeFormer

来张实际效果

手指调整

1.如果出现手指可以描述是五个手指

2.利用negative prompt把手指不正常的去处

3.训练一个正面人物手指处理lora

多手调整

1.训练模型时候加重negative prompt人物手的描述权重

2.训练一个人物手脚过滤模型

产图工具

模型

通用内容模型

SD原生模型:

sd1.5、sd2.1

https://stablediffusionweb.com/

写实模型:
dreamlike-photoreal-2.0
二次元模型:

novel ai

https://huggingface.co/andite/anything-v4.0

专用内容模型

亚洲人脸模型:

https://civitai.com/models/6925/realdosmix)+Realistic

https://huggingface.co/dcy/AsiaFacemix

插画风格:

q萌:kawaye1_6000(Q萌)

厚涂:

FloydianSound/WLOP_Diffusion_v1-5

civitai模型如何获取下载地址

huggingface模型如何获取下载地址

第一步:找到卡片页:files and versions

第二步:选择模型点进去

得到模型url地址就可以用:aria2c工具下载

例:

aria2c https://huggingface.co/andite/anything-v4.0/resolve/main/anything-v4.0-pruned-fp16.safetensors

lora层

这里有太多东西可以说,但是基本都是要自己准备数据训练模型来实现。比较考验技术底子,说白了就是你想让模型学习什么。

再记一句话吧,要做真正工业应用的产品,而不只是toy自己训练模型是必须的。并且利用好lora,可以把lora当成功能分层,效果分层类似计算成像的管线路子效果可以做到很震撼。

https://civitai.com/tag/lora

深度图层

https://github.com/thygate/stable-diffusion-webui-depthmap-script

对图片生成深度图层,可以用在3D或者AR、VR虚拟生成,元宇宙世界中使用。或者可以用在游戏引擎中做角色建模,也可以在3d打印时候使用。

场景环境控制(这块大家还未重视,做独立的场景生成模型)

室内场景

室外场景

光照控制

色系控制

prompt扩写润色

https://huggingface.co/spaces/blairoreilly/merve-chatgpt-prompts-bart-long

https://huggingface.co/spaces/awacke1/PromptRefinery

后效处理工具

图片角色背景融合

多物体融合渲染:https://github.com/Extraltodeus/multi-subject-render

利用深度图扩展,可以根据物体的深度距离创建多物体前景+背景做多物体融合。

多角色融合

https://www.cs.cmu.edu/~custom-diffusion/

其它工程思路:单独生成角色,然后把多个角色放上来,用outpaint方式来融合

https://github.com/zero01101/openOutpaint-webUI-extension

多物体融合渲染:https://github.com/Extraltodeus/multi-subject-render

利用深度图扩展,可以根据物体的深度距离创建多物体前景+背景做多物体融合。

光照调整

可以通过风格调整来实现,对同一种光照图片做**光照lora

位置调整

角色适合放在场景图片什么位置:可以考虑objectdetector对相似背景下物体放置位置预估,然后吧角色放置合适位置,做后续融合处理

多角色融合时候和场景图片如何做位置调整:可以考虑objectdetector对相似背景下物体放置位置预估,然后吧角色放置合适位置,做后续融合处理

超分

实现生成图片的尺寸放大,图片的高清晰度优化https://github.com/xinntao/ESRGAN

studio易用性工具

多语言插件

https://github.com/dtlnor/stable-diffusion-webui-localization-zh_CN

aria2内容下载工具

高速稳定下载文件:https://aria2.github.io/

提效工具

批量prompt效果展示,选择最佳prompthttps://github.com/dr413677671/PromptGallery-stable-diffusion-webui

多参数最有效果选择https://github.com/mcmonkeyprojects/sd-infinity-grid-generator-script

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/21348.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

BIO序列标注中标签不协调的问题及其解决方案

诸神缄默不语-个人CSDN博文目录 (本文是和ChatGPT一起写的,引用部分都是直接复制自ChatGPT。呃代码其实我还没有跑过,所以可能是有bug的哦。 但是感觉ChatGPT比我聪明,感觉我的博客事业要遭遇大滑铁卢了) 文章目录 1.…

【时间序列】单变量单步预测方法总结

【时间序列】单变量单步预测方法总结 目录 【时间序列】单变量单步预测方法总结前言一、探索性数据分析1. 平稳性检测2. 白噪声检测3. 自相关与偏自相关图4. 搜索最佳ARIMA模型参数5. 可视化分析6. 异常数据检测 二、建模预测1. ARIMA模型2. LightGBM模型3. LSTM模型4. Transfo…

论文翻译——HiFi-GAN: Generative Adversarial Networks for Efficient and High Fidelity Speech Synthesis

文章目录 引言论文翻译Abstract摘要问题总结 Introduction介绍问题 HiFi-GANOverview总览Generator生成器问题 Discriminator鉴定器MPD的问题MSD的问题 2.3 总结问题 2.4 Training Loss Terms问题 3 Experiments4 Results4.1 Audio Quality and Synthesis Speed4.2 Ablation St…

老师,不干了,被偷家了,SAM分割任何事物模型,0样本分割了我研究一个月的数据

文章目录 1. 简明扼要2. 分割效果3. 开始探索Segment Anything Model的核心愿景Segment Anything Model已经实现的功能1.交互式分割2.全自动分割 Segment Anything Model官网Segment Anything Model数据集Segment Anything Model提示性分割 4.文章 5.未来可能 1. 简明扼要 SAM…

绝!OpenAI 年底上新,单卡 1 分钟生成 3D 点云,text-to 3D 告别高算力消耗时代

内容一览:继 DALL-E、ChatGPT 之后,OpenAI 再发力,于近日发布 PointE,可以依据文本提示直接生成 3D 点云。 关键词:OpenAI 3D 点云 PointE OpenAI 年底冲业绩,半个多月前发布的 ChatGPT 广大网友还没…

【MIKE水动力】MIKE11基本原理

Mike11软件包由水动力、对流~扩散、水质、降雨~径流、洪水预报等模块组成,核心模块为水动力模块。Mike11水动力模块采用6点Abbott~Ionescu有限差分格式对圣维南方程组求解。 一、圣维南方程组 1、基本要素与假设条件 Mike11模型…

ChatGPT 上线联网和插件功能,Plus 用户下周可使用

OpenAI 宣布将在下周向所有 ChatGPT Plus 用户推出联网和插件功能。OpenAI 表示,位于 Alpha 和 Beta 通道的 ChatGPT Plus 用户都能使用联网功能以及 70 多个已上线的插件。 OpenAI CEO Sam Altman 转发这一推文并表示:"希望你们喜欢"。 此次更…

70多种插件加持,联网版ChatGPT值得拥有

自 ChatGPT 推出以来,大语言模型充斥着新闻版面。很多公司都在试图追赶 OpenAI,但作为先行者,ChatGPT 显得一骑绝尘。 上周六,OpenAI CEO 奥特曼宣布 ChatGPT 的联网和插件功能上线在即,所有买了基于 GPT-4 的 ChatGP…

70多种插件加持,联网版ChatGPT评测来了

来源 | 机器之心 编辑 | 泽南、陈萍 【导读】说不上无所不能,但也可以说是上天入地。 自 ChatGPT 推出以来,大语言模型充斥着新闻版面。很多公司都在试图追赶 OpenAI,但作为先行者,ChatGPT 显得一骑绝尘。 上周六&#xff0c…

Wolfram 接入 GPT点燃了普罗米修斯之火

今天读到了这个新闻,心情非常兴奋、复杂。ChatGPT全宇宙大爆炸!开启联网解除封印,无敌插件彻底颠覆体验 作为一个见证人类技术发展的工程师,我感到非常兴奋。而考虑到我们在基础软件领域全面的短板,在未来的发展中&am…

研究报告 | 把握新变量与新机会,2023年KOL营销七大趋势预测

还记得去年年初有张同学的爆火,有靠着 “毽子操”刷新抖音平台涨粉最快纪录的刘畊宏;年中,我们与东方甄选双向奔赴,感受从诗词歌赋到人生哲学的直播间魅力;紧接着,“消失”109天的李佳琦低调回归&#xff0…

OpenAI官方的AutoGPT要来了!实测效果很优秀

点击上方“Java基基”,选择“设为星标” 做积极的人,而不是积极废人! 每天 14:00 更新文章,每天掉亿点点头发... 源码精品专栏 原创 | Java 2021 超神之路,很肝~中文详细注释的开源项目RPC 框架 Dubbo 源码解析网络应…

成功转行Python工程师,年薪30W+,经验总结都在这!

这是给转行做Python的小白的参考,无论是从零开始,或者是转行的朋友来说,这都是值得一看的,也是可以作为一种借鉴。 而且我决定转行IT(互联网)行业(已转好几年),其实理由…

完全免费白嫖 GPT-4 的终极方案!

GPT-4 目前是世界上最强的多模态大模型,能力甩 GPT-3.5 好几条街。 大家都希望早日用上 GPT-4,不过目前体验 GPT-4 的渠道非常有限,要么就是开通 ChatGPT 尊贵的 Plus 会员,即使你开了会员,也是有限制的,每…

玩“爬虫”可能触犯的三宗罪

最近网上流传一个顺口溜:爬虫玩得好,监狱进得早。数据玩得溜,牢饭吃个够。 自2019年9月以来,多家知名公司相关人员被抓或被调查,这些机构均涉及大数据风控业务和爬虫技术的应用。由此,大数据业务的合规合法…

偷偷曝光下国内软件外包公司!(2023 最新版,很全!)

点击关注公众号,Java干货及时送达 推荐阅读: 学习 Spring Cloud 微服务的正确姿势! 用上 ChatGPT 啦,强的离谱! 欢迎大家加入《ChatGPT 小密圈》知识星球,现在加入,免费送一个手工注册的 ChatGP…

孙子漏洞!ChatGPT又百依百顺了;程序员的LLM世界生存技巧;UI+MJ入门必读手册;吴恩达LangChain实践课 | ShowMeAI日报

👀日报&周刊合集 | 🎡生产力工具与行业应用大全 | 🧡 点赞关注评论拜托啦! 🤖 继「奶奶漏洞」之后再现「孙子漏洞」,装成孩子让 ChatGPT 千依百顺 前几天,网友发现了 ChatGPT 的新鲜玩法&am…

使用Python实现微信自动回复,操作简单,小白也会使用!秒回女朋友消息 泰裤辣!

文章目录 一、安装itchat库二、登录微信三、实现自动回复四、实现关键词回复五、实现图灵机器人回复总结 Python精品助学大礼包 一、安装itchat库 首先,我们需要安装itchat库,它是一个用于微信个人号的微信Python API,可以用于实现微信自动回…

超火的chartGPT到底是什么?没有账号我能使用吗

什么是OpenAI? OpenAl是一家人工智能研究公司,成立于2015年,总部位于美国加利福尼亚州旧金山。公司的目标是建立一种通用人工智能技术,并将其让普通人能够轻松使用。OpenAl的研究领域包括机器学习、自然语言处理和强化学习等。其中,GPT-3是OpenAl开发的一种大型语言…

ChatGPT外挂,Link Reader 快速阅读网页、PDF内容还能翻译

在现今什么都讲求快速的时代里,很多人都没有耐心一字一句阅读落落长的文章了,所以今天我们就要跟大家分享一个好用的ChatGPT Plugins 外挂,可以帮你阅读网站的内容,并且告诉你文章到底在讲什么。 先要拥有 ChatGPT Plus 帐号&…