前言
点关注不迷路!
这两天,阿里云的PAI ArtLab的ComfyUI新增了一个奥运高光时刻海报的工作流,小编测试下来,效果真的不错。不愧是大厂出品,必属精品。那么这次小编就简单梳理一下这个工作流的的各个部分,看看对小伙伴们有什么启发。
整个工作流大致分为四个部门,先来简单梳理一下各个部分的原理,让小伙伴们能够基于这个模板进行魔改。简单提一下,为了梳理各个模块,我这里对他们的工作流进行了模块划分。
**首先,**选择你需要参考的运动员。接下来是基模型的选择,基模型这里选择的是DreamshaperXL模型。然后选择运动项目、性别并输入运动员姓名,官方在这里建议采用英文名字。运动项目和性别的选择主要是确定正向提示词_(有一个预先定义好的关键词库,每项运动和不同的性别对应不同的提示词)_,姓名的填写则是为了海报上的名字。
**接下来,**根据我们第一部选择的提示词,生成一张姿势图,用于最后生成的海报的运动员的姿势。提示词选择我们第一部分预设的提示词。
然后,基于我们上传的运动员人脸照片和运动员姿势图,引入InstantID进行参考人脸的重绘。在这一步,提示词的选择除了我们第一步预设的,还增加了其他的一些提示词,增加生成的控制。同时在DreamshaperXL模型的基础上,叠加动漫风格LoRA模型-Nijistyle(小伙伴们魔改的时候,可以选择自己想要的风格)。
最后,就是对生成的运动员照片增加背景(本个工作流的的背景主要是预设的背景)和文字,使其变成一个海报。在这一块,官方的工作流有两个小部分,一个是面部修复和人像抠图,另一个是对抠出的人像图中的logo、数字的重绘,然后进行文字与背景的添加。
面部的修复比较简单,采用CodeFormer模型进行面部的修复,然后采用BRIA_RMBG模型进行人像的抠图。简单介绍一下BRIA_RMBG:RMBG-1.4__可以有效对前景与背景进行分离,虽然该方案达到了商业级性能,但仅限于非商业用途。再提一句,后面小编会专门出一期该模型的技术梳理和使用说明。
所有的AI设计工具,模型和插件,都已经整理好了,👇获取
背景和文字的添加则相对来说较为复杂。首先需要将图像里面的logo、文本和数字利用SAM模型剥离出来,将这些元素进行重绘,修复细节。重绘好后,将预设的背景蒙版(或者说滤镜),和预设的字,与重绘好的图像进行融合。融合好后进行颜色的调整,最终,一张海报就做好了。
为了帮助大家更好地掌握 ComfyUI,我在去年花了几个月的时间,撰写并录制了一套ComfyUI的基础教程,共六篇。这套教程详细介绍了选择ComfyUI的理由、其优缺点、下载安装方法、模型与插件的安装、工作流节点和底层逻辑详解、遮罩修改重绘/Inpenting模块以及SDXL工作流手把手搭建。
由于篇幅原因,本文精选几个章节,详细版点击下方卡片免费领取
一、ComfyUI配置指南
- 报错指南
- 环境配置
- 脚本更新
- 后记
- …
二、ComfyUI基础入门
- 软件安装篇
- 插件安装篇
- …
三、 ComfyUI工作流节点/底层逻辑详解
- ComfyUI 基础概念理解
- Stable diffusion 工作原理
- 工作流底层逻辑
- 必备插件补全
- …
四、ComfyUI节点技巧进阶/多模型串联
- 节点进阶详解
- 提词技巧精通
- 多模型节点串联
- …
五、ComfyUI遮罩修改重绘/Inpenting模块详解
- 图像分辨率
- 姿势
- …
六、ComfyUI超实用SDXL工作流手把手搭建
- Refined模型
- SDXL风格化提示词
- SDXL工作流搭建
- …
由于篇幅原因,本文精选几个章节,详细版点击下方卡片免费领取