ComfyUI 实战教程:一键扩图

大家好,我是每天分享AI应用的萤火君!

本文给大家分享一个很有用的技术:AI扩图。所谓扩图就是扩展图像的边界,在图像的边界外新增更多画面元素,这不仅仅是扩大图像的尺寸,还要让新添加的部分与原有图像的内容自然融合。

AI扩图有很多的应用场景,比如:

  • 摄影后期处理:想要裁剪照片来获得更好的构图,但裁剪后可能会导致画面不平衡,扩图可以让裁剪后的照片看起来更加完整;
  • 游戏开发:在游戏环境中添加更多的细节或者扩展场景,使得游戏世界更加真实丰富;
  • 社交媒体和广告设计:有时候需要将图像调整到特定的尺寸,如果原始图片不够大,AI扩图技术可以帮助填充额外的空间,使设计更加美观。
  • 虚拟现实(VR)和增强现实(AR):在创建VR/AR体验时,为了增强沉浸感,可能需要扩展场景的边界,AI扩图技术可以自动合成出合适的环境延伸。

想想还是挺让人激动的,大家可能也有点等不及了,本文将使用 ComfyUI 工作流来实现AI扩图。

效果展示

老规矩,先看效果:

ComfyUI 环境准备

目前 ComfyUI 比较依赖显卡,要想流畅的运行各种工作流,24G显存的Nvidia显卡是标配,不过这个价格不菲,动辄过万。即使你不差钱,部署ComfyUI、安装插件、下载模型也都是坎。

手动安装

如果上边的问题都不是问题,可以看看我这篇安装教程:

https://mp.weixin.qq.com/s?__biz=MzkxNTUxNjU2OQ==&mid=2247484951&idx=1&sn=640080a52a6edaceb48fe3b888dfe82f&chksm=c15cbbe1f62b32f729b60aa6b1245002c9ac26959d8c57247674e41e05d2fe2c09639798427b#rd

使用云环境

如果你刚接触ComfyUI,或者平时只是偶尔用用,建议先在云环境体验。我最近在好易社区上传了一个ComfyUI 镜像,内置了常用的插件和模型,市面上大部分工作流都能直接跑起来,欢迎大家来试试,如有问题可以给我留言。

好易社区注册:https://www.haoee.com/?inviteCode=XLZLpI7Q,目前注册就送5元,没收到的话可联系客服解决。

1、注册后访问这个地址:https://bbs.haoee.com/postDetail/618,点击页面右下角的 “创建实例”。

2、在容器实例页面,可以跟踪实例的状态,进行各种管理操作。

3、点击“JupyterLab”,进入程序启动器页面。

在“启动器”页面,点击双箭头按钮启动程序,待显示 http://127.0.0.1:7860 就代表启动成功了。

4、回到实例列表页面,点击“公网访问”,复制后在浏览器中打开。

不使用的时候,记得关机,以免继续扣费。

一键扩图工作流

这个工作流由多个部分组成,包括:提示词部分、扩图遮罩部分、IPAdapter部分和外扩重绘部分,下边将一一介绍。工作流下载见文末。

提示词部分

用来控制新图片中扩展画面的生成内容。

WD 14 Tagger:因为要扩图,我们需要参考原图中的内容,所以这里引入了一个反推提示词的节点:WD14 Tagger,可以生成一段描述图片元素的文本,作为扩图时的正向提示词。

CR Prompt Text:但是有时候扩图也不是完全引用原图中的元素,比如人物肖像图,就不需要在扩展的部分再画一个人出来,而是需要引入一些新的元素,所以这里也有一个手写提示词的节点。

Any Switch:不可同时使用“反推提示词”和“手写提示词”,Any Switch 保证最多只有一个提示词被使用。比如:当我们需要使用“反推示词”时,可以把“手写提示词”的分组忽略(在分组上右键选择忽略),Any Switch就会把“反推示词”生成的文本传递给后边的提示词节点,反之亦然。

CLIP Text Encode(Prompt):CLIP文本编码器,这里有两个,分别用来编码正向提示词和反向提示词。

扩图遮罩部分

用来初始化新图片中的扩展画面。

外补画板:扩图就是在原图的基础上扩展画面,外补画板用来扩展原图在各个方向上要增加的尺寸大小,根据自己的需要设置就好了。它会输出一张新图像和扩展部分的遮罩,其中的羽化用来控制遮罩边缘的模糊程度,使得扩展画面和原画面的拼接过渡更自然。

遮罩填充:这里有三种遮罩填充的方式,默认的是以灰色纯色填充,其它两种是以边界周围的颜色来填充,不过填充的算法有所不同,具体就不讲了。

遮罩模糊:这里用的是局部重绘的遮罩模糊,其在遮罩边缘的模糊效果较弱,主要控制遮罩内的的模糊程度,对于保持整体颜色不变很有帮助。

预览图像:画面扩展和遮罩填充、模糊后的效果预览。

IPAdapter部分

用来控制新图片中扩展画面的生成风格,使之更接近原图。如何模型和图片的匹配度比较高,这组节点也可以忽略。

任意切换:这里用了任意切换,使得 IPAdapter 默认参考原图片,我们也可以在这里指定一个新的参考图,代替原图片供 IPAdapter使用。

CLIP视觉加载器:加载视觉模型,用来从参考图片提取视觉特征。

IPAdapter模型加载器:加载IPAdapter模型。

应用IPAdapter:IPAdapter的主节点,IPAdapter会对模型产生影响,这里需要输入SD基础模型,经过IPAdapter处理后,再应用于SD采样。

外扩重绘部分

用来控制外扩部分的重新绘制,用到的主要插件是:https://github.com/Acly/comfyui-inpaint-nodes

VAE编码局部重绘条件:这是 Inpaint 插件提供的,输出两个Latent,分别用于采样和Fooocus, 可以减少VAE编码次数。

应用Fooocus局部重绘:使用Fooocus的局部重绘能力,可以将普通的SDXL模型转化为Inpaint模型。Fooocus是ControlNet大佬搞出来的一个简便图片生成工具。

加载Fooocus局部重绘:加载Fooocus相关修补模型。

K采样器:完成 Stable Diffusion的采样去噪工作,生成新图片。

生成图片

最后点击生成图片就可以了。

工作流下载

为了方便大家入门,我整理了一批工作流,包括基本的文生图、图生图、ControlNet的使用、图片的处理、视频的处理等等,发消息“工作流”到公/众\号“萤火遛AI”,即可领取。

另外我创建了一个AI绘画专栏,更多的工作流、模型等资源会发布在这个专栏中。加入专栏,还可以零门槛,全面系统的学习 Stable Diffusion 创作,让灵感轻松落地!如有需要请点击链接进入:https://xiaobot.net/post/03340243-9df6-4ea0-bad6-9911a5034bd6

以上就是本文的主要内容,如有问题,欢迎留言。

用好 ComfyUI:

  • 首先需要对 Stable Diffusion 的基本概念有清晰的理解,熟悉 ComfyUI 的基本使用方式;
  • 然后需要在实践过程中不断尝试、不断加深理解,逐步掌握各类节点的能力和使用方法,提升综合运用各类节点进行创作的能力。

我将在后续文章中持续输出 ComfyUI 的相关知识和热门作品的工作流,帮助大家更快的掌握 Stable Diffusion,创作出满足自己需求的高质量作品,感兴趣的同学请及时关注。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/389801.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

xss漏洞(二,xss入靶场搭建以及简单利用)

本文仅作为学习参考使用,本文作者对任何使用本文进行渗透攻击破坏不负任何责任。 一,环境搭建。 使用工具:PHP study,dvwa靶场。 1,GitHub上下载dvwa到PHP study的WWW文件夹内,并解压。 dvwa下载地址 …

区块链核心概念与技术架构简介

引言 区块链,一种分布式账本技术,不仅为数字货币提供了基础设施,更在金融、供应链、物联网等多个领域展现出广泛的应用前景。区块链技术被认为是继蒸汽机、电力、互联网之后,下一代颠覆性的核心技术。 如果说蒸汽机释放了人们的…

[网鼎杯 2020 青龙组]AreUSerialz1

打开题目 熟悉的php,代码审计 可知这是一题反序列化类型的题目。 按照常规方法,首先,我们先将代码复制到本地进行序列化构造, 根据代码逻辑分析,咱们可知 function __construct() { $op "1"…

深入理解操作系统--绪论

文章目录 概述操作系统的基本概念多用户系统用户和组进程 小结 概述 最近在读操作系统,发现一些新的概念。写出来,让自己印象更深,希望也帮助一些不懂的朋友;但愿有所帮助吧。 操作系统的基本概念 计算机都包含操作系统的基本程…

Docker 安装 GitLab教程

本章教程,主要介绍如何在Docker 中安装GitLab。 GitLab 是一个开源的 DevOps 平台,提供了一整套工具,用于软件开发生命周期的各个阶段,从代码管理到 CI/CD(持续集成和持续交付/部署),再到监控和安全分析。 一、拉取镜像 docker pull gitlab/gitlab-ce:latest二、创建 G…

Photoshop 运行时常见问题及修复

安装完成后无法运行 出现“由于找不到 MSVCP140.dll,无法继续执行代码。重新安装程序可能会解决此问题。”等问题时,可以从网上搜索 Microsoft Visual C 运行库,下载并安装,一般可解决问题。 暂存盘不够的问题 软件在运算过程中会…

UE5 敌人血条

这样处理就完毕,然后 User Widget 尽可能分成多个进行处理

vue2-级联选择器

级联选择器 一、市面上的级联选择器二、功能实现1、数据类型2、隐藏下拉框的方法3、html结构4、CSS代码5、各个方法代码 三、实现样式截图1、一级菜单1、鼠标放到一级菜单,就显示二级菜单2、鼠标点击一级菜单的时候 2、二级菜单1、鼠标放到二级菜单的时候&#xff0…

Java中的二叉搜索树(如果想知道Java中有关二叉搜索树的知识点,那么只看这一篇就足够了!)

前言:Java 提供了丰富的数据结构来处理和管理数据,其中 TreeSet 和 TreeMap 是基于红黑树实现的集合和映射接口。它们有序地存储数据,提供高效的搜索、插入和删除操作。 ✨✨✨这里是秋刀鱼不做梦的BLOG ✨✨✨想要了解更多内容可以访问我的主…

软件测试 -- 黑盒、灰盒、白盒测试,冒烟测试、回归测试

软件测试目的:查找软件中缺陷(bug),保障软件质量。

MyBatis 动态代理和映射器

一、映射器简介 1.什么是mapper动态代理? 在接口中有方法的返回值定义,参数的定义,方法名,在sqlMapper.xml 中也对应这接口给予了赋值, 这时候dao的实现类就显得多余,这是Mybatis可以帮助我们自动产生实现类&#xf…

HarmonyOS多目标产物构建最佳实践

背景 在Android或iOS开发时经常会有打“马甲”包的场景,就是一套代码打出不同主题的包,一个公司的产品可能针对不同用户提供不同的应用,比如抖音有国内版也有国外版,滴滴有个人版还有企业版,同样的在鸿蒙平台也有类似…

C++初学(9)

9.1、结构简介 虽然数组能够和存储多个元素,但所有元素必须相同,也就是说,同一个数组不能既存放int类型也存放float类型,而C的结构可以满足要求。结构是一种比数组更灵活的数据格式,因为同一个结构可以存储多种类型的…

QtQuick Text-文本样式

属性 Text项目的style属性可以设置文本的样式。 支持的文本样式有: Text.Normal(默认)Text.OutlineText.RaisedText.Sunken 示例 import QtQuickRow{spacing: 10padding: 10Text {font.pointSize: 40text: "Normal"}Text {font…

数据库原理之多表查询——使用Mysql进行内连接和外连接

作者:CSDN-PleaSure乐事 欢迎大家阅读我的博客 希望大家喜欢 使用环境:Idea 目录 1.内连接 1.1隐式内连接 1.1.1定义 1.1.2举例 1.1.3优缺点 1.2显式内连接 1.2.1定义 1.2.2举例 1.2.3优缺点 2.外连接 2.1左外连接 2.1.1定义 2.1.2举例 2.…

【从零开始一步步学习VSOA开发】开发环境搭建

开发环境搭建 开发 VSOA 首先需要搭建开发环境,这里讲解 Windows 下 C/C 开发环境搭建方法。 下载 IDE 并申请授权码 SylixOS 的开发和部署需要 RealEvo-IDE 的支持,因此您需要先获取 RealEvo-IDE 的安装包和注册码。 RealEvo-IDE 分为体验版和商业版…

如何确保PLC系统安全的可靠性,这几个注意事项你需要牢记

PLC(可编程逻辑控制器)是现代工业自动化系统中的关键组成部分。在设计 PLC 系统时,安全性是至关重要的考虑因素。本文将介绍 PLC 系统设计中的一些安全注意事项,包括电源设计、接地设计、关键数字量输入输出设计和报警设计。 一.…

vue实现简易的全局加载动画效果

效果展示 思路 封装一个组件,放Img,伪类样式,固定在屏幕fixed 然后App应用这个组件,Z index拉最大,防止用户在加载动画时乱点, v-show绑定loading,该数据可以放vuex还是任一的公共状态管理变…

PDF文件点击打印无反应?是何原因造成能解决吗?

PDF无法打印怎么处理?在我们工作中,经常会遇见各种各样的文件问题,当我们想要将PDF文件打印出来纸质版使用,却不知什么原因,显示PDF无法打印,这时应该怎么处理呢? 一般情况下,PDF文件…

cesium canvas广告牌

在有些业务中,对场景中的广告牌样式要求比较高,需要动态显示一些数据,这个时候,我们可以通过将复杂背景样式制作成图片,通过canvas绘制图片和动态数据,从而达到比较好的显示效果。 1 CanvasMarker 类封装 …