嗨,艺术爱好者们!今天我们要揭开一个神秘的面纱——FLUX LoRA模型,这个模型就像是一个神奇的魔法师,将COMFYUI中的AI绘画提升到了一个新的高度!
想象一下,你有一个AI助手,它能够理解你的绘画梦想,然后帮你把它们变成现实。这就是FLUX LoRA模型在COMFYUI中的作用。它不仅仅是一个工具,更是一个能够理解你创意的伙伴。
使用FLUX LoRA模型,你可以轻松地训练自己的LoRA模型,就像是在和AI一起玩耍一样。你可以调整模型参数,让它更好地理解你的风格和喜好。然后,你就可以把训练好的模型应用到COMFYUI的AI绘画流程中,就像是在指挥一场精彩的交响乐。
COMFYUI中的FLUX LoRA模型就像是一个超级英雄,它能够帮助你创作出令人惊叹的AI绘画作品。无论是人物肖像、风景画面还是抽象艺术,它都能够轻松实现。
-
模型介绍
-
介绍: FLUX 是由 Black Forest Labs 开发的新图像生成模型,由 XLabs AI 团队创建的 flux-RealismLora 增强了其逼真能力。此 ComfyUI FLUX-RealismLoRA 工作流由 Leo Kadieff 创建。
-
功能: ComfyUI FLUX-RealismLoRA 工作流程将 FLUX-1 文本到图像模型与 FLUX-RealismLoRA 模型相结合。FLUX-RealismLoRA 模型在逼真照片和提示的数据集上进行了训练,增强了 FLUX-1 的逼真能力。通过使用此 FLUX-RealismLoRA 工作流程,您可以仅通过文本提示生成令人难以置信的逼真图像,而无需在每个提示中包含大量与逼真度相关的标记,例如 “a RAW ultra-realistic photo, UHD, 8k”。
-
特点: 模型非常小仅仅22M,但是模型是在精选的高分辨率逼真图像和文本标题的数据集上进行训练,FLUX-RealismLoRA 模型用来引导 FLUX-1 模型生成类似于真实照片的图像:
-
详细的清晰度
-
逼真的纹理、阴影和光照
-
可信的比例和视角
-
自然的色彩调色板和色调
- FLUX 模型下载: 打开civitai,https://civitai.com/models,选择筛选基础底模选择基础算法 F1 D或者F1 S,即可筛选出FLUX的相关模型。
- FLUX 模型huggingface下载: 打开huggingface,https://huggingface.co/models?other=base_model:adapter:black-forest-labs/FLUX.1-dev,即可筛选出FLUX的相关模型。
- FLUX LORA模型预览: 打开网址,可以快速预览19种LORA模型。https://huggingface.co/spaces/multimodalart/flux-lora-the-explorer
(不想自己动手下载的同学,我这边给大家整理了flux lora模型可自行扫描获取)
-
下载UNET模型+ CLIP 模型+下载 VAE 模型,这里和Flux官方版模型下载相同UNET+CLIP+VAE模型。
-
使用工作流
一共9个节点,分组标注了中文,方便学员理解。建议大家LIBLIB和本地电脑都可以使用这个工作流。
FLUX LORA 文生图实操
- **首先加载UNET模型:**选择 flux1-dev.safetensors 或 flux1-schnell.safetensors。我这里是用的LIBLIB,LIBLIB暂时支持的是FP8模型,实际使用的时候加载官方模型即可。接着加载CLIP模型:对于低内存使用,使用 t5xxl_fp8_e4m3fn.safetensors;对于高内存,使用 t5xxl_fp16.safetensors。clip2统一使用 clip_l,类型选FLUX,接着加载VAE模型:使用 ae.safetensors。最后加载FLUX lora模型并调整模型强度。
- **设置 CLIPTextEncode 节点:**在节点的属性中输入您想要的文本提示词,以引导图像生成过程。
在这里插入图片描述
**3.调整 EmptyLatentImage 节点:**此节点创建大小和单词批量生图数量。其中ModelSamplingFlux节点设置模型采样系数,我设置的最小0.3,最大0.5。这里的设置大小也可以简化为1个节点,模型采样系数非必须。
**4.设置参数:**此节点设置引导参数,控制提示词的引导系数,取值2~5之间。通过调整K采样器节点的属性选择特定的采样算法(例如 “euler”);通过调整基础调度器节点的属性选择采样部署,调度算法,减噪系数。通过调整基础调度器节点的属性选择种子生成方式分为fixed(固定)
, increment(递增)
, decrement(递减)
, randomize(随机)
。固定的话数值不变,可以让图片保持在同一个基础上进行调整。一般选择随机,随机种是种子数字,数值是一串很长的数字会自动生成。
- 生成图像: 点击网页上“Queue Prompt”就可以一键出图。
感兴趣的小伙伴,赠送全套AIGC学习资料,包含AI绘画、AI人工智能等前沿科技教程和软件工具,具体看这里。
AIGC技术的未来发展前景广阔,随着人工智能技术的不断发展,AIGC技术也将不断提高。未来,AIGC技术将在游戏和计算领域得到更广泛的应用,使游戏和计算系统具有更高效、更智能、更灵活的特性。同时,AIGC技术也将与人工智能技术紧密结合,在更多的领域得到广泛应用,对程序员来说影响至关重要。未来,AIGC技术将继续得到提高,同时也将与人工智能技术紧密结合,在更多的领域得到广泛应用。
一、AIGC所有方向的学习路线
AIGC所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照下面的知识点去找对应的学习资源,保证自己学得较为全面。
二、AIGC必备工具
工具都帮大家整理好了,安装就可直接上手!
三、最新AIGC学习笔记
当我学到一定基础,有自己的理解能力的时候,会去阅读一些前辈整理的书籍或者手写的笔记资料,这些笔记详细记载了他们对一些技术点的理解,这些理解是比较独到,可以学到不一样的思路。
四、AIGC视频教程合集
观看全面零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。
五、实战案例
纸上得来终觉浅,要学会跟着视频一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。