AI绘画:StableDiffusion炼丹Lora攻略-实战萌宠图片生成

Lora攻略-实战萌宠图片生成

    • 写在前面的话
    • 一:准备
    • 二、Lora作用
      • 1.AI模特
      • 2.炼衣服Lora
      • 3.改变画风/画面背景
      • Lora模型究竟是什么?
    • 三、如何炼制自己的Lora模型?
    • 四、炼丹前的准备(**下载整合包**)
    • 五、选择合适的大模型
    • 六、高质量素材的制作
    • 七、耐心等待的训练过程
    • 八、如何测试Lora的好坏
    • 九、如何优化Lora
    • 十、资源下载汇总

写在前面的话

近期在小红书发现了许多极其可爱、美观的萌宠图片,对这些美妙的图像深深着迷

于是想着看看利用AI绘画StableDiffusion以下简称(SD)做出来。

以下是详细实操的全过程,包括所有用的资料已经打包到网盘。

最后尝试的最终效果如下:

更多图片请查看网盘:

「萌宠图片及关键词」

链接:https://pan.quark.cn/s/ba9c3e8ef92a

如果你想了解更多的StableDiffusion的知识,请参阅:

AI绘画:Stable Diffusion 终极炼丹宝典:从入门到精通

原文链接阅读更舒服:AI绘画:StableDiffusion炼丹Lora攻略-实战萌宠图片生成

一:准备

需要的资料都打包在网盘里面,需要的自行下载。

我用夸克网盘分享了「StableDiffusion炼丹资料」

网盘链接:https://pan.quark.cn/s/3c8cc96f3221

二、Lora作用

LORA可以让我们轻松画出特定的人物,物品,特殊的笔触和特殊的画风或风格,属于一种特殊训练的子集。

1.AI模特

炼出一个自己的模特,让这个模特穿上自己的商品

2.炼衣服Lora

添加一个衣服的Lora,就可以让人物穿上特定的衣服

3.改变画风/画面背景

通过添加Lora改变照片的画风,这个画风可以自己去训练

Lora模型究竟是什么?

专业的解释

LoRA的全称是LoRA: Low-Rank Adaptation of Large Language Models,可以理解为stable diffusion(SD)模型的一种插件,和hyper-network,controlNet一样,都是在不修改SD模型的前提下,利用少量数据训练出一种画风/IP/人物,实现定制化需求,所需的训练资源比训练SD模要小很多,非常适合社区使用者和个人开发者。LoRA最初应用于NLP领域,用于微调GPT-3等模型(也就是ChatGPT的前生)。由于GPT参数量超过千亿,训练成本太高,因此LoRA采用了一个办法,仅训练低秩矩阵(low rank matrics),使用时将LoRA模型的参数注入(inject)SD模型,从而改变SD模型的生成风格,或者为SD模型添加新的人物/IP。

通俗的解释

Lora可以复刻人物和物品的特征,固定人物动作,改变照片画风

而且Lora只需要少量的数据就可以训练出来,比训练大模型要简单很多

所以大家可以通过训练自己的Lora,做出定制的图片

但不得不说的是,目前的Lora还不能做到100%相同,尤其是细节方面

但是相信随着之后的技术发展,万物皆可Lora的时代是不远的

三、如何炼制自己的Lora模型?

炼制Lora的方式有很多种

有用脚本训练的,也有在网站界面上训练的,最近还有很多朋友做出来了训练Lora的整合包

创建Lora模型的方式有许多,包括通过脚本进行训练,通过网页界面操作,甚至有一些专业人士最近提供了Lora训练的一键式整合包。尽管这些方法在表面上看起来有所不同,但其训练逻辑其实都是相同的。

因此,我们可以选择使用整合包。整合包的优点在于,它将炼丹所需的所有工具和步骤集成在一款软件中,为我们提供了一种更为便捷且有效的训练方式。

整合包就是把炼丹所需要的所有工具都整合到一个软件里

炼丹分为以下几步:

1.下载整合包

2.准备工作

3.开始训练

4 .测试Lora

5.优化Lora

四、炼丹前的准备(下载整合包

在炼Lora之前,需要大家先确认一下自己的电脑配置:

1.电脑配置需要N卡,并且6G显存以上

2.A卡和Mac系统,或者电脑配置不太行的小伙伴建议用云平台

我这里用的是B站up主朱尼酱的整合包:

我用夸克网盘分享了「StableDiffusion炼丹资料」

网盘链接:https://pan.quark.cn/s/3c8cc96f3221

下载好了之后把它解压到D盘或者E盘,不要放在C盘!!

秋叶的整合包我也试过炼Lora,两个对比下来,我觉得朱尼酱的整合包会更适合小白

打开解压之后的文件夹,在“cfurnace_ui”文件夹里面找到“赛博丹炉”的应用程序

可以创建一个桌面快捷方式,这样就不用每次都要打开文件

看到这个页面就安装好了,点击“开启炼丹炉”就可以开始炼Lora啦!

五、选择合适的大模型

跟画图一样,炼Lora之前也要先选一个大模型,确定Lora的画风

这里训练的萌宠,我选择的是“cheeseDaddys_35”大模型

真人模型=》选用“chilloutmix”的大模型

二次元=》选用“anything”的大模型

如果你的Stable Diffusion里面没有模型,那就要先去下载模型噢!

网盘里面已经给大家放了这两个大模型

我用夸克网盘分享了「2.大模型checkpoint」

链接:https://pan.quark.cn/s/9767ac274f83

再往下就可以选择一个我们要训练的Lora的类型

选择之后就会帮我们选择默认的参数

训练真人Lora就选“人物”

训练二次元就选“二次元”

如果想炼绘画的风格可以选画风

除此之外还可以自定义去炼平面设计图或者建筑之类的

我这里选择的是产品

六、高质量素材的制作

以上准备工作及参数设置好了后,就可以开始上传自己的素材开始训练了。

这些素材就是我们要喂给AI学习的素材

素材的质量非常重要!!会直接影响最后出来的Lora的质量

我们的素材需要满足几个点:

1.上传20~30张照片

2.素材要高清!!!

3.多角度照片

这里我就以炼萌宠Lora为例子,上传萌宠的照片

点击“删除全部”把默认的素材删掉

然后点击“上传素材”,上传自己的照片

一般情况下,下面的参数默认就可以了

需要调整参数的话,最好是需要了解参数的含义,如果乱调的话,可能会训练失败。

不要选择太高的分辨率,容易爆显存

另外,如果训练真人Lora,可以勾选最右边的“脸部加强训练”

勾选了之后就会再多裁剪出来一组只有脸的照片,这样AI能学到更多的脸部细节

七、耐心等待的训练过程

看到这个页面就是模型正在训练中

到这一步只要耐心等待就可以了,没什么需要操作的

我们可以看一下下面的参数是什么意思

“Steps”就是训练步数

每训练50步右下角就会出现一张图片

那样就可以实时看到Lora的样子

这个白头发和红裙子是后台加上去的关键词

可以测试Lora的泛化性

泛化性就是看这个Lora能不能自由的去更换照片里的东西,比如发型、发色、服装之类的

Loss可以用来参考模型的好坏

一个好的模型Loss值在0.07~0.09之间

注意:具体好不好还是要在Stable Diffusion实际测试才知道

等训练完了之后,点击“模型”

就可以看到生成出来模型

按照默认参数训练会出来20个模型,但不是说最后一个模型就是最好的

有可能炼到第十六第是十七个模型就已经够了,再往后的模型就已经训练过度了

所以这些模型还要实际在SD测试一下,才知道哪个是最好的

八、如何测试Lora的好坏

模型生成出来之后就可以到SD里面生成图片

在SD里面可以生成这么一张大图,可以直接看到所有模型在不同权重下出来的效果

比较一下哪个模型更好,就只保留那个模型就可以了

接下来我们就看看怎么生成这张大图

首先把新生成的10个模型复制到SD的models文件夹,放到Lora文件夹里面

注意:最好新建一个文件夹,比如cuteDog

然后把没有序号编码的那个Lora重命名

没有序号编码的Lora就是最后生成出来的一个模型,这里只是为了方便进行测试,统一一下所有模型的名称

保存好模型之后就可以打开SD进行测试了

首先先选一个大模型

你用哪一个大模型来训练lora就选哪个大模型

然后输入正面关键词和负面关键词

正面关键词可以输入一些质量词,比如最高质量、高清画质、大师杰作等等

负面关键词直接复制我们以前用过的就可以

接下来就是选用我们刚刚炼好的Lora

随便选一个都可以

重点来了:把000017换成NUM,1换成STRENGTH

<lora:cute dog_20230708214731-000017:1>

例如:

<lora:cute dog_20230708214731-NUM:STRENGTH>

迭代步数,采样方法这些参数大家可以按照自己的习惯去修改

然后滑到最下面找到“脚本”

在脚本里面选择 “X/Y/Z图表

X轴、Y轴类型都选择 “提示词搜索/替换

X轴的值输入:NUM,000001,000002,000003,000004,000005,000006,000007,000008,000009,000010

这里的序号对应的就是我们10个Lora的编号

Y轴值输入:STRENGTH,0.1,0.2,0.3,0.4,0.5,0.6,0.7,0.8,0.9,1

这里的序号代表的是Lora的权重

全部参数设置好了之后就可以点击“生成”

生成出来就是这么一张大图,可以看到这几个Lora模型在不同强度下的表现

九、如何优化Lora

实际上,炼丹是一件比较玄学的事

有的人可能一次性就能炼出自己满意的Lora

但有的人可能要炼好几次才出来一个好的Lora

这时候我们可以通过调整训练的参数再重新炼一个

前提是 确保我们的喂给AI的素材是高质量的!

不然不管怎么修改参数,出来的Lora都是不合格的

这里我们就把炼Lora会遇到的问题分成两种情况

1.Lora出来的照片不像本人:AI没学好

2.Lora过拟合,甚至出来的照片崩了:AI学过头了

过拟合就是不管输入什么关键词,出来的照片都是你喂给AI的照片

没办法自由控制人物的服装、发型、发色等

点击“参数调优”我们就可以自行设置参数

如果生成的照片不像本人,那就可以适当增加Repeat(学习步数)值

如果照片过拟合了,那就减少Repeat值

其他参数都可以不用调,因为默认的参数就差不多是最优值了

十、资源下载汇总

Lora炼丹网盘资源汇总: https://pan.quark.cn/s/3c8cc96f3221

StableDiffusion资源整合安装包:https://pan.quark.cn/s/2750beda9269

StableDiffusion关键词分类查询:StableDiffusion的关键词分类查询

ControlNet资料汇总:https://pan.quark.cn/s/47bc8c79892a

AI资料网盘汇总(不定期更新):AI专区网盘资源汇总

AIGC从入门到精通教程汇总:AIGC从入门到精通教程汇总

原文链接阅读更舒服:AI绘画:StableDiffusion炼丹Lora攻略-实战萌宠图片生成

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/60426.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

两高中生用AI生成裸照,疯狂「变现」??

新智元报道 编辑&#xff1a;拉燕 【新智元导读】生成式AI火了以后&#xff0c;限制输出内容的就只剩人们的想象力了。这不&#xff0c;两个高中生用AI生成裸照&#xff0c;疯狂在道德的底线游走。 生成式AI爆火之后&#xff0c;人们发现&#xff0c;这AI还真的什么都能生成啊…

TPAMI 2023 | 跨模态因果干预实现鲁棒可信的事件级问答推理

近日&#xff0c;中山大学人机物智能融合实验室&#xff08;HCP-Lab&#xff09;团队的论文 Cross-Modal Causal Relational Reasoning for Event-Level Visual Question Answering&#xff08;基于跨模态因果关系发现的事件级问答推理&#xff09;被人工智能领域的国际顶级学术…

opencv 九种直线检测方法汇总

文章目录 1、场景需求2、Hough_line直线检测算法2.1 Hough_line实现步骤2.2 Hough_line代码实战2.3 效果展示与分析2.4 HoughP_line代码实战2.5 效果展示与分析 3、LSD直线检测算法3.1 LSD算法简介 3.2 LSD代码实战3.3 效果展示与分析 4、FLD直线检测算法4.1 FLD算法简介4.2 FL…

LWN:移除kthread freezer!

关注了就能看到更多这么棒的文章哦&#xff5e; Removing the kthread freezer By Jake EdgeJune 23, 2023LSFMMBPFChatGPT assisted translationhttps://lwn.net/Articles/935602/ 2023 年 Linux 存储、文件系统、内存管理和 BPF 峰会的最后一天&#xff0c;由 Luis Chamberla…

Google 后开发的 Carbon 真的会取代 C++ 吗?

【CSDN 编者按】Carbon 真的能成为 C 的替代品吗&#xff1f;目前我们只能猜测&#xff0c;但请不要忘记 Swift 或 Kotlin 等语言的诞生。 原文链接&#xff1a;https://semaphoreci.com/blog/carbon 未经授权&#xff0c;禁止转载&#xff01; 作者 | Manuel Rubio 译者 | 弯…

email邮箱注册,5分钟教会你这些方法大全

不同的人&#xff0c;根据需求不同&#xff0c;可以注册诸如免费邮箱、VIP邮箱、企业邮箱等等。我们可以通过邮箱品牌之一的TOM 邮箱为例&#xff0c;5分钟教会大家如何注册这3类邮箱。 一、尊贵VIP邮箱注册方法&#xff1a; VIP邮箱账号注册可支持3-5位超短靓号&#xff0c;…

电子邮箱免费注册,比较好用的电子邮箱怎么注册?如何申请?

电子邮箱免费的很多&#xff0c;我们常用的163、TOM、QQ等&#xff0c;如果公司用&#xff0c;就要用企业电子邮箱了。申请企业电子邮箱&#xff0c;注册3年用6年&#xff0c;注册5年用10年&#xff0c;这是在网上看到TOM企业邮箱的优惠&#xff0c;以下是企业邮箱总结。 TOM企…

个人邮箱怎么注册呢?个人邮箱申请能绑定微信收发邮件吗?

个人邮箱怎么注册呢&#xff1f;个人邮箱申请能绑定微信收发邮件吗&#xff1f; 大多数职场人都在偷偷的努力着 学习新的方法&#xff0c;通过更高效的方式完成工作&#xff01; 在新的时代下&#xff0c;唯一不变的就是瞬息万变 脑部了一万种功成名就的场景&#xff0c;不…

2022还不知道登陆邮箱账号怎么填写?个人邮箱登录注册流程看详解

今年入冬以来&#xff0c;我国多地散发新冠肺炎疫情。浙江三地同日报告新增、满洲里大规模核酸共检出阳性431例、上海新增本土1例。“奥密克戎”以惊人的速度传播&#xff0c;目前已至少在38个国家和地区出现。 疫情在即不仅需要配合日常防疫工作还要做好个人的防护&#xff0…

免费注册 Proton.me电子邮件教程

免费注册 Proton.me 1.登录自己的 Protonmail 帐户。 2.访问此页面&#xff0c;单击 “转到设置” 选项&#xff0c;在左侧边栏中&#xff0c;选择 “身份和地址”。 3.会在此页面顶部看到 proton.me 字样。 4.单击 “激活用户名 proton.me ” 按钮。 5.申请成功后&#xff…

Python 简单编写一个注册邮箱

金秋九月&#xff0c;又是开学的新的一学期&#xff0c;大家见到新同学新同事一定要问好&#xff0c;不要社死!!! 我们步入正题: 编写一个简单的注册邮箱程序 我在编写这个小程序的时候里面&#xff0c;有的代码是简化了: 还是那句话: 编写程序前&#xff0c;先理清思路&#x…

测试用例:邮箱注册

思维导图&#xff1a; 测试用例&#xff1a; 用例编号分类所属等价类测试描述输入数据预期结果实际结果测试人员测试时间000001邮件地址有效6-18个字符&#xff0c;可使用字母、数字、下划线&#xff0c;须以字母开头Jianghe_123456可用提示&#xff1a;恭喜&#xff0c;该邮件…

Python启蒙——检测邮箱是否有新邮件,并邮件通知(二)

承接上回&#xff0c;知道了新邮件返回的消息后&#xff0c;可以更近一步&#xff0c;来实现发邮件。 发邮件我们要用到SMTP的服务&#xff0c;来发送邮件。 发送邮件一般有收件人地址、抄送人地址、邮件主题、邮件内容等内容&#xff0c;从SMTPLIB这个类的解释和例子如下&am…

教育邮箱怎么注册申请,教育电子邮箱注册小妙招

临近秋季开学很多小伙伴咨询学校邮箱的问题&#xff0c;学校是否会给学生配备邮箱&#xff0c;学校都用什么邮箱&#xff1f; 最近我的妹妹刚拿到录取通知书&#xff0c;里面写着让她办理一个教育邮箱&#xff0c;她不太知道什么是教育邮箱&#xff0c;还给教务处的招生处老师…

大话Stable-Diffusion-Webui-将stable-diffusion-webui接入微信群(一)

文章目录 效果原理WeChatRobot安装克隆项目安装pc端微信安装 WeChatRobot配置 WeChatRobot接入sd的文生图apisd配置WeChatRobot中接入sdconfig.yaml增加sd的配置robot.py开发代码robot.pyconfig.yaml效果 原理 通过一个玩转微信的开源项目

AI智能机器人,在这里也可以体验~

“ 大家好&#xff0c;我是雄雄&#xff0c;欢迎关注微信公众号&#xff1a;雄雄的小课堂。 ” 现在是&#xff1a;2023年2月17日00:14:42 前言 最近AI智能chatgpt特别的火&#xff0c;相信好多人都已经体验过了&#xff0c;之前我的群里也接入过&#xff0c;奈何总是收到警告和…

python中成语接龙游戏_Python实现成语接龙

这是一篇用Python实现成语接龙小游戏的具体开发教程。Python实现这个功能非常容易,以下分为两个版本,一个是简易版,能够实现基本的功能。还有一个是拓展版,是在简易版上进行拓展,功能更为复杂且完善。 这个可以应用在很多方面,比如说聊天机器人,而且还可以结合itchat这个…

AI绘画结合GPT 把Ai绘画与摄影玩明白

一、绘画与摄影有什么关系&#xff1f; 绘画和摄影是两种不同的艺术形式&#xff0c;它们都以其自身独特的方式捕捉和表达现实。在某些方面&#xff0c;它们是相互联系的&#xff0c;而在其他方面&#xff0c;它们又有所不同。​ 相似之处&#xff1a;绘画和摄影都是创造性的…

电脑用户名中文改英文步骤总结

背景&#xff1a;在单位领了两台新电脑&#xff0c;脑子一热用户名直接设置成中文名字了&#xff0c;后来在装许多环境的时候都出现中文乱码、路径错误等情况&#xff0c;因此需要改成英文账户名。 步骤&#xff1a; 先修改本地的账户名。打开控制面板并点击用户账户&#xf…