stable diffusion实践操作-常见lora模型介绍

本文专门开一节写Lora相关的内容,在看之前,可以同步关注:
stable diffusion实践操作

模型分两种,一种是sd大模型,一种是类似Lora的小模型
国内的是:https://www.liblibai.com
国外的是:https://civitai.com

一、什么是lora?

1.1 lora 定义

LoRA,英文全称Low-Rank Adaptation of Large Language Models,直译为大语言模型的低阶适应,这是微软的研究人员为了解决大语言模型微调而开发的一项技术。

比如,GPT-3有1750亿参数,为了让它能干特定领域的活儿,需要做微调,但是如果直接对GPT-3做微调,成本太高太麻烦了。

LoRA的做法是,冻结预训练好的模型权重参数,然后在每个Transformer(Transforme就是GPT的那个T)块里注入可训练的层,由于不需要对模型的权重参数重新计算梯度,所以,大大减少了需要训练的计算量。

研究发现,LoRA的微调质量与全模型微调相当,我愿称之为神器。

要做个比喻的话,就好比是大模型的一个小模型,或者说是一个插件。

LoRA本来是给大语言模型准备的,但把它用在cross-attention layers(交叉关注层)也能影响用文字生成图片的效果。

1.2 lora的基本原理

(把lora里面的十几个层风别抽出来,单独设置权重)
这一块,慢慢补充。

二、作用:

2.1 复刻人物特征

对人物和物品的复刻,只要挂载lora,就可以九成九的复刻指定人物的特征。
比如,你下载了光头强的Lora,只要你加载了它,那么你生成的任何一张图片都是他的样子。
在这里插入图片描述

2.2 固定人物的动作特征

在这里插入图片描述

2.3 确定某种画风

在这里插入图片描述

总结:Lora可以确定某种特征。

Lora一定要和底模配合使用。

三、lora和embedding 区别:

3.1 文件大小不一样

文件小携带的信息就比较少。

3.2 lora比embedding要好的多

embedding在多视图和动漫人物上要好一点。
在这里插入图片描述

3.3 embedding是文字描述,lora是真实的物品描述。

四 、lora使用

用lora配套的大模型

因为lora训练是需要一个大模型的,是通过大模型来训练参数的人,所以它的一切和大模型都绑定了。
所以使用的时候,要和训练的原始模型匹配。
下面是hanfu lora和不同大模型的对比:
在这里插入图片描述
有些效果可以,有些效果不好,这就开盲盒了。

4.2 .有触发词一定要使用触发词

<lora:baihuaniang_1.0:0.8>,baihuaniang,flower

一般来说,不用把全部的触发词加上去,只要加其中一个就可以了,比如下面的有汉服,有唐服等等,这个要根据lora模型来确定,有写lora是没有提示词的。
在这里插入图片描述

4.3 正确设置lora的权重

权重越大,lora对结果影响就很大。但是也不能过大,过小,一般在0.6-0.9之间。

4.4 新手不要混用lora

多了会打架。

正文


序号lora名称说明
1baihuaniang_1.0
2long
3xiaorenshu_v2.0小人书
4Lora_GuoFeng3_Lora_v3.2_Lora_big_light中国风
5Real dragons _dragon_real_base_V1real dragon
6korean doll likeness美超真实女
7Beautiful_Dress连衣裙
8$1
9$1
10$1

1、baihuaniang_1.0

下载链接:https://www.liblibai.com/modelinfo/1d2839ecaaf829e0161beb8c70294dbf
基础模型:SD1.5(AWPainting_v1.2_liblib_sd15.safetensors)
触发词语:baihuaniang,flower

案例:
正向提示词:

Best quality,masterpiece,ultra high res,(photorealistic:1.4),
solo,1girl,.<lora:baihuaniang_1.0:0.8>,baihuaniang,Flowers,
Flowers,Soft sunlight,Wind,Flying long hair,Film Light,
Facing the screen,.copper,,upper body,fatigues,
outstretched arms,.

反向提示词:

ng_deepnegative_v1_75t,badhandv4 (worst quality:2),
(low quality:2),(normal quality:2),lowres,bad anatomy,
bad hands,normal quality,((monochrome)),((grayscale)),, 
ng_deepnegative_v1_75t, badhandv4 (worst quality:2), 
(low quality:2), (normal quality:2), lowres, bad anatomy, 
bad hands, normal quality, ((monochrome)), ((grayscale)):.

采样:
DPM++2MKarras
随机种子:2514900086
CFGscale:11
步数:28
在这里插入图片描述
生成结果:

2、long.safetensors 中国龙

下载链接:https://www.liblibai.com/modelinfo/870bee7ee8377e037097ae2d16839709
触发词:no humans, dragon, long
基础模型SD1.5 (AWPainting_v1.2_liblib_sd15.safetensors)
正向提示词:

Best quality,masterpiece,ultra high res,nu no humans, (long:1.2),
<lora:long:0.8>,no humans, dragon, long eastern dragon, 
east asian architecture, sky, architecture, outdoors, cloud, day, 
mountain, open mouth, blue sky, teeth, scales, sharp teeth, 
horns, glowing, fangs, tree, glowing eyes, pagoda, scenery.

反向提示词:

ng_deepnegative_v1_75t,badhandv4 (worst quality:2),(low quality:2),
(normal quality:2),lowres,bad anatomy,bad hands,normal quality,
((monochrome)),((grayscale)),nsfw,..

采样:
DPM++2MKarras
随机种子:2330800025
CFGscale:11
步数:28
在这里插入图片描述
生成结果:

3、xiaorenshu_v2.0.safetensors

下载链接:https://www.liblibai.com/modelinfo/7755bdd92e3baeb7bd8ac79a455070ad
基础模型:SD1.5 (AWPainting_v1.2_liblib_sd15.safetensors)
触发词语:没有

正向提示词:
shz,((bestquality)),((masterpiece)),(detailed),realistic,multipleboys,(ridinghorse),mustache,lookingatviewer,outdoors,house,amy,horse

反向提示词:

采样:DPM++2MKarras
随机种子:3836055402
CFGscale: 5
步数:28
在这里插入图片描述
生成结果:

4、Lora_GuoFeng3_Lora_v3.2_Lora_big_light.safetensors

下载链接:https://www.liblibai.com/modelinfo/7b3ce08ce87271586f0fd00de32604be
基础模型:SD1.5 (AWPainting_v1.2_liblib_sd15.safetensors)
触发词语:没有

正向提示词:

bestquality,masterpiece,highres,1girl,chinadress,Beautifulface,
hairornament,solo,lookingatviewer,smile,closedmouth,lips,
chinadress,dress,hairornament,necklace,jewelry,longhair,earrings,chineseclothes,
architecture,eastasianarchitecture,building,outdoors,rooftop,city,cityscape,
darkstudio,rimlighting,twotonelighting,dimlylit,lowkey
<lora:GuoFeng3.2_Lora_light:1.5>

采样:Eulera
随机种子:3985684671
CFGscale: 7
步数:30
在这里插入图片描述
生成结果:
在这里插入图片描述

5、Lora Real dragons _dragon_real_base_V1.safetensors

下载链接:https://www.liblibai.com/modelinfo/6d1bbd25afd9c54f442606d1774dc425
基础模型:SD1.5 (AWPainting_v1.2_liblib_sd15.safetensors)
触发词语:dragon_real,flame

正向提示词:

dragon_real,(extremely detailed CG unity 8k wallpaper,masterpiece, best quality, 
ultra-detailed, beautiful detailed eyes:1.2),best illumination, (best shadow, an extremely delicate and beautiful, bloom),
the girl was surrounded by dragons,.(1girl:1.4),breasts, solo,full body,Back tattoo,white dress,(color dragon:1.4),
Bare leg,long dress, 

.
反向提示词:

nude, (badhandv4:1.2), (easynegative), verybadimagenegative_v1.3, deformation), blurry, poorly dissected, disfigured,poorly drawn face, mutation, mutation, (extra_limb), (ugly), (poorly drawn hand), finger fusion, messy drawing, 
broken leg examination, examination, examination stick, multiple breasts, (mutated hand and finger: 1.5), (long body: 1.3), 
(mutated, poorly drawn: 1.2), black and white, poorly dissected, liquid body, disfigured Deformed, mutated, anatomical nonsense, 
text font ui, errors, malformed hands, long necks, blurry, lowered, anatomically poor, proportion not good, shadows not good, 
body not coordinated, body not natural, fused breasts, poor breasts, huge breasts, poorly drawn breasts, excess breasts, 
liquid breasts, heavy breasts, missing breasts, large buttocks, huge thighs, Huge calves, bad hands, fused hands, missing hands, 
missing arms, missing thighs, missing calves, missing legs, fused arms, bad ears, poorly drawn ears, excess ears, liquid ears, 
heavy ears, missing ears, text, ui, errors, missing fingers, missing limbs, fused fingers, one hand with more than 5 fingers, 
one hand with less than 5 fingers, The other hand has more than 5 digits, the other hand is missing less than 5 digits, 
excess digits, fewer digits, fused digits, missing digits, bad digits, liquid digits, cropped, blurry, JPEG artifacts, signatures, 
deformed feet, excess feet, bad feet, bad drawings, fused feet, lost feet, excess shoes, bad shoes, fused shoes,two or more pairs of shoes, poorly drawn shoes Bad gloves, poorly drawn gloves, fused gloves, bad hair, poorly drawn hair, 
fused hair, big muscles, ugly, bad face, fused face, poorly drawn face, cloned face, big face, long face, bad eyes, 
fused eyes well drawn eyes, excess eyes, deformed limbs, two or more nipples, rough ratio. Short arm, (((missing arm)), 
thigh missing, calf missing, leg missing, mutation, duplication, deformity, poorly drawn hand, more than one left hand, 
less than one right hand, deformation, (blurring), disfigurement, missing leg, excess arm, excess thigh, two or more thighs, 
excess calf, fused calf, excess leg, poor knee, excess knee, more than two legs, Bad mouth, fused mouth, bad mouth, 
bad tongue, tongue in mouth, too long tongue, black tongue, big mouth, cracked mouth, bad mouth, dirty face, 
dirty teeth, bad underpants, fused cloth, bad cloth, bad underpants, yellow teeth, thick lips, bad camel toe, 
colorful camel toe, bad crotch seam, missing clip, bad clip, fused clip, color clip, black clip, liquid clip, QR code,barcode, reviewed, secure underwear, extra numbers, fewer numbers, cropped, worst quality, low quality, 
normal quality, jpeg artifacts, signature, watermark, username, blurry, out of focus, reviewed, ugly, old, deformed, 
amateur, strange, fat, deformed, black and white, realistic eyes,.

采样:DPM++2MKarras
随机种子:2656310671
CFGscale: 7
步数:55
在这里插入图片描述
生成结果:

6、korean doll likeness

下载链接:https://www.aigc.wtf/korean-doll-likeness-free-download/
成图参考:https://zhuanlan.zhihu.com/p/606825889
基础模型:chilloutmix_NiPrunedFp16Fix.safetensors
触发词语:

正向提示词:

(RAW photo:1.2), (photorealistic:1.4),(masterpiece:1.3),(best quality:1.4),
nikon d750 f/1.4 55mm, detailed shadow, (realistic, photo-realistic:1.37),(sharp focus:1.2),(ISO high), (masterpiece,best quality), professional lighting, ultra high res,dreamlike,
(detailed eyes),(detailed facial features), (detailed clothes features),
skin tight, (shiny skin),(slender girl),(slim girl),
1girl, ((full body)),solo,
cute,smlie,
, (medium breasts), bangs, straight hair, long hair, black hair, black eyes, crystal pendant,
Long blue scarf,White long wool coat,Black thick pantyhose,Brown snow boots,
<lora:koreanDollLikeness_v15:1>

.
反向提示词:

nsfw,EasyNegative,bad_prompt,ng_deepnegative_v1_75t,(worst quality:2), (low quality:2), (normal quality:2), lowres, normal quality, ((monochrome)), ((grayscale)), skin spots, acnes, skin blemishes, age spot, (outdoor:1.6), manboobs, backlight,(ugly:1.331), (duplicate:1.331), (morbid:1.21), (mutilated:1.21), (tranny:1.331), mutated hands, (poorly drawn hands:1.331), blurry, (bad anatomy:1.21), (bad proportions:1.331), extra limbs, (disfigured:1.331), (more than 2 nipples:1.331), (missing arms:1.331), (extra legs:1.331), (fused fingers:1.61051), (too many fingers:1.61051), (unclear eyes:1.331), bad hands, missing fingers, extra digit, (futa:1.1), bad body, pubic hair, glans,
Steps: 20, Sampler: Euler a, CFG scale: 7, Seed: 546686100, Size: 720x960, Model hash: fc2511737a, Model: chilloutmix_NiPrunedFp32Fix (2), Clip skip: 2, ENSD: 31337

采样:DPM++2MKarras
随机种子:2514900086
CFGscale: 7
步数:22
生成结果:

7、Beautiful_Dress连衣裙

下载链接:https://www.liblibai.com/modelinfo/3aa33b228cda4a0980754ae921eb51d4
成图参考:
基础模型:chilloutmix_NiPrunedFp16Fix.safetensors
触发词语:dress
说明:这个只会生成裙子,一般没有人头,最好和其它的配合使用

正向提示词:

<lora:Beautiful_Dress:0.6>,(tightlacedressblackdeepvnecklayeredskirtankletdecorateholdflowersultryversatile:1.1),Girl,lightblue,(fullbody:1.2),(wholebody:1.2),(Lightweight:1.1),(Smile:1.1),Legs,Pure,Feet,(Lightmakeup:1.1),(45°LookUp:1.1),blackhair,Longhair,(whiteground:1.2),(Lightbackground:1.2),LongDress,(Stand.:1.2),Silkytexture,Cool,(Summer:1.1),(masterpiece:1,2),bestquality,masterpiece,highres,original,extremelydetailedwallpaper,perfectlighting,(extremelydetailedCG:1.2),drawing,paintbrush,Freedom,Romantic,mediumbreasts,

.
反向提示词:

NSFW,(worst quality:2),(low quality:2),(normal quality:2),lowres,normal quality,((monochrome)),((grayscale)),skin spots,acnes,skin blemishes,age spot,(ugly:1.331),(duplicate:1.331),(morbid:1.21),(mutilated:1.21),(tranny:1.331),mutated hands,(poorly drawn hands:1.5),blurry,(bad anatomy:1.21),(bad proportions:1.331),extra limbs,(disfigured:1.331),(missing arms:1.331),(extra legs:1.331),(fused fingers:1.61051),(too many fingers:1.61051),(unclear eyes:1.331),lowers,bad hands,missing fingers,extra digit,bad hands,missing fingers,(((extra arms and legs))),

采样:DPM++2MKarras
随机种子:1172117708

CFGscale: 7
步数:22
在这里插入图片描述

生成结果:

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/116081.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【kubernetes】Argo Rollouts -- k8s下的自动化蓝绿部署

蓝绿(Blue-Green)部署简介 在现代软件开发和交付中,确保应用程序的平稳更新和发布对于用户体验和业务连续性至关重要。蓝绿部署是一种备受推崇的部署策略,它允许开发团队在不影响用户的情况下,将新版本的应用程序引入生产环境。 蓝绿部署的核心思想在于维护两个独立的环…

Anaconda Prompt输入jupyter lab无反应

问题&#xff1a;Anaconda Prompt界面输入指令无反应 原因&#xff1a;公司电脑勒索病毒防御工具阻止了进程 解决&#xff1a;找到黑名单恢复进程

three.js(四):react + three.js

绘制多个立方体 1.搭建reactts 项目 npx create-react-app basics-demo --template typescriptreactts 的用法可参考此链接&#xff1a; https://react-typescript-cheatsheet.netlify.app/docs/basic/setup 2.安装three依赖 npm install three types/three --save3.安装路…

antd5:form组件底层封装库field-form-1.37.0启动

一开始node版本是18.16.0 npm install发现安装依赖成功 npm start发现启动出错 node:internal/crypto/hash:71this[kHandle] new _Hash(algorithm, xofLen);^Error: error:0308010C:digital envelope routines::unsupportedat new Hash (node:internal/crypto/hash:71:19)…

Git Bash 和 Git GUI中文汉化

目录 为什么要中文汉化&#xff1f;Git Bash的汉化Git GUI的汉化 为什么要中文汉化&#xff1f; 看到中文大概能猜出是什么意思&#xff0c;便于使用&#xff0c;特别是Git GUI&#xff0c;中文版的菜单很容易理解是要做什么&#xff0c;如下图&#xff1a; Git Bash的汉化 …

开箱报告,Simulink Toolbox库模块使用指南(五)——S-Fuction模块(C MEX S-Function)

文章目录 前言 C MEX S-Function 算法原理 原始信号创建 编写S函数 仿真验证 Tips 分析和应用 总结 前言 见《开箱报告&#xff0c;Simulink Toolbox库模块使用指南&#xff08;一&#xff09;——powergui模块》 见《开箱报告&#xff0c;Simulink Toolbox库模块使用…

Qt —UDP通信QUdpSocket 简介 +案例

1. UDP通信概述 UDP是无连接、不可靠、面向数据报&#xff08;datagram&#xff09;的协议&#xff0c;可以应用于对可靠性要求不高的场合。与TCP通信不同&#xff0c;UDP通信无需预先建立持久的socket连接&#xff0c;UDP每次发送数据报都需要指定目标地址和端口。 QUdpSocket…

CS144环境配置问题

使用wsl来做CS144实验&#xff0c;可能会在编译的时候遇到以下问题&#xff0c;很明显是找不到LIBPCAP&#xff0c;参考链接 使用sudo apt-get install libpcap-dev命令下载该库即可。 CMake Error: The following variables are used in this project, but they are set to N…

大数据HBase学习圣经:一本书实现HBase学习自由

学习目标&#xff1a;三栖合一架构师 本文是《大数据HBase学习圣经》 V1版本&#xff0c;是 《尼恩 大数据 面试宝典》姊妹篇。 这里特别说明一下&#xff1a;《尼恩 大数据 面试宝典》5个专题 PDF 自首次发布以来&#xff0c; 已经汇集了 好几百题&#xff0c;大量的大厂面试…

unity3d:功能验证,收集开源项目的工程合集

unity3d功能验证&#xff0c;和收集开源项目的工程合集 目录持续更新地址 【腾讯文档】UnityForTest目录 https://docs.qq.com/doc/DWm9HSkVhTGdyUUVo 源码 https://github.com/luoyikun/UnityForTest 动画 创建骨骼动画 BoneAnimation场景 代码创建Mesh&#xff0c;骨骼…

网络安全法+网络安全等级保护

网络安全法 2014年2月&#xff0c;中央网络安全和信息化领导小组成立&#xff0c;习主席当组长 2017年6月1日&#xff0c;网络安全法正式成立 网络安全是国家安全的重要组成部分没有网络安全就没有国家安全&#xff0c;没有信息化就没有现代化 网络安全法21条 网络安全法31条 …

使用Arrays.asList生成的List集合,操作add方法报错

早上到公司&#xff0c;刚到工位&#xff0c;测试同事就跑来说"功能不行了&#xff0c;报服务器异常了&#xff0c;咋回事";我一脸蒙&#xff0c;早饭都顾不上吃&#xff0c;要来了测试账号复现了一下&#xff0c;然后仔细观察测试服务器日志&#xff0c;发现报了一个…

Linux线程互斥

目录 一、线程不安全 1.线程不安全现象 2.线程不安全程序的特质 3.线程不安全程序的原因 二、线程互斥 1.基本概念 2.锁 &#xff08;1&#xff09;认识锁 &#xff08;2&#xff09;互斥锁的使用 &#xff08;3&#xff09;代码的改造 3.锁的本质 &#xff08;1&a…

达梦8 在CentOS 系统下静默安装

确认系统参数 [rootlocalhost ~]# ulimit -a core file size (blocks, -c) unlimited data seg size (kbytes, -d) unlimited【1048576(即 1GB)以上或 unlimited】 scheduling priority (-e) 0 file size (blocks, -f) unlimite…

多路波形发生器的控制

本次波形发生器&#xff0c;主要使用运算放大器、NE555以及一些其他的电阻电容器件来实现。整体电路图如下所示&#xff1a; 产生的三角波如下&#xff1a; 正弦波如下 方波如下&#xff1a; 运算放大器&#xff08;Operational Amplifier&#xff0c;简称OP-AMP&#xff09;是…

PSP - 蛋白质结构预测 OpenFold Multimer 重构训练模型的数据加载

欢迎关注我的CSDN&#xff1a;https://spike.blog.csdn.net/ 本文地址&#xff1a;https://spike.blog.csdn.net/article/details/132602155 OpenFold Multimer 在训练过程的数据加载时&#xff0c;需要将 MSA 与 Template 信息转换成 Feature&#xff0c;再进行训练&#xff0…

【数据结构回顾】

数据结构回顾 一、单链表二、单循环链表 一、单链表 #include <stdio.h> #include <stdlib.h>typedef struct Node {int data;Node *next; }Node;Node* initList() {Node *list (Node*)malloc(sizeof(Node));list->data 0;list->next NULL;return list; }…

【自用】西门子s7-200连接显示屏和物联网盒子完整配置过程

总览 1.PLC配置 2.显示屏配置 3.物联网盒子配置 一、PLC配置 1.连接PLC软件 STEP-7MicroWIN V4.0 SP9完整版 链接&#xff1a;https://pan.baidu.com/s/17LMEXnbkQZMPI8Bte24Eug?pwdjsi3 提取码&#xff1a;jsi3 2.PLC配置 打开 PLC 上面的小盖子&#xff0c;把红色按钮…

桌面端后台项目笔记

套用模板 vue-pure-admin 所用主要框架笔记 1. electron app const { app } require(electron) app.on(事件名, () > {} // 回调函数)常用事件 will-finish-launching 当应用程序完成基础的启动的时候触发ready&#xff1a;electron完成初始化时触发window-all-close…

5G 数字乡村数字农业农村大数据中心项目农业大数据建设方案PPT

导读:原文《5G 数字乡村数字农业农村大数据中心项目农业大数据建设方案PPT》(获取来源见文尾),本文精选其中精华及架构部分,逻辑清晰、内容完整,为快速形成售前方案提供参考。以下是部分内容,