【kohya】训练自己的LoRA模型

文章目录

  • 序言
  • 准备环境
  • 准备图片
  • 处理图片
  • 下载kohya_ss代码
  • 修改pyvenv.cfg
  • 启动界面
  • 访问地址
  • 生成字幕
  • 准备训练的文件夹
  • 配置训练参数
  • 开始训练
  • 遇到的问题：

序言

在把玩stable diffusion的webUI和comfyUI后，思考着自己也微调一个个性化风格的checkpoint、LyCORIS或LoRA。

做好，环境问题搞崩心态的准备。
我的旧电脑，GPU才4G，直接跑蹦了三次。

在没有好电脑的情况下，还是别自己制作模型啦，费时间、费电脑，GPU不够的情况下，肯定跑不出来。

准备环境

python：3.10.9（官方推荐），官方强调一定不能是3.11+，否则跑不了。

准备图片

大概需要准备10-20张图片。
这里我们用华仔的图片：

https://stable-diffusion-art.com/wp-content/uploads/2023/09/lora_training_captions.zip

在这里插入图片描述

处理图片

这个是在线图片处理网站：https://www.birme.net/

在这里插入图片描述

下载kohya_ss代码

https://github.com/bmaltais/kohya_ss#setup

git clone https://github.com/bmaltais/kohya_ss.git

下载好了后，在目录下打开cmd
运行：

.\setup.bat

安装过程中，会有报错信息，如下面我的安装信息，就有error错误的。
这时，我们再单独安装他们即可。

我的安装信息如下：

07:30:01-098969 INFO     Python 3.10.9 on Windows
07:30:01-114591 INFO     nVidia toolkit detected
07:30:22-313445 INFO     Torch 2.0.1+cu118
07:30:27-317148 INFO     Torch backend: nVidia CUDA 11.8 cuDNN 8700
07:30:27-524602 INFO     Torch detected GPU: NVIDIA GeForce GTX 960M VRAM 4096 Arch (5, 0) Cores 5
07:30:27-546322 INFO     Installing modules from requirements_windows_torch2.txt...
07:30:27-571730 INFO     Installing package: torch==2.0.1+cu118 torchvision==0.15.2+cu118 --index-urlhttps://download.pytorch.org/whl/cu118
07:30:31-836436 INFO     Installing package: xformers==0.0.21
07:31:57-013124 INFO     Installing package: bitsandbytes==0.35.0
07:32:51-316790 INFO     Installing package: tensorboard==2.12.3 tensorflow==2.12.0
07:37:59-014316 ERROR    Error running pip: install --upgrade tensorboard==2.12.3 tensorflow==2.12.0
07:37:59-014316 INFO     Installing modules from requirements.txt...
07:37:59-014316 WARNING  Package wrong version: accelerate 0.23.0 required 0.19.0
07:37:59-014316 INFO     Installing package: accelerate==0.19.0
07:38:03-229388 INFO     Installing package: aiofiles==23.2.1
07:38:06-751172 INFO     Installing package: altair==4.2.2
07:38:38-267155 INFO     Installing package: dadaptation==3.1
07:38:51-524642 INFO     Installing package: diffusers[torch]==0.18.2
07:38:59-209713 INFO     Installing package: easygui==0.98.3
07:39:02-399649 WARNING  Package wrong version: einops 0.6.1 required 0.6.0
07:39:02-415277 INFO     Installing package: einops==0.6.0
07:39:06-136609 INFO     Installing package: fairscale==0.4.13
07:39:25-893111 INFO     Installing package: ftfy==6.1.1
07:39:29-690634 INFO     Installing package: gradio==3.36.1
07:40:36-392666 WARNING  Package wrong version: huggingface-hub 0.17.2 required 0.15.1
07:40:36-400190 INFO     Installing package: huggingface-hub==0.15.1
07:40:40-941236 INFO     Installing package: invisible-watermark==0.2.0
07:41:24-129685 INFO     Installing package: lion-pytorch==0.0.6
07:41:30-507921 INFO     Installing package: lycoris_lora==1.8.3
07:41:37-013021 INFO     Installing package: open-clip-torch==2.20.0
07:41:50-051513 INFO     Installing package: opencv-python==4.7.0.68
07:42:25-089723 INFO     Installing package: prodigyopt==1.0
07:42:28-598267 INFO     Installing package: pytorch-lightning==1.9.0
07:42:38-209014 WARNING  Package wrong version: rich 13.5.3 required 13.4.1
07:42:38-215011 INFO     Installing package: rich==13.4.1
07:42:43-854357 WARNING  Package wrong version: safetensors 0.3.3 required 0.3.1
07:42:43-860357 INFO     Installing package: safetensors==0.3.1
07:42:48-383515 INFO     Installing package: timm==0.6.12
07:42:54-170484 INFO     Installing package: tk==0.1.0
07:42:57-803992 INFO     Installing package: toml==0.10.2
07:43:01-527071 WARNING  Package wrong version: transformers 4.33.2 required 4.30.2
07:43:01-533037 INFO     Installing package: transformers==4.30.2
07:43:24-744913 INFO     Installing package: voluptuous==0.13.1
07:43:29-529060 INFO     Installing package: wandb==0.15.0

修改pyvenv.cfg

我的路径：E:\openai\project\kohya_ss\venv
我习惯性的改为true。原因是：1.来节省空间，2来已经安装过的模块，就不用再安装一遍了。

include-system-site-packages = true

启动界面

在kohya_ss目录下，双击gui.bat文件，进行启动。
在这里插入图片描述

访问地址

http://127.0.0.1:7860/

这个地址和stable diffusion webUI是同一个地址。

生成字幕

打开我们启动的页面：
路径：Utilities – Captioning – BLIP Captioning（WD14 Captioning也可以）

选择文件夹，选择我们处理好图片的文件夹
在这里插入图片描述
最后点击：Caption images。就可以帮我们生成字幕了。
命令行中打印的日志如下：

To create a public link, set `share=True` in `launch()`.
19:29:13-558295 INFO     Captioning files in E:/下载/AI绘图/AIGC/hanli...
19:29:13-561260 INFO     ./venv/Scripts/python.exe "finetune/make_captions.py" --batch_size="1" --num_beams="1"--top_p="0.9" --max_length="75" --min_length="5" --beam_search --caption_extension=".txt""E:/下载/AI绘图/AIGC/hanli"--caption_weights="https://storage.googleapis.com/sfr-vision-language-research/BLIP/models/model_large_caption.pth"
Current Working Directory is:  E:\openai\project\kohya_ss
load images from E:\下载\AI绘图\AIGC\hanli
found 13 images.
loading BLIP caption: https://storage.googleapis.com/sfr-vision-language-research/BLIP/models/model_large_caption.pth
Downloading (…)solve/main/vocab.txt: 100%|███████████████████████████████████████████| 232k/232k [00:00<00:00, 360kB/s]
Downloading (…)okenizer_config.json: 100%|██████████████████████████████████████████████████| 28.0/28.0 [00:00<?, ?B/s]
Downloading (…)lve/main/config.json: 100%|████████████████████████████████████████████████████| 570/570 [00:00<?, ?B/s]
100%|█████████████████████████████████████████████████████████████████████████████| 1.66G/1.66G [09:01<00:00, 3.30MB/s]
load checkpoint from https://storage.googleapis.com/sfr-vision-language-research/BLIP/models/model_large_caption.pth
BLIP loaded
100%|██████████████████████████████████████████████████████████████████████████████████| 13/13 [00:30<00:00,  2.36s/it]
done!
19:41:08-386110 INFO     ...captioning done

可以看出，它下载了一个1.6G的文件，这个问题，存在路径：C:\Users\yutao\.cache\torch\hub\checkpoints\model_large_caption.pth
可以看出存放在C盘，非常不友好。

生成字幕，效果如下：
在这里插入图片描述
随便打开一个：

在这里插入图片描述

准备训练的文件夹

设置准备训练的文件夹。
在这里插入图片描述

点击Prepare training data按钮，会生成如下图所示的文件夹：

在这里插入图片描述

配置训练参数

路径： LoRa – Training – source model

在这里插入图片描述
路径： LoRa – Training – Folders

在这里插入图片描述
路径： LoRa – Training – parameters – basic

在这里插入图片描述

参数：

Optimizer extra arguments : scale_parameter=False relative_step=False warmup_init=False

在这里插入图片描述

在这里插入图片描述
路径： LoRa – Training – parameters – advanced
在这里插入图片描述

在这里插入图片描述

参数说明：LoRA-training-parameters

开始训练

点击“Start training” 开始训练。

遇到的问题：

这里我遇到了一个警告：

WARNING[XFORMERS]: xFormers can't load C++/CUDA extensions. xFormers was built for:PyTorch 2.0.1+cu118 with CUDA 1108 (you have 2.0.1+cpu)Python  3.10.11 (you have 3.10.9)Please reinstall xformers (see https://github.com/facebookresearch/xformers#installing-xformers)Memory-efficient attention, SwiGLU, sparse and more won't be available.

上面是说，CUDA没法使用，也就意味着，我们无法调用GPU来跑，只能调用CPU来跑。

执行如下命令：

pip uninstall -y torch torchvision torchaudiopip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118

即可解决

参考地址：

SDXL LORA Training locally with Kohya

How to train Lora models

AnimateDiff｜高质量文本到动画视频生成

LoRA-training-parameters

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.rhkb.cn/news/140592.html

如若内容造成侵权/违法违规/事实不符，请联系长河编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

FPGA的DQPSK调制解调Verilog

FPGA的DQPSK调制解调Verilog

名称&#xff1a;DQPSK调制解调 软件&#xff1a;Quartus 语言&#xff1a;Verilog 要求&#xff1a; 使用Verilog语言进行DQPSK调制和解调&#xff0c;并进行仿真 代码下载&#xff1a;DQPSK调制解调verilog&#xff0c;quartus_Verilog/VHDL资源下载 代码网&#xff1a;h…
阅读更多...
机试算法学习

机试算法学习

又到了一年一度的校招干饭环节&#xff0c;本人不得已以应届生的身份卷入了这场洪流&#xff0c;让我们各自加油吧&#xff01; 蛇形矩阵 xx机考编程题 题目描述 输入两个整数 n和 m&#xff0c;输出一个 n 行 m 列的矩阵&#xff0c;将数字 1到 nm按照回字蛇形填充至矩阵中…
阅读更多...
【数据开发】数据全栈知识架构，数据（平台、开发、管理、分析）

【数据开发】数据全栈知识架构，数据（平台、开发、管理、分析）

文章目录 一、数据全栈知识架构1、数据方法&#xff08;思维&#xff0c;统计学&#xff0c;实践&#xff0c;北极星&#xff09;2、数据工具&#xff1a;数据仓库3、数据规范 二、数据分析工具1、大数据平台2、数据开发&#xff1a;入库计算&#xff08;重点&#xff09;3、数…
阅读更多...
AI AIgents时代 - (三.) AutoGPT和AgentGPT

AI AIgents时代 - (三.) AutoGPT和AgentGPT

前两篇讲解了Agent的原理和组件&#xff0c;这节我将给大家介绍两个agent项目&#xff0c;给出它们的工作原理和区别&#xff0c;并教大家亲手尝试使用 Agents&#x1f389; &#x1f7e2; AutoGPT&#x1f916;️ 我们的老朋友&#xff0c;之前文章也专门写过。AutoGPT 是一…
阅读更多...
MySQL单表查询和多表查询

MySQL单表查询和多表查询

一、单表查询 素材&#xff1a; 表名&#xff1a;worker-- 表中字段均为中文&#xff0c;比如 部门号 工资 职工号 参加工作等 CREATE TABLE worker (部门号 int(11) NOT NULL,职工号 int(11) NOT NULL,工作时间 date NOT NULL,工资 float(8,2) NOT NULL,政治面貌 varchar(10)…
阅读更多...
李宏毅hw-9:Explainable ML

李宏毅hw-9:Explainable ML

——欲速则不达&#xff0c;我已经很幸运了&#xff0c;只要珍惜这份幸运就好了&#xff0c;不必患得患失&#xff0c;慢慢来。 ----查漏补缺&#xff1a; 1.关于这个os.listdir的使用 2.从‘num_文件名.jpg’中提取出数值&#xff1a; 3.slic图像分割标记函数的作用&#xf…
阅读更多...
怎么选择AI伪原创工具-AI伪原创工具有哪些

怎么选择AI伪原创工具-AI伪原创工具有哪些

在数字时代&#xff0c;创作和发布内容已经成为了一种不可或缺的活动。不论您是个人博主、企业家还是网站管理员&#xff0c;都会面临一个共同的挑战&#xff1a;如何在互联网上脱颖而出&#xff0c;吸引更多的读者和访客。而正是在这个背景下&#xff0c;AI伪原创工具逐渐崭露…
阅读更多...
DAZ To UMA⭐一.DAZ简单使用教程

DAZ To UMA⭐一.DAZ简单使用教程

文章目录 &#x1f7e5; DAZ快捷键&#x1f7e7; DAZ界面介绍 &#x1f7e5; DAZ快捷键 移动物体:ctrlalt鼠标左键 旋转物体:ctrlalt鼠标右键 导入模型:双击左侧模型UI &#x1f7e7; DAZ界面介绍 Files:显示全部文件 Products:显示全部产品 Figures:安装的全部人物 Wardrobe…
阅读更多...
ubuntu 18.04 中 eBPF samples/bpf 编译

ubuntu 18.04 中 eBPF samples/bpf 编译

1. history 信息 一次成功编译 bpf 后执行 history 得到的信息&#xff1a; yingzhiyingzhi-Host:~/ex/ex_kernel/linux-5.4$ history1 ls2 mkdir ex3 cd ex4 mkdir ex_kernel5 ls /boot/6 sudo apt install linux-source7 ls /usr/src/8 uname -r9 cd ex_kernel/10…
阅读更多...
MySQL(7) Innodb 原理和日志

MySQL(7) Innodb 原理和日志

一、MySQL结构 客户端 server层 查询缓存&#xff08;5.7&#xff09; 连接器 分析器 优化器 执行器 引擎层 二、一条update操作mysql的流程 三、MySQL的日志 &#xff08;1&#xff09;redo log 保证MySQL 持久性的关键&#xff0c;如果MySQL宕机&#xff0c;buffer pool…
阅读更多...
SpingBoot：整合Mybatis-plus+Druid+mysql

SpingBoot：整合Mybatis-plus+Druid+mysql

SpingBoot&#xff1a;整合Mybatis-plusDruid 一、特别说明二、创建springboot新工程三、配置3.1 配置pom.xml文件3.2 配置数据源和durid连接池3.2.1 修改application.yml3.2.2 新增mybatis-config.xml 3.3 编写拦截器配置类 四、自动生成代码五、测试六、编写mapper.xml&#…
阅读更多...
远程端点管理和安全性

远程端点管理和安全性

当今的企业网络环境是一个分布式动态环境&#xff0c;其中有许多需要管理、验证和保护的移动部件&#xff0c;而不会对最终用户的生产力产生任何威慑力。提供有效的端点管理安全性&#xff0c;同时仍提供无缝最终用户体验的解决方案至关重要。 Endpoint Central 执行的活动可确…
阅读更多...
前端面试题记录

前端面试题记录

vue2响应式原理 vue2主要是采用了数据劫持结合发布者-订阅者模式来实现数据的响应式&#xff0c;vue在初始化的时候&#xff0c;会遍历data中的数据&#xff0c;使用object.defineProperty为data中的每一个数据绑定setter和getter&#xff0c;当获取数据的时候会触发getter&am…
阅读更多...
基于STM32的宠物托运智能控制系统的设计（第十七届研电赛）

基于STM32的宠物托运智能控制系统的设计（第十七届研电赛）

一、功能介绍 使用STM32作为主控设备&#xff0c;通过DHT11温湿度传感器、多合一空气质量检测传感器以及压力传感器对宠物的托运环境中的温湿度、二氧化碳浓度和食物与水的重量进行采集&#xff0c;将采集到的信息在本地LCD显示屏上显示&#xff0c;同时&#xff0c;使用4G模块…
阅读更多...
C语言自定义类型（上）

C语言自定义类型（上）

大家好&#xff0c;我们又见面了&#xff0c;这一次我们来学习一些C语言有关于自定义类型的结构。 目录 1.结构体 2位段 1.结构体 前面我们已经学习了一些有关于结构体的知识&#xff0c;现在我们进行深入的学习有关于它的知识。 结构是一些值的集合&#xff0c;这些值称为…
阅读更多...
大厂面试之算法篇

大厂面试之算法篇

目录 前言 算法对于前端来说重要吗&#xff1f; 期待你的答案 算法 如何学习算法 算法基础知识 时间复杂度 空间复杂度 前端 数据结构 数组 最长递增子序列 买卖股票问题 买卖股票之交易明细 硬币找零问题 数组拼接最小值 奇偶排序 两数之和 三数之和 四数之…
阅读更多...
谷歌版ChatGPT与旗下邮箱、视频、地图等，实现全面集成！

谷歌版ChatGPT与旗下邮箱、视频、地图等，实现全面集成！

9月20日&#xff0c;谷歌在官网宣布推出Bard Extensions。借助该扩展用户可在谷歌的Gmail、谷歌文档、网盘、Google 地图、视频等产品中使用Bard。 Bard是谷歌基于PaLM 2大模型&#xff0c;打造的一款类ChatGPT产品&#xff0c;可自动生成文本、代码、实时查询信息等。新的集成…
阅读更多...
pycharm中恢复原始界面布局_常用快捷键_常用设置

pycharm中恢复原始界面布局_常用快捷键_常用设置

文章目录 1 恢复默认布局1 .1直接点击file→Manage IDE Settings→Restore Default Settings&#xff08;如下图所示&#xff09;&#xff1a;1.2 直接点击Restore and Restart&#xff0c; 然后Pycharm就会自动重启&#xff0c;重启之后的界面就是最原始的界面了 2 改变主题2.…
阅读更多...
Nginx图片防盗链

Nginx图片防盗链

原理 浏览器向web服务器发送请求时一般会在header中带上Referer信息&#xff0c;服务器可以借此获得一些信息用来处理盗链 不过Referer头信息其实是可以伪装生成的&#xff0c;所以通过Referer信息防盗链并非100%可靠 具体方法 核心点就是在Nginx配置文件中&#xff0c;加入…
阅读更多...
C语言指向二维数组的四种指针以及动态分配二维数组的五种方式

C语言指向二维数组的四种指针以及动态分配二维数组的五种方式

文章目录 应用场景可能指向二维数组的指针动态分配二维数组 应用场景 当二维数组作为结构成员或返回值时&#xff0c;通常需要根据用户传递的参数来决定二维数组的大小&#xff0c;此时就需要动态分配二维数组。 可能指向二维数组的指针 如果现在有一个二维数组a[3][2]&…
阅读更多...
最新文章
推荐文章

Copyright @ 2022~2023