玩转大语言模型——使用Kiln AI可视化环境进行大语言模型微调数据合成

系列文章目录

玩转大语言模型——使用langchain和Ollama本地部署大语言模型
玩转大语言模型——三分钟教你用langchain+提示词工程获得猫娘女友
玩转大语言模型——ollama导入huggingface下载的模型
玩转大语言模型——langchain调用ollama视觉多模态语言模型
玩转大语言模型——使用GraphRAG+Ollama构建知识图谱
玩转大语言模型——完美解决GraphRAG构建的知识图谱全为英文的问题
玩转大语言模型——配置图数据库Neo4j(含apoc插件)并导入GraphRAG生成的知识图谱
玩转大语言模型——本地部署带聊天界面deepseek R1的小白教程
玩转大语言模型——本地部署deepseek R1和本地数据库的小白教程(Ollama+AnythingLLM)
玩转大语言模型——使用Kiln AI可视化环境进行大语言模型微调数据合成


文章目录

  • 系列文章目录
  • 前言
  • 下载安装
    • 下载
    • 安装
  • 模型支持
  • 初次使用
  • 合成数据
    • 生成单条数据
    • 批量生成数据
  • 导出数据/微调


前言

Kiln AI是一个强大的工具,主要用于微调大型语言模型(LLM)、生成合成数据以及协作数据集。Kiln AI提供了一整套无需编程、可视化操作的解决方案,帮助用户从零开始构建微调后的模型。用户可以通过Kiln UI创建任务,明确需求、初始提示和输入输出结构,然后选择合适的模型并配置参数,即可发起微调任务。Kiln支持多种主流模型,如OpenAI的GPT-4o系列、Meta的Llama 3.1与Llama 3.2以及Mistral的Mixtral等。众所周知人为去制作标签代价很大,对于学习微调或者仅作微调测试,Kiln是一个非常合适的应用,可以帮助我们通过大语言模型合成微调数据,辅助我们对模型进行微调,还可以导出生成的数据,以供其他训练和微调方式使用。

下载安装

下载

前往官网下载kiln
地址:https://docs.getkiln.ai/docs/quickstart
在这里插入图片描述
点击下载后会自动跳转到GitHub地址,选择适合自己系统的版本即可。
在这里插入图片描述

安装

下载后,安装应用程序:

  • macOS:打开 .dmg 文件,然后将应用程序拖到 Applications 目录。
  • Windows:双击安装程序,然后按照指南进行安装。
  • Linux:保存应用程序并从终端启动它。
    在这里插入图片描述

模型支持

Kiln 基本上可以使用来自许多提供商的任何 LLM 模型:

  • 使用 Ollama 在本地运行。
  • 连接 OpenAI、Groq、OpenRouter、AWS、Fireworks 等云提供商。您提供自己的 API 密钥,我们永远无法访问您的数据集。
  • 连接到任何 OpenAI 兼容服务器,例如用于 vLLM 的 LiteLLM。

初次使用

首次使用需要进行一些设置,到以下设置界面点Skip
在这里插入图片描述
到这一界面后不需要提交邮箱,直接Continue
在这里插入图片描述
然后我们选择Ollama,Ollama的使用我们已经在前面的文章中配置过很多次了,不再赘述,可以翻翻前面的文章。选好后拉到下面点continue
在这里插入图片描述
首次进入时需要新建一个项目,我这里就随便输了。
在这里插入图片描述
为了更方便的演示,创建的任务我是直接用他生成的例子(点右上角的Try an example)。
在这里插入图片描述
读者可以通过给出的提示参考改成自己需要的数据类型,然后点Create Task创建任务。
在这里插入图片描述
随后进入以下界面。
在这里插入图片描述

合成数据

生成单条数据

在当前界面,选择模型后输入相关信息后执行。
在这里插入图片描述
运行结果如下:
在这里插入图片描述
右侧可以为生成的数据评分,并且可以直接判断他是否通过。
在这里插入图片描述
如果评分低还可以对模型的输出设定要求。
在这里插入图片描述
当输出达到满意的时候,保存退出后,点Dataset可以看到刚才生成的数据。
在这里插入图片描述

批量生成数据

点击左侧Synthetic Data然后点击Add Top Level Topics

在这里插入图片描述

点击之后选择合适的模型直接点generate即可,这里推荐的是deepseek蒸馏的qwen14b
在这里插入图片描述
稍等一会就会生成若干topics,也可以点击Add subtopics新建子主题,在生成子主题时也要选用好一点的模型,经过笔者测试使用qwen2.5:14b可以保证正常生成。
在这里插入图片描述
点击Add data,可以直接生成合成数据,亲测使用deepseek R1:14b即可。
在这里插入图片描述
生成后的结果如下:
在这里插入图片描述
全部生成后点击Save All保存数据。
在这里插入图片描述
这一过程也需要使用模型生成,笔者还是选用的deepseek R1:14b
在这里插入图片描述
出现进度条是正常的,不用管他,等一会就好了。
在这里插入图片描述
随后我们返回Dataset可以看到生成的数据全都添加上了。
在这里插入图片描述

导出数据/微调

点击左侧Fine Tune,然后点击Create Fine-Tune
在这里插入图片描述
由于我没有使用API Key,所以我这里并不能直接微调,所以在此笔者选的是下面的Download版本,读者可以根据下面的提示选择合适的数据格式。
在这里插入图片描述
然后选择New Dataset
在这里插入图片描述
然后选择过滤方式,可以通过此设置过滤掉低质量的数据,但为了节约时间,笔者用到的是不进行过滤。
在这里插入图片描述
然后选择数据划分,同样的也需要读者根据自己需求选择数据划分。
在这里插入图片描述
在这里插入图片描述
随后下载创建好的数据集
在这里插入图片描述
下载后可以使用Axolotl或Unsloth进行微调

在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/16992.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

OpenAI推出的Computer Use智能体:Operator是什么

OpenAI推出的Computer Use智能体:Operator是什么 是一款能像人一样与图形用户界面交互来操作计算机的AI智能体。以下是其核心原理及举例说明: 核心原理 感知: 屏幕截图获取:利用高性能屏幕捕获模块,如基于WebRTC的截图技术,以极低延迟获取高清晰度页面图像,为后续分析…

k8s部署logstash

1. 编写logstash.yaml配置文件 --- apiVersion: v1 kind: Service metadata:name: logstash spec:type: ClusterIPclusterIP: Noneports:- name: logstash-tcpport: 5000targetPort: 5000- name: logstash-beatsport: 5044targetPort: 5044- name: logstash-apiport: 9600targ…

【AI大模型】Ollama部署本地大模型DeepSeek-R1,交互界面Open-WebUI,RagFlow构建私有知识库

文章目录 DeepSeek介绍公司背景核心技术产品与服务应用场景优势与特点访问与体验各个DeepSeek-R系列模型的硬件需求和适用场景 Ollama主要特点优势应用场景安装和使用配置环境变量总结 安装open-webui下载和安装docker desktop配置镜像源安装open-webui运行和使用 RagFlow介绍主…

【办公】钉钉修改默认存储位置,释放C盘空间

Step1: 右击钉钉图标选择设置 Step2: 通用里面找到文件保存位置,修改文件目录: 最新版本钉钉界面: 设置完成后按提示重启即可!

MVC(Model-View-Controller)framework using Python ,Tkinter and SQLite

1.项目结构 sql: CREATE TABLE IF NOT EXISTS School (SchoolId TEXT not null, SchoolName TEXT NOT NULL,SchoolTelNo TEXT NOT NULL) 整体思路 Model:负责与 SQLite 数据库进行交互,包括创建表、插入、删除、更新和查询数据等操作。View&#xff1…

MongoDB 扩缩容实战:涵盖节点配置、服务启动与移除操作

#作者:任少近 文章目录 一、扩容在245节点上配置配置config server:配置mongos启动config server安装工具mongosh添加245新节点到副本集配置分片副本集启动路由并分片 二、缩容Conf server上去掉server4shard上去掉server4mongos上去掉server4 一、扩容…

AGI时代的认知重塑:人类文明的范式转移与思维革命

文章目录 引言:站在文明转型的临界点一、认知危机:当机器开始理解世界1.1 AGI的本质突破:从模式识别到世界建模1.2 人类认知的脆弱性暴露二、认知革命:重构思维的四个维度2.1 元认知升级:从直觉思维到二阶观察2.2 混合智能:人机认知回路的构建2.3 认知安全:防御机器思维…

Java学习进阶路线

Java基础 Java Web 前端HTML/css/js,J2EE(Servlet/jsp),数据库(Mysql/oracle) Java开发框架 Spring MVC/Mybatis/Herbernate/maven 《Java编程思想》 深入了解java基础 Java设计模式 《Effective j…

cursor接入deepseek

cursor安装 cursor下载地址: https://www.cursor.com/ Cursor为新用户提供14天的免费试ai。在这段时间内,你可以使用所有权限内的功能,并享受500次高级模型的快速请求。 额度用完或到期无法使用ai功能,不影响继续使用软件&#…

vscode/cursor+godot C#中使用socketIO

在 Visual Studio Code(VS Code)中安装 NuGet 包(例如SocketIOClient),你可以通过以下几种方法: 方法 1:使用dotnet cli 打开终端:在 VS Code 中按下Ctrl 或者通过菜单View -> Terminal打开终端。 导…

LabVIEW 用户界面设计基础原则

在设计LabVIEW VI的用户界面时,前面板的外观和布局至关重要。良好的设计不仅提升用户体验,还能提升界面的易用性和可操作性。以下是设计用户界面时的一些关键要点: 1. 前面板设计原则 交互性:组合相关的输入控件和显示控件&#x…

git服务器搭建,gitea服务搭建,使用systemclt管理服务

文章目录 页面展示使用二进制文件安装git服务下载选择架构使用wget下载安装 验证 GPG 签名服务器设置准备环境创建systemctl文件 备份与恢复备份命令 (dump)恢复命令 (restore) 页面展示 使用二进制文件安装git服务 所有打包的二进制程序均包含 SQLite,MySQL 和 Po…

Kotlin Lambda

Kotlin Lambda 在探索Kotlin Lambda之前,我们先回顾下Java中的Lambda表达式,Java 的 Lambda 表达式是 Java 8 引入的一项强大的功能,它使得函数式编程风格的代码更加简洁和易于理解。Lambda 表达式允许你以一种更简洁的方式表示实现接口&…

Wpf美化按钮,输入框,下拉框,dataGrid

Wpf美化按钮&#xff0c;输入框&#xff0c;下拉框&#xff0c;dataGrid 引用代码后 引用资源 <ControlTemplate x:Key"CustomProgressBarTemplate" TargetType"ProgressBar"><Grid><Border x:Name"PART_Track" CornerRadius&q…

音视频协议

1. 多媒体信息 1.1 多媒体信息的两个主要特点&#xff1a; 信息量很大 标准语音&#xff1a;64Kbits(8KHz采样&#xff0c;8位编码)高质量音频&#xff1a;3Mbps(100KHz采样&#xff0c;12位编码) 在传输多媒体数据时&#xff0c;对时延和时延抖动均有较高要求 1.2 处理时延…

第一天:爬虫介绍

每天上午9点左右更新一到两篇文章到专栏《Python爬虫训练营》中&#xff0c;对于爬虫有兴趣的伙伴可以订阅专栏一起学习&#xff0c;完全免费。 键盘为桨&#xff0c;代码作帆。这趟为期30天左右的Python爬虫特训即将启航&#xff0c;每日解锁新海域&#xff1a;从Requests库的…

稀土抑烟剂——为汽车火灾安全增添防线

一、稀土抑烟剂的基本概念 稀土抑烟剂是一类基于稀土元素&#xff08;如稀土氧化物和稀土金属化合物&#xff09;开发的高效阻燃材料。它可以显著提高汽车内饰材料的阻燃性能&#xff0c;减少火灾发生时有毒气体和烟雾的产生。稀土抑烟剂不仅能提升火灾时的安全性&#xff0c;…

计算机网络-MPLS转发原理

在上一篇关于 MPLS 基础的文章中&#xff0c;我们了解了 MPLS 的基本概念、术语以及它在网络中的重要性。今天&#xff0c;我们将深入探讨 MPLS 转发的原理与流程&#xff0c;帮助大家更好地理解 MPLS 是如何在实际网络中工作的。 一、MPLS 转发概述 MPLS 转发的本质是将数据…

网络安全 | SNI介绍及F5中的配置应用

关注&#xff1a;CodingTechWork SNI介绍 SNI&#xff08;Server Name Indication&#xff09;是 TLS/SSL 协议中的一个重要扩展&#xff0c;旨在解决同一 IP 地址上托管多个网站时&#xff0c;如何选择正确的 SSL/TLS 证书进行加密通信的问题。SNI 通过在 TLS 握手初期传递客…

ARM Cortex-M3/M4 权威指南 笔记【二】架构

一、架构 1.1 架构简介 Cortex-M3/M4 处理器都基于 ARMv7-M 架构。最初的 ARMv7-M 架构是随着 Cortex-M3 处理器一同引入的&#xff0c;而在 Cortex-M4 发布时&#xff0c;架构中又额外增加了新的指令和特性&#xff0c;改进后的架构有时也被称为 ARMV7E-M。要了解 ARM7-M 和…