基于AutoDL云计算平台+LLaMA-Factory训练平台微调本地大模型

1. 注册与认证

  • 访问AutoDL官网:前往 AutoDL官网。

  • 注册账号:完成注册流程。

  • 实名认证:按照要求完成实名认证,以确保账号的合规性。


2. 选择GPU资源

  • 进入算力市场:在官网首页点击“算力市场”菜单。

  • 挑选GPU:根据需求选择合适的GPU资源,例如NVIDIA RTX 4090等。

  • 查看配置:确保所选GPU资源的性能满足训练需求。


3. 创建实例

  • 配置实例:点击所选GPU进入“创建实例”页面。

  • 选择镜像:选取包含深度学习环境的镜像,避免后续手动配置训练环境。

  • 完成创建:配置完成后,启动实例。


4. 初始化环境

  • 进入JupyterLab:实例启动后,通过平台的JupyterLab快捷工具进入。

  • 打开终端:在JupyterLab界面点击“终端”。


5. 配置网络加速(可选)

在终端中输入以下代码进行学术资源加速:

source /etc/network_turbo

6. 克隆LLaMA-Factory项目

  • 克隆项目代码

    git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.git

    --depth 1 参数用于浅拷贝,仅获取最新代码,节省时间和空间)


7. 创建并激活虚拟环境

  • 创建虚拟环境

    conda create -n llama_factory python=3.10
  • 初始化conda

    source /root/miniconda3/etc/profile.d/conda.sh
  • 激活环境

    conda activate llama_factory

8. 安装依赖

  • 进入项目目录

    cd LLaMA-Factory
  • 安装所需库

    pip install -r requirements.txt
  • 安装扩展依赖

    pip install -e ".[torch,metrics]"
  • 安装ModelScope库

    pip install modelscope -U

9. 下载预训练模型

  • 新建Python文件,用于下载预训练模型。以下是一个示例代码:

    from modelscope import snapshot_downloadmodel_path = "Qwen/Qwen-7B-Chat"  # 阿里通义千问7B-chat模型
    cache_path = "/root/autodl-tmp"   # 模型缓存路径snapshot_download(model_path, cache_dir=cache_path)
  • 运行下载脚本

    python download.py

10. 启动微调平台UI界面

在终端中输入以下代码,使用GPU开启微调平台的UI界面:

CUDA_VISIBLE_DEVICES=0 python src/webui.py &

11. 微调模型

  • 进入WebUI界面:通过浏览器访问微调平台的UI界面。(可提前下载SSH工具代理到本地端口https://autodl-public.ks3-cn-beijing.ksyuncs.com/tool/AutoDL-SSH-Tools.zip)

  • 选择模型:在WebUI中选择已下载的预训练模型(如通义千问7B-chat)。

  • 配置微调参数:根据需求设置微调的超参数(如学习率、批次大小、训练轮数等)。

  • 开始微调:点击“开始微调”按钮,启动微调过程。


12. 测试与验证

  • 加载微调后的模型:在WebUI中加载微调后的模型。

  • 进行对话测试:通过输入测试问题,验证模型的对话能力是否满足预期。


13. 保存与导出

  • 保存微调模型:将微调后的模型保存到指定路径。

  • 导出模型:根据需要导出模型文件,用于后续部署或进一步优化。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/5383.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

04JavaWeb——Maven-SpringBootWeb入门

Maven 课程内容 初识Maven Maven概述 Maven模型介绍 Maven仓库介绍 Maven安装与配置 IDEA集成Maven 依赖管理 01. Maven课程介绍 1.1 课程安排 学习完前端Web开发技术后,我们即将开始学习后端Web开发技术。做为一名Java开发工程师,后端Web开发…

Linux内核编程(二十一)USB驱动开发-键盘驱动

一、驱动类型 USB 驱动开发主要分为两种:主机侧的驱动程序和设备侧的驱动程序。一般我们编写的都是主机侧的USB驱动程序。 主机侧驱动程序用于控制插入到主机中的 USB 设备,而设备侧驱动程序则负责控制 USB 设备如何与主机通信。由于设备侧驱动程序通常与…

< OS 有关 > 阿里云:轻量应用服务器 的使用 安装 Tailscale 后DNS 出错, 修复并替换 apt 数据源

VPS 配置 主机:vCPU x2, 512MB, 20GB位置:阿里云,日本.东京OS: ubuntu24.20 原因: 这篇是操作过程的记录文章。 2 个月前, 在阿里云买了台 vps 。当时本想放到韩国,因为它离北京近。 但最便…

【STM32-学习笔记-11-】RTC实时时钟

文章目录 RTC实时时钟一、RTC简介二、RTC框图三、RTC基本结构四、RTC操作注意事项五、RTC函数六、配置RTCMyRTC.c 七、示例:实时时钟①、main.c②、MyRTC.c③、MyRTC.h RTC实时时钟 一、RTC简介 RTC(Real Time Clock)实时时钟 RTC是一个独立…

Hadoop•搭建完全分布式集群

听说这里是目录哦 一、安装Hadoop🥕二、配置Hadoop系统环境变量🥮三、验证Hadoop系统环境变量是否配置成功🧁四、修改Hadoop配置文件🍭五、分发Hadoop安装目录🧋六、分发系统环境变量文件🍨七、格式化HDFS文…

网络通信---MCU移植LWIP

使用的MCU型号为STM32F429IGT6,PHY为LAN7820A 目标是通过MCU的ETH给LWIP提供输入输出从而实现基本的Ping应答 OK废话不多说我们直接开始 下载源码 LWIP包源码:lwip源码 -在这里下载 ST官方支持的ETH包:ST-ETH支持包 这里下载 创建工程 …

将 AzureBlob 的日志通过 Azure Event Hubs 发给 Elasticsearch(3.纯python的实惠版)

前情: 将 AzureBlob 的日志通过 Azure Event Hubs 发给 Elasticsearch(1.标准版)-CSDN博客 将 AzureBlob 的日志通过 Azure Event Hubs 发给 Elasticsearch(2.换掉付费的Event Hubs)-CSDN博客 python脚本实现 厉害的…

Kafka-常见的问题解答

讲一讲分布式消息中间件 问题 什么是分布式消息中间件?消息中间件的作用是什么?消息中间件的使用场景是什么?消息中间件选型? 分布式消息是一种通信机制,和 RPC、HTTP、RMI 等不一样,消息中间件采用分布式…

Android系统开发(六):从Linux到Android:模块化开发,GKI内核的硬核科普

引言: 今天我们聊聊Android生态中最“硬核”的话题:通用内核镜像(GKI)与内核模块接口(KMI)。这是内核碎片化终结者的秘密武器,解决了内核和供应商模块之间无尽的兼容性问题。为什么重要&#x…

数据结构-二叉树

树的相关概念: 1、节点的度:树中一个节点的孩子个数称为该节点的度, 所有节点的度的最大值是树的度 2、分支节点:度大于0的节点称为分支节点 3、叶子结点:度为0的节点称为叶子结点 4、节点的层次(深度&…

他把智能科技引入现代农业领域

江苏田倍丰农业科技有限公司(以下简称“田倍丰”)是一家专注于粮油种植的农业科技公司,为拥有300亩以上田地的大户提供全面的解决方案。田倍丰通过与当地政府合作,将土地承包给大户,并提供农资和技术,实现利…

python进程池、线程池

Python广为使用的并发处理库futures使用入门与内部原理_concurrent.futures-CSDN博客 ThreadPoolExecutor(max_workers1) 池中至多创建max_workers个线程的池来同时异步执行,返回Executor实例、支持上下文,进入时返回自己,退出时调用 submit(…

51c~SLAM~合集1

我自己的原文哦~ https://blog.51cto.com/whaosoft/12327374 #GSLAM 自动驾驶相关~~~ 一个通用的SLAM架构和基准 GSLAM:A General SLAM Framework and Benchmark 开源代码:https://github.com/zdzhaoyong/GSLAM SLAM技术最近取得了许多成功&am…

Node.js 完全教程:从入门到精通

Node.js 完全教程:从入门到精通 Node.js 是一个基于 Chrome V8 引擎的 JavaScript 运行环境,允许开发者在服务器端使用 JavaScript。它的非阻塞 I/O 和事件驱动架构使得 Node.js 非常适合于构建高性能的网络应用。本文将详细介绍 Node.js 的安装、基本语…

【JVM-9】Java性能调优利器:jmap工具使用指南与应用案例

在Java应用程序的性能调优和故障排查中,jmap(Java Memory Map)是一个不可或缺的工具。它可以帮助开发者分析Java堆内存的使用情况,生成堆转储文件(Heap Dump),并查看内存中的对象分布。无论是内…

(二叉树)

我们今天就开始引进一个新的数据结构了:我们所熟知的:二叉树; 但是我们在引进二叉树之前我们先了解一下树; 树 树的概念和结构: 树是⼀种⾮线性的数据结构,它是由 n ( n>0 ) …

电脑如何访问手机文件?

手机和电脑已经深深融入了我们的日常生活,无时无刻不在为我们提供服务。除了电脑远程操控电脑外,我们还可以在电脑上轻松地访问Android或iPhone手机上的文件。那么,如何使用电脑远程访问手机上的文件呢? 如何使用电脑访问手机文件…

ABP - 缓存模块(1)

ABP - 缓存模块(1) 1. 与 .NET Core 缓存的关系和差异2. Abp 缓存的使用2.1 常规使用2.2 非字符串类型的 Key2.3 批量操作 3. 额外功能 1. 与 .NET Core 缓存的关系和差异 ABP 框架中的缓存系统核心包是 Volo.Abp.Caching ,而对于分布式缓存…

【RAG落地利器】向量数据库Chroma入门教程

安装部署 官方有pip安装的方式,为了落地使用,我们还是采用Docker部署的方式,参考链接来自官方部署: https://cookbook.chromadb.dev/running/running-chroma/#docker-compose-cloned-repo 我们在命令终端运行: docker run -d --…

基于Python django的音乐用户偏好分析及可视化系统设计与实现

1.1 论文背景 随着信息技术的快速发展,在线音乐服务已成为日常生活的重要组成部分。QQ音乐,凭借其创新的音乐推荐算法和独特的社交特性,成功在竞争激烈的市场中获得一席之地。该平台的歌单文化和评论文化不仅满足了用户自尊和自我实现的需求…