学习实践-Alpaca-Lora (羊驼-Lora)(部署+运行+微调-训练自己的数据集)

Alpaca-Lora模型GitHub代码地址

1、Alpaca-Lora内容简单介绍

  • 三月中旬,斯坦福发布的 Alpaca (指令跟随语言模型)火了。其被认为是 ChatGPT 轻量级的开源版本,其训练数据集来源于text-davinci-003,并由 Meta 的 LLaMA 7B 微调得来的全新模型,性能约等于 GPT-3.5。
  • 斯坦福研究者对 GPT-3.5(text-davinci-003)和 Alpaca 7B 进行了比较,发现这两个模型的性能非常相似。Alpaca 在与 GPT-3.5 的比较中,获胜次数为 90 对 89。
  • 然而,Alpaca的答案通常比ChatGPT短,反映了text-davinci-003较短的输出。

运行界面

在这里插入图片描述

技术原理

在这里插入图片描述
在这里插入图片描述

2、Alpaca-Lora模型部署

部署步骤如下:(注意使用的是一块GeForce RTX 4090-Linux系统,若使用Windows将要考虑显存容量)

pip install -r requirements.txt(如果网好的情况下,直接使用;网不好,单独拎出来下载)

在这里插入图片描述
请注意:红框标注的两横可能在下载时出现错误,因此进行如下操作。
1.transformers的下载

pip install transformers
  • 可能会遇到python报错:ImportError: cannot import name ‘AlbertModel‘ from ‘transformers‘
    我们只需要将transformers升级一下即可
pip install transformers --upgrade

2.参数的下载,包括 LLaMA-7B-HF 大模型和 Lora 参数

  • LLaMA-7B-HF 大模型
python
>>> from huggingface_hub import snapshot_download
>>> snapshot_download(repo_id="decapoda-research/llama-7b-hf")
  • Lora 参数
>>> snapshot_download(repo_id="tloen/alpaca-lora-7b")

运行后终端的结果
在这里插入图片描述
红色框住的是文件所在地址,此时运行generate.py,代码会报错。

3、Alpaca-Lora模型运行

修改generate.py文件中的模型参数地址后,再次执行generate.py,问题解决。
在这里插入图片描述
终端结果
在这里插入图片描述
点击生成的网页,修改红框内的参数,即可!
在这里插入图片描述

3、Alpaca-Lora模型微调

自己数据集如何制作,格式是什么样子的&改哪部分的finetune.py的代码,怎么输入!

1. 自己数据集如何制作,格式是什么样子的

在这里插入图片描述
通过官方给的数据集的格式,我们可以看到有三个变量,即“instruction”,“input”,“output”。
我想到的就是将我们常用的.txt按照想要的结构转为所需的.json文件,即可完成数据集的制作!

转换代码看这一篇

2. 如何改finetune.py的代码

在这里插入图片描述
其实很简单,就是给几个超参数。
base_model:是我们上面下载的LLaMA-7B-HF 大模型的地址
data_path:是我们数据集存放的地址
output_dir:我们模型输出的位置(这里和我一样就行,不需要自己创建文件夹)

当然还有一些训练超参,大家自动调整,这里摆出给大家做参考!
在这里插入图片描述
这里会遇到torch.cuda.0utofMemoryError: CUDA out of memory.问题,我把解决方案写在了这篇,有需要的拿去借鉴!

最后欢迎大家在评论区留言!!!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/67841.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

aiXcoder私有化部署与大模型个性化训练:如何将AIGC应用到您的企业中?

现代企业的成功转型离不开创新,而创新离不开人工智能等前沿技术的推动。随着全球经济的发展和竞争的日益激烈,企业需要更快、更高效地交付新产品、服务和解决方案,以更好地满足客户需求并保持市场竞争力,应用研发效率提升企业竞争…

【AI人工智能】 最强大的语言模型镜像 使用起来真的太方便了! 真的要解放代码思维了吗?

🚀 个人主页 极客小俊 ✍🏻 作者简介:web开发者、设计师、技术分享博主 🐋 希望大家多多支持一下, 我们一起进步!😄 🏅 如果文章对你有帮助的话,欢迎评论 💬点赞&#x1…

Segment Anything Meta开源分割一切模型,为进军元宇宙更近一步

上期图文教程,我们分享了Segment Anything分割一切模型的原理,Segment Anything Model 是一种以最少的人工干预构建全自动可提示图像分割模型的方法。模型提供了一键分割图片的方法,当然模型也可以运行我们输入一个坐标点,一个输入框,或者输入一个对象的文本来分割输入的对…

ubuntu(虚拟机)解决git速度慢的问题

在家用的是电信网,每次git大型项目总是失败,甚是苦恼,解决了好几次都失败了,终忍受不了,下定决心干掉它。 git clone特别慢是因为github.global.ssl.fastly.net域名被限制了。 只要找到这个域名对应的ip地址&#xf…

两行配置解决github官网访问速度慢的问题(速度贼快!)

文章目录 前言一、配置步骤1.1 CMD查看网络连通情况1.2 获取Github相关网站的ip 二、配置本机host地址三、Github官网总结 前言 小伙伴们会不会因为github官网速度慢而烦恼呢,想上班去摸鱼都不方便,下面小编带你快速解决github访问速度慢的问题。 一、配…

GitHub访问速度慢

github 是全世界最流行的开源项目托管平台,其代表的开源文化从根本上改变了软件开发的方式.基本上所有的需求都能从 github 上或多或少找到现成的实现方案,再也不用重头开始造轮子而是自定义轮子! 然而,有时候国内访问 https://github.com/ 速度太慢,如何加速访问 github.com …

机器人开发--Cartographer详细介绍

机器人开发--Cartographer详细介绍 1 介绍1.1 概述1.2 评价1.3 特点 2 框架官方 3 代码结构heimazaifei 解读linyicheng 解读Xiaotu 解读cartographer_ros地图构建器map_builderLocal SLAMGlobal SLAM 赵锴 解读地图设计匹配方法一阶段解算二阶段解算后端如何检测回环检测回环后…

《恒盛策略》人工智能概念回落,青木股份等跌超10%

近来强势的人工智能概念28日盘中回落走低,截至发稿,青木股份跌超13%,光云科技跌超12%,彩讯股份、宝兰德跌超10%,财富趋势、昆仑万维、当虹科技跌约9%,同花顺跌超8%,寒武纪跌逾7%。 消息面上&…

变强速度超出预期,安全问题逐渐变大,多国停用ChatGPT

前段时间,小编向大家介绍过,随着最近GPT-4语言模型的正式投入使用,ChatGPT也带来了全新的插件——网络浏览器和代码解释器,赋予ChatGPT使用工具、联网、运行计算的能力。 更新后,跟据全球媒体的反馈来看,GP…

10大免费的白嫖网站

作者:pk哥 来源:Python知识圈 本次给大家分享下常用的 10个白嫖网站。 万能命令 https://wanneng.run/cn/在你浏览任意网页时,在网址前面输入这个万能命令 wn.run/ 就会展示出用于该网页的各种附加在线工具,方便快捷,一…

白嫖各种在线工具~~总有一款适合你

小伙伴们,好久不见 絮叨在线网站1.脚本之家(在线脚本)2.ProcessOn(在线绘图神器)3.MaTools(在线工具)4.独特工具箱(代码图片神器)5.Trello(在线任务管理工具&…

白嫖百度文库的方法

鉴于作恶多端的baidu,网盘作恶,文库也作恶。 今天来看下怎么白嫖百度文库 经验是在知乎上看到的,知乎一下你就知道~ 方法揭晓:VVV大法好 baiduvvv 具体的教程往下看,跟着我一步一步走 第一:正常我们看到的界面是这样…

产品经理-绘制流程图

流程图是按公司的业务或者用户在一个产品中的进度或者使用的先后顺序进行关键节点的排列说明图,流程图的主要目的是为了方便创作者在梳理公司的业务流,或者用户在使用产品服务的时候,所进行的系列流程和关键节点,这样方便对接的同…

项目经理产品经理必看,流程图绘制Drawio

这个是用drawio绘制的技术架构流程图,是不是非常的简单易看!

业务流程图的绘制流程分享(一)

前言:近来一段时间,忙于整理业务流程图,期间,关于流程图的绘制方法和工具也与内部团队和外部做了心得交流,恰好,个人生活也牵涉在买房,婚礼,户口迁移等流程中。不知不觉,…

干货收藏!如何绘制产品流程图

在产品流程图之前,先把将自己的业务流程、用户操作、页面跳转想清楚,我们就减少很多无用功,真正做到事半功倍。 文章目录如下: 重新理解流程图产品设计的三种流程图产品流程图的三种结构如何高效绘制产品流程图 01 重新理解流程…

产品逻辑图和产品流程图的区别?

结论先行。 关于产品逻辑图和产品流程图的区别,我们不能简单地根据人群进行划分,认为前者针对内部人员,后者针对用户。 事实上,在产品进入正式研发前,产品逻辑肯定得先行,逻辑一定得先弄清楚!…

[产品设计]如何绘制业务流程图(下)

原文链接 http://www.woshipm.com/pmd/27239.html 有一些同学看过了我写的《如何绘制业务流程图》,发私信过来希望我谈谈页面流程图。 这个话题其实我也酝酿过,但一直没有写出来。细究起来,除了懒,原因其实有好几条: …

一分钟了解业务流程图与功能流程图的区别

业务流程图,用于说明整个业务逻辑流向; 功能流程图,用于确定产品功能设计逻辑。 怎么理解这两句话呢?我们来“看图说话”吧(一张是天猫退货业务流程图,一张是天猫退款用户侧的功能流程图) 业务…

产品流程图设计

一个产品设计之初,必先从流程图做起,流程图可以用来表达产品各式各样的流程,好的流程图,可以快速让整个团队熟悉理解业务,并优化业务。 一、常用的流程图图标含义 流程图通常由起止框、处理框、流程线、判断框、输出输…