开源模型:小羊驼(Vicuna-13B),可达chatGPT九成效果。

参考链接:https://mp.weixin.qq.com/s/OK5NLLVSBLb-4QsnqGp45g

文章目录

  • 简要介绍
  • 模型介绍
    • 数据来源
    • 模型评估方法
    • 模型局限性
    • 模型总体评价


简要介绍

以 Meta 开源 LLaMA(直译为「大羊驼」)系列模型为起点,研究人员逐渐研发出基于LLaMA的Alpaca(羊驼)、Alpaca-Lora、Luotuo(骆驼)等轻量级类 ChatGPT 模型并开源。

近日,研究者们又提出了一个新的模型:Vicuna(小羊驼)。该模型基于LLaMA,参数量13B。Vicuna-13B 就是通过微调 LLaMA 实现了高性能的对话生成

有趣的是,在该模型的评测环节中,作者没有通过某种“标准化考试”来测定模型性能,而是让GPT-4当考官,看看 GPT-4 更倾向于 Vicuna-13B 还是其他基线模型的答案。结果显示,相比于现有的 SOTA 开源模型(LLaMA、Alpaca),GPT-4 在超过 90% 的问题中更倾向于 Vicuna,并且 Vicuna 在总分上达到了 ChatGPT 的 92%。

Vicuna(小羊驼)已开源,项目地址:https://github.com/lm-sys/FastChat
demo 地址:https://chat.lmsys.org/


PS:浅浅玩了一下。总结:虽然没有chatGPT厉害,但是也不能算差了吧!而且开源是真香:)
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

模型介绍

数据来源

Vicuna 使用从 ShareGPT 收集的用户共享数据对 LLaMA 模型进行微调。从 ShareGPT 收集了大约 7 万个对话。ShareGPT 是一个 ChatGPT 数据共享网站,用户会上传自己觉得有趣的 ChatGPT 回答。

在这里插入图片描述

模型评估方法

该研究创建了 80 个不同的问题,并利用 GPT-4 来初步评估模型的输出质量,其中将每个模型的输出组合成每个问题的单个 prompt。然后将 prompt 发送到 GPT-4,由 GPT-4 来根据有用性、相关性、准确性和细节来评估上述模型生成的答案质量。

在这里插入图片描述
下面是小羊驼-13B和其他模型的一些比较:
在这里插入图片描述

模型局限性

不擅长推理或数学任务,还有在输出信息的准确性和偏见等方面存在缺陷。

模型总体评价

作为一个开源模型,性能总体上可以达到 ChatGPT 的 90%,已经非常难得,并且成本较低,只需 300 美元。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/60093.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

EPROM 的发明者出生 | 历史上的今天

整理 | 王启隆 透过「历史上的今天」,从过去看未来,从现在亦可以改变未来。 今天是 2023 年 3 月 28 日,在 1897 年的今天,意大利数学家布拉里福蒂在巴洛摩数学会上提出了的悖论,这个悖论表达了布拉里对于序数理论的质…

chatgpt赋能python:如何用Python写手机软件

如何用Python写手机软件 Python作为一种高级编程语言,越来越受到开发者的欢迎。这篇文章将会向您介绍如何使用Python来编写手机软件。 简介 Python是一个面向对象的编程语言,它可以在各种不同的计算机平台上运行,包括移动设备和智能手机。…

chatgpt赋能python:Python如何访问手机:探索移动端SEO优化的新途径

Python如何访问手机:探索移动端SEO优化的新途径 随着移动互联网的快速发展,移动端成为了各大搜索引擎的竞争焦点。对于SEO优化工程师而言,探索移动端SEO优化的新途径显得尤为关键。而Python作为一种强大的编程语言,在移动端SEO优…

考研英语 大作文模板

考研英语 大作文模板 内容来自有道考神陈曲老师 公众号: 陈曲老师 大作文 模板框架 As is vividly but subtly(symbolically) depicted in the cartoon/portrayal/photo that __.(描图 In contrast)Obviously, what the artist/picture tries to convey is well reflected/mi…

《复盘》思维导图

最近看了《复盘》这本书,有些方法论不错,做了个思维导图,要原图的留邮箱。

如何做好复盘工作

复盘是一种通用方法,兼顾成功经验的传承和失败教训的汲取。 复盘即可以用在每日的工作中、项目的管理中,也可以用在我们日常生活中。 复盘有什么价值 把失败转化为财富把成功转化为能力 如何复盘 11

团队复盘指南

很多团队的工作是没有成功经验可以借鉴的,而竞品的成功经验也很少能公开分享,所以多数情况下只能靠团队自己摸索。面对这种情况,团队复盘工作就格外重要。 为什么要复盘 复盘的功效:增强训练效果;打造执行力&#xf…

[思维模式-13]:《复盘》-1- “知”篇 - 认识复盘

目录 前言 一、什么是复盘 二、复盘的三个关键词 三、复盘,而非总结 四、复盘的优势与局限 五、复盘与行动学习、培训、绩效改进的区别与联系 六、关于复盘的几个常见误解 误解1:可否对他人之事进行复盘 误解2:“项目后评估”是复盘吗…

【好用】大厂项目复盘:复盘不是终点,而是一个新的起点。

“ 复盘,最开始是围棋术语,即把下过棋的步骤重新演练一遍,分析当时下棋时的思考过程和优劣势。而现在,这个词语被用到各个领域。在工作中复盘,是一种有效的将工作的思考、总结、反思、提高整合于一身的工作方式。” 在…

复盘?没错就是你理解的复盘,来看看几种复盘模型吧

博主介绍: – 我是了 凡 微信公众号【了凡银河系】期待你的关注。未来大家一起加油啊~ 今晚本身想写一会算法题,但是看到了桌面的一大堆学习资料乱七八糟的什么都有,恍然发现自己最近有些迷失了目标,也许最近需要重新制定一下目标…

个人项目复盘

作为一个新手,该怎样从头到尾完整的开发一个项目呢?我将从:开发前、开发过程中、开发完成后,三个方面来分享我的思考。 项目开发前 项目开发前你要做的就是:需求分析。 需求分析就是理清楚:你的项目要解决的问题有哪些?你所面对的用户分别有哪些需求(可能是个多用户…

【短视频运营】短视频剪辑 ① ( 下载软件 | 安装软件 | 简单使用 )

文章目录 一、下载软件二、安装软件三、简单使用 一、下载软件 到剪映官网 https://lv.ulikecam.com/ 下载剪辑软件安装包 ; 点击 " 立即下载 " 按钮 , 下载 安装包 ; 二、安装软件 安装 剪映 软件 , 选择合适的安装位置 ; 安装过程 , 等待软件安装完毕 ; 安装完成后…

用剪映剪辑视频的时候,用什么软件进行配音呢?

大家用剪映剪辑视频的时候都是用什么软件进行配音的呢?其实剪映里面是可以自己进行配音的,把视频或者图片上传进去就可以进行制作。点击添加音频,就可以自己进行录音,这个是需要真人进行录音的,录制之后可以改变其它的…

如何从小白起步成为百万博主|配音运营工具必不可少

从新手做短视频,无论你是抖音还是快手,掌握一些视频运营工具,能让我们日常工作事半功倍 以下是我做短视频三年来,一直都在使用的工具,从视频素材剪辑软件音效配音,满足了我日常运营的需求,新手也…

跳跳鱼视频处理大师Mac版,使用方法介绍

现在是短视频的时代,每个人都想通过视频来实现自己的营销目的,因此对于视频的使用非常的频繁,这也要求这方面的从业者需要掌握一些基础的视频处理技巧,这对我们在工作上会有很大的帮助。但是专门用于苹果电脑上的音频处理软件非常…

面对海量内容,如何快速完成视频内容审核?

如今,随着智能时代的快速发展,智能审核系统在专做内容的平台上已经很常见。 在面对巨大的内容审核压力之下,基于人工智能的智能审核系统被广泛用于各类内容的审核和标注。但是,技术水平通常会限制评估错误。 为了减少误判&#xf…

短视频搬运神器,二次剪辑神器,涨粉热门必备软件,黑科技----效果杠杠的

说到搬运,很多人可能还是不理解,就是把别人搬运的视频发到自己的账号里面去,但是不懂的人 可能理解不了,抖音里面百分之99的人,不具备拍摄真人出镜的,你所刷到的很多视频都是我们二次创作,通常就…

做短视频也需要“辅助”,拍摄+后期,这些工具你都有吗

做短视频也需要“辅助”,拍摄后期,这些工具你都有吗 俗话说,辅助打得好,主角才能成功,做短视频亦是如此。如果自己的短视频已经走上了正轨,想要做出更好的短视频,那么不妨从短视频的“辅助”下…

这两款好用的配音软件,自媒体小白也能轻松上手

很多小伙伴在剪辑视频的过程中经常可以看到一些语音素材,经常刷视频的小伙伴也可以看到很多视频中经常出现一些AI合成的声音或者音效,这些配音可以给视频增添很多亮点!那么大家都是怎么将文字转语音的呢?今天给大家分享3款非常专业…