复旦MOSS大模型开源了!Github和Hugging Face同时上线

丰色 萧箫 发自 凹非寺
量子位 | 公众号 QbitAI

复旦大模型MOSS,正式开源了!

作为国内首个开放测试的类ChatGPT产品,MOSS开源地址一放出,又冲上知乎热搜:

612e8eaa5ebb005ad82c466a54b20f71.png

从官网介绍来看,MOSS是一个拥有160亿参数的开源对话语言模型。

它由约7000亿中英文及代码单词预训练得到,精度要求不那么高的话,甚至可以在单张3090显卡上运行。

MOSS支持中英双语,拥有多轮对话使用多种插件双重能力,具备搜索引擎、文生图、计算器、方程求解的“技能点”。

6d1d889143ea4eafb94d7f7f2651f30e.png

目前,MOSS在GitHub上已有2.3k Star,热度还在持续上涨中。

b7e42b1c10bbb6d2683916be962ecc41.png

那么,MOSS究竟开源了哪些项目,目前有哪些功能?一起来看看。

会解方程,也能生成图片

据了解,这次MOSS开源的是第三轮迭代版本,名叫MOSS 003。

当然,MOSS 003也并非开源了全部模型,目前主要开放的是基座预训练模型,最终模型即将在近期开源:

02e4879ba3bce0303208aa9aedf4bcea.png

此前,MOSS已经经历了两版迭代,一版是公开邀请内测的MOSS 002版本,另一版是内部测试版本OpenChat 001。

三月份大伙儿见证的“国内首个开放测试的ChatGPT”,正是MOSS 002版本。

最新这个版本展现的功能效果如何?

MOSS团队放出了它多轮对话、解方程、写代码、生成图片和回答道德伦理等示例。

这是多轮对话的展示效果,具备资料追根溯源的能力:

99e55a9c4f88a69bcfa788b20b245ade.png

这是做数学题的示例,包括鸡兔同笼问题:

a518aa4680196a25003c239c10b76825.png

也包括生成图片功能:

6dd8ff11fa04195ae4e956a5c5406777.png

还有近期网友热议的AI道德性问题:

1796b4297e3148c53cda591b3d1832d5.png

当然,这波里面也不乏“砸场子”的网友。

8ee10dfaa5677c6afe5a39e2ea1c6a0d.png

例如官方GitHub问答中,有网友很想了解它的中文能力和chatglm6b相比谁更好,下面有网友调侃:

你是来砸场子的么?

这也是因为此前团队在MOSS 002公开测试时曾经表示过,MOSS的中文能力不算太好,这也与训练数据有关。

除此之外,团队这次还开源了一部分训练数据。

07f6faed5780bae34458f4f93bccf0e0.png

至于完整数据,复旦MOSS团队表示“近期会全部开源”。

国内最先发布的ChatGPT产品

MOSS取自于《流浪地球》里面那个拥有自我意识的AI。

它由复旦自然语言处理实验室邱锡鹏团队研发,2月20日正式发布。

当时国内一众大厂还在陆续高调官宣要造ChatGPT,谁都没想到它就这么一声不吭地杀了出来。

所以尽管MOSS的参数量比ChatGPT小了一个量级,大家还是蜂拥而上,把服务器都给挤爆了。

b5a7674a9d406365466c4d62136925a3.png

而发布没过一周,复旦大学教授邱锡鹏就在演讲中提出,如果优化顺利,计划在三月底开源MOSS。

因为在他看来:

人们之所以很容易有“卡脖子”问题,是因为缺乏一个好的行业生态。

就拿ChatGPT来说,OpenAI公司只需专注做好模型,算力、数据和系统则交给其他公司。反观国内,很多公司在做大型语言模型时所有环节都需要自己做,每家的数据和算力也有限,结果是每家都做不大。在发展过程中,大型语言模型训练与在线推理成本过高也是一个重大问题。

因此,他们一开始就考虑要把MOSS开源而不是商业化。

有了这样一个基座,大家就不用重复开发底层技术,可以在上面接不同的细分领域。

如今,虽晚了快一个月,MOSS也说到做到了。

你试用过复旦MOSS开源模型了吗?效果如何?

MOSS开源项目地址:
[1]https://github.com/OpenLMLab/MOSS
[2]https://huggingface.co/fnlp/moss-moon-003-base
[3]https://huggingface.co/fnlp/moss-moon-003-sft
[4]https://huggingface.co/fnlp/moss-moon-003-sft-plugin

参考链接:
https://www.zhihu.com/question/596908242

《中国AIGC算力产业全景报告》征集启动

AIGC算力需求爆发,谁将在此次算力产业变革中脱颖而出?

量子位《中国AIGC算力产业全景报告》《最值得关注的AIGC算力玩家》正式启动对外征集,期待有更多优秀的机构产品、案例与技术能够被大众看到。

62f75406e34946fa3f50c98de8514239.png

点这里👇关注我,记得标星哦~

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/23660.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

国内首个类 ChatGPT 模型:复旦大学 MOSS 今日正式开源,RTX 3090 显卡可运行

4 月 21 日消息,复旦大学自然语言处理实验室开发的新版 MOSS 模型今日正式上线,成为国内首个插件增强的开源对话语言模型。 目前,MOSS 模型已上线开源,相关代码、数据、模型参数已在 Github 和 Hugging Face 等平台开放&#xff0…

小程序利用canvas 绘制图案 (生成海报, 生成有特色的头像)

小程序利用canvas 绘制图案 (生成海报, 生成有特色的头像) 微信小程序生成特色头像,海报等是比较常见的。下面我来介绍下实现该类小程序的过程。 首先选择前端来通过 canvas 绘制。这样比较节省成本,效率也高。小程序…

LLM-2020:GPT-3【参数量:1750亿(175B)】【用于训练的token数量:500B】【OpenAI】

GPT1:Imporoving Language Understanding By Generative Pre-training GPT2:Lanuage Models Are Unsupervised Multitask Learners GPT3:Language Models Are Few-shot Learners GitHub:https://github.com/openai/gpt-3 从GPT三个版本的论文名也能看出各版本模型的重点…

个人使用ChatGLM-6B遇到的部分问题汇总

本文目录 写在最前个人windows电脑部署时遇到KeyError: chatglm问题原因:transformers版本有问题解决方法 OSError/AssertionError/Failed to load cpm_kernels问题原因:配置内容没有修改、依赖包不完整解决方法 想要运行web_demo2.py时遇到No matching …

大佬联合署名!反对 ACL 设置匿名期!

夕小瑶科技说 原创 作者 | 智商掉了一地、Python 近日,自然语言处理领域的多位知名学者联合发起了一项反对 ACL 设置匿名期的联合署名行动,包括著名学者 William Wang 和 Yoav Goldberg 在内,还有Christopher Potts、Hal Daume、Luke Zettl…

人工智能轨道交通行业周刊-第46期(2023.5.22-5.28)

本期关键词:数字孪生、AI铁路人、道岔、施封锁、图像质量评价、大模型小型化 1 整理涉及公众号名单 1.1 行业类 RT轨道交通人民铁道世界轨道交通资讯网铁路信号技术交流北京铁路轨道交通网上榜铁路视点ITS World轨道交通联盟VSTR铁路与城市轨道交通RailMetro轨道…

ChatGPT背后的大模型如何做推理?港中大(深圳)等最新《自然语言推理》综述详述预训练语言模型推理方法...

点击上方“AI遇见机器学习”,选择“星标”公众号 重磅干货,第一时间送 专知 自然语言推理怎么做的? 网站链接:https://arxiv.org/abs/2303.14725 本文从概念上和实践上对自然语言处理(NLP)领域的自然语言推理进行了更清晰的认识。…

ChatGPT和GPT-4的逻辑推理如何?浙大等最新《ChatGPT和GPT-4逻辑推理能力全面评测》论文解答,常规优异新数据差...

来源:专知 运用逻辑推理能力进行全面的自然语言理解尝试。随着生成预训练Transformer 4(GPT-4)的发布,它在推理任务上被称为“先进”的,我们渴望了解GPT-4在各种逻辑推理任务上的表现。本报告分析了多个逻辑推理数据集…

机器学习0 — 总体架构,ChatGPT时代必须掌握的

1 从ChatGPT看目前AI重要性 随着ChatGPT的一声巨响,拉响了强人工智能的序幕。ChatGPT相对于目前的各种机器人,简直就是弓箭和导弹的区别。沉寂了两三年后,AI如今又一次站在了人类工业的最高舞台。个人认为AI已经成为所有人,特别是…

侯世达《大西洋月刊》撰文:GPT-4写了篇《我为什么要写GEB?》,为何老夫毛了?...

来源:科技世代千高原 作者:侯世达(道格拉斯霍夫施塔特)2023 年 7 月 8 日 一个快得令人眼花缭乱的聊天机器人无法取代一个有思想、活生生的人类真实而反思的声音。 到目前为止,您很可能已经高度意识到人工智能最近由于…

产线环境故障排查常用套路

更多内容关注微信公众号:fullstack888 线上故障主要会包括cpu、磁盘、内存以及网络问题,而大多数故障可能会包含不止一个层面的问题,所以进行排查时候尽量四个方面依次排查一遍。 同时例如jstack、jmap等工具也是不囿于一个方面的问题的&…

vue使用websocket 导致server崩溃的问题

现象:项目中使用了websocket(不管何种websocket库,原生websocket、io.socket),只要websocket服务停止,npm run serve 就崩溃,如果一致调试前后端程序的话,崩溃了得重启,此问题一致困…

QT-多线程与界面之间交互总结

1. 线程与界面组件需要注意的地方 在QThread线程中不能直接创建QWidget之类的界面组件. 因为在QT中,所有界面组件相关的操作都必须在主线程中(也就是GUI thread) 所以, QThread线程不能直接操作界面组件. 2.QThread线程如何操作界面组件-方法1 将多线程类对象封装为GUI界面…

Qt常用对话框设计

一、概述 Qt提供了多种自带的标准对话框,常见的对话框包括文件对话框、颜色对话框、字体对话框、输入对话框、消息对话框。 二、文件对话框 文件对话框通过QFileDialog类实现,通过文件对话框可以打开一个文件浏览对话框,可以实现打开文件、…

GUI编程--PyQt5--QWidget3 控件的交互

文章目录 控件是否可用控件是否可见编辑状态窗口的激活窗口关闭案例提示信息焦点操作 控件是否可用 obj.setEnabled(True) obj.isEnabled() 控件是否可见 显示与隐藏 本质是重新绘制所有的控件,从父控件依次到子控件。 obj.setVisible(True) 绘制图形 触发了pain…

Fdog系列(四):使用Qt框架模仿QQ实现登录界面,界面篇。

文章目录 一. 前言二. 正文1. 创建窗口,添加基本组件2. 自定义标题,隐藏任务栏标题,实现系统托盘显示3. 美化主界面,文本框的奇思妙想4. 实现背景阴影 一. 前言 Fdog系列已写目录: Fdog系列(一&#xff0…

Qt之对话框(QDialog)

文章目录 一、对话框的概念二、与QWidget的区别三、对话框2种显示方法四、对话框返回值的概念本节示例 提示:以下是本篇文章正文内容,下面案例可供参考 一、对话框的概念 对话框是和用户简短交互的一种窗口。如:登录界面,关于界…

《爱情公寓》电影,让我十年的情怀,一瞬间都喂了狗

点击上方“程序人生”,选择“置顶公众号” 第一时间关注程序猿(媛)身边的故事 作者 丁彦军 来源 恋习Python 如需转载,请联系原作者授权。 深陷抄袭之名、诉讼纠纷的《爱情公寓》终于上映了。 情怀粉们的力量不容小觑,…

长坡厚雪 一个智能手机的“大时代”迎面到来

作者 | 曾响铃 文 | 响铃说 “这是一个最好的时代,也是一个最坏的时代。 ” 在世界贸易关系、国际环境等不确定因素影响下,全球都蒙上了一层阴影。前不久召开的2023博鳌亚洲论坛主题就是“在不确定的世界中探寻确定性”,简单来说就是当前社…

《XP、面具框架玩机》小米手机玩机教程--菜鸟小回

《框架玩机》小米手机玩机教程 ChatGPT点击直接对话:小回公益GPT 注:刷机有风险,玩机需谨慎。 操作不当所造成后果与菜鸟小回无关!!! 今天来分享小米手机玩机技巧,Magisk面具Xp框架! 可能你多上…