做大模型领域的“Linux”!智源 FlagOpen 大模型技术栈全部开源

54f370239bacfac69297cb899e04be33.gif

AI 时代封闭生态正在形成,需要建立开源开放的“新 Linux”生态体系。

作者 | 唐门教主

出品 | CSDN(ID:CSDNnews)

2023 年 2 月 28 日,在位于北京海淀的智源人工智能研究院里,FlagOpen 飞智大模型技术开源体系发布的现场,智源人工智能研究院院长黄铁军在演讲中表示,从 PC 时代 Linux 打破 Wintel 联盟的垄断,在 iOS 的封闭生态和 Android 的准封闭生态下,开源的 RISC-V 开始崛起。如今进入智能时代,新的封闭生态开始形成,如何防止历史重演?Linux 和 RISC-V 已经告诉我们如何解决,只是这一次,我们需要从开始就走开源开放的道路。

d46a2108a9ae54474c017538ca568bad.png

“智能时代需要真开源,不是 Android 那样的利用开源,不是某一企业控制的开源,而是完全在开源社区发展的、大家的开源,就像 Linux、RISC-V 和 2022 年完全转入开源社区的 PyTorch。大模型时代,需要这样的开源。”黄铁军如是说道。

25197683c11ff56c15682d295e048c78.jpeg

黄铁军,智源人工智能研究院院长

其实,就在两天前,上海临港,在“新程序员:人工智能新十年”论坛上,智源人工智能研究院副院长兼总工程师林咏华表示,现在大家所看到的 AIGC 文生图应用,和类 ChatGPT 多任务生成生成式模型,其实只是冰山一角。

2099abc1c7422e2356f4dffb81be9bc6.jpeg

林咏华,智源人工智能研究院副院长兼总工程师

冰山之下,是大模型技术全栈的创新。林咏华这样说道:“过去几年,智源一直在做大模型研究,并积累冰山之下的大模型技术栈。走到今天,我们不再沉迷于做一枝独秀的大模型,更希望将积累的大模型技术栈,以整体开源的方式分享出来。今天的发布仅仅是一个开始,我们将和更多的企业、团队一起不断丰富 FlagOpen 的能力,推动整个产业在大模型创新上走得更快。”

一方面,是形成 AI 时代的核心竞争力,另一方面,在行业内形成联盟,一起创新突破技术难关。基于此,全部开源、立志做大模型领域的 Linux 的 FlagOpen 飞智大模型技术开源体系正式发布!

d4d2e48d6e43569f80bd53bd7192d410.png

接下来,让我们一起来看一下,FlagOpen 飞智大模型技术开源体系究竟都包含哪些。

0f89c88a8e02ec678ed0427ff592dd53.png

全部开源的 FlagOpen 飞智大模型技术栈

据林咏华介绍,FlagOpen(飞智)主要由 FlagAI、FlagPerf、FlagEval、FlagData、FlagStudio 和 FlagBoot 构成,旨在建设大模型领域的“Linux”。基于 FlagOpen,国内外开发者可以快速开启各种大模型的尝试、开发和研究工作,企业可以大大降低大模型的研发门槛。

77cd80dca4cf0a916684f16f3f2a5604.png

FlagAI:集大模型算法和工具为一体的一站式开源大模型软件体系

集成了多种大模型并行处理和训练加速技术,支持高效训练。FlagAI 中包含了丰富的模型资源,涵盖 NLP、计算机视觉与多模态等多个领域。其中在多模态方面,FlagAI 为 FlagStudio 项目提供了一个多语言版的 AI 艺术创作模型,辅助提高创作效率。

FlagPerf:面向 AI 异构芯片的一体化基准性能评测引擎

旨在建立开放和标准的探索开源、开放、灵活、公正、客观的 AI 芯片评测体系,通过抽象模型训练过程及厂商共建扩展的形式,提供 AI 性能测试的通用性和异构硬件的灵活性。FlagPerf 具备多框架支持,标准化模型接口,支持易用命令行工具,支持容器环境测试等特性。

FlagEval:面向大规模基础模型的一体化评测平台

旨在探索和集合科学、公正、开放的基础模型评测基准、方法及工具,对多领域(如语言、语音、视觉及多模态)的基础模型进行多维度(如准确性、效率、鲁棒性等)的评测。当前,FlagEval 主要开放多模态领域的评测工具,未来会陆续发布更多领域、更多维度的评测工具。

FlagData:面向大模型研究领域的高效易用数据处理工具包

FlagData 集成了包含清洗、标注、压缩、统计分析等功能在内的多个数据处理工具与算法,为自然语言处理、计算机视觉等领域的模型训练与部署提供了数据层面的有效支撑。

FlagStudio:利用人工智能大模型支持艺术创作应用

FlagStudio 是智源研究院应用文生图、文生音乐等人工智能模型支持艺术创作相关的开源项目集合,利用图文、声文等多模态模型,依托研究院在 NLP 和 CV 领域大模型的研究基础,为艺术创作提供更加符合中文场景的人工智能开源算法和模型。当前主要提供文生图相关的能力。

FlagBoot:基于 Scala 开发的轻量级高并发微服务框架

FlagBoot 是基于 Scala 开发的轻量级高并发微服务框架。FlagBoot 框架是默认完全异步的,微服务处理任何一个 API 都是完全异步执行的,FlagBoot 帮助开发者对异步线程控制进行了性能良好的统一管理。FlagBoot 中没有宏、隐式转换等晦涩难懂的代码,再加上 FlagBoot 的代码量极少,这使得开发者能够轻易地了解 FlagBoot 的逻辑,并进行自定义的修改。

6f8a8490f2f628c61d8f774c9a031e18.png

智源研究院和 CSDN 联合发布“数据飞轮”数据共享标注计划

在 FlagOpen 飞智大模型技术开源体系发布的同时,智源还与 CSDN 一起联合发布了“数据飞轮”计划。CSDN 副总裁邹欣表示,CSDN 和智源共同意识到,AI 社区要解决当前大模型创新需要解决的数据难题。

31eb14115d68e060f6bd8b95d52aa6ce.jpeg

邹欣,CSDN 副总裁

当前,我们在数据方面主要面临以下困境:

1. 数据存储分散:构建大模型所需的开放数据集由不同机构构建,需进行搜集并整合;

2. 数据建设成本高昂:据 AI 分析公司 Cognilytica 统计,在 AI 相关研究中,超过 80% 的时间都花费在了数据准备工作上;

3. 数据集不开源:以 ChatGPT 为代表的 AI 研究指令数据集没有开放共享,结果难以复现,数据集分散导致资源浪费。

e3bb4d49ccedcd13f1c2fda5a397bff5.png

由此,“数据飞轮”(OpenLabel)数据共享标注计划应运而生。智源研究院和 CSDN 将合力推动数据共享标注,通过 OpenLabel、 CSDN 及广泛的社区合作,以公益互助方式,鼓励人人参与标注,热心共建。基于 FlagData 的分析清洗能力,打造高质量数据集,承诺定期开源发布。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/60468.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

干货分享|编辑视频有哪些选择,常见视频剪辑软件分享

如果我们想更好地制作精彩的视频,精彩的剪辑是绝对必要的。我们可以通过编辑在日常生活中达到无法实现的效果,巧妙地使用编辑也会给我们的视频增加很多分数。 说到视频剪辑,adobe全家桶应该是绕不开的话题了。PR,AE,AU…

视频剪辑软件哪个比较好用?这几款常用的视频剪辑软件你要知道

众所周知,一个好的视频肯定离不开好的剪辑,我们需要用各种剪辑技巧来让自己的视频在短视频中脱颖而出,这样我们的视频才能被更多人看见,被更多人喜欢。那你们知道好的视频剪辑用什么软件吗?今天我来分享我个人觉得还不…

Ubuntu 如何启动、停止或重启服务

在本文中,我们向您介绍在 Ubuntu 中启动、停止和重启服务的方法。 列出 Ubuntu 中的所有服务 在开始之前,先获取计算机上所有服务的列表,因为我们需要知道服务名称来管理服务。 service --status-all 它将显示 Ubuntu 上的完整服务列表。…

chatgpt赋能python:Python中等待一秒的语句:让你的程序暂停与等待

Python中等待一秒的语句:让你的程序暂停与等待 当编写Python程序时,经常需要添加暂停或延迟功能,以使程序能够在执行某些操作之前或之后等待一段时间。Python拥有一个内置的语句可以实现这种延迟:time.sleep()。 什么是 time.sl…

Android TTS的暂停与恢复功能

最近有同事做项目遇到这样一个需求,就是通过原生TTS播报文本希望能有暂停的功能,目前原生TTS接口TextToSpeech没有提供相应的接口,所以只能通过其他途径进行解决,目前初步的解决思路是: (1)通过…

为什么好多人说uc浏览器是最牛的浏览器?

UC浏览器最强大的功能是视频缓存,很多人都因为它可以视频缓存而下载使用。但是,随着它这项功能的消失,越来越多的人开始选择舍弃UC浏览器了,为何呢? 1.广告增多 我们发现UC浏览器的广告开始增多,整体的浏…

继 QQ 被曝扫描浏览器历史记录之后,微信也被曝出会扫描所有 Chromium cookies

| 快讯 文章目录 微信被曝出扫描所有 chromium cookies腾讯技术人员最新回复 微信被曝出扫描所有 chromium cookies 1 月 18 日,PC 端 QQ 被曝出启动 QQ 时,QQ会自动扫描所有浏览器的历史记录。 1 月 19 日,经火绒证实,QQ 的确…

夸克、QQ浏览器、简单搜索竞品分析报告

作者:迷航 (转载已取得作者授权) 一、竞品分析目的 伴随着中国移动互联网的人口红利逐渐到顶,手机浏览器市场的马太效应也越发强烈。在激烈的竞争环境下,仍有新价值要素正在带来新的机会:Z时代、00后用户逐…

告别用了8年的QQ浏览器,这也许是我换浏览器的原因吧

手机浏览器作为高频率使用的应用之一,几乎每个人都会用到,相信大家也一定会有自己常用的一个手机浏览器。不管别人说这个浏览器多不好、多流氓,因为用习惯了,你可能都不愿意去换。 就像我一样,用QQ浏览器用了8年。虽然…

这几款手机浏览器真的牛,比夸克更好用

以前给大家推荐过不少浏览器,比如Alook浏览器、UC浏览器等。一些网友都喜欢轻便干净、极简大方的浏览器。但是,也有一些网友则喜欢功能全面的浏览器。今天,再给大家推荐3款浏览器,这3款浏览器真是牛的离谱,比夸克更好用…

夸克真的实用吗,其实除了它还有更好用的浏览器

夸克是一个非常强大的浏览器,之前写过一篇关于夸克的文章,很多人在评论区列举了夸克的各个优点,由此可见夸克是符合时代的优秀工具。然而,也有人表示,要卸载夸克,因为它脱离了浏览器路线,越来越…

高等数学学习笔记——第七十一讲——多元函数的泰勒公式

1. 问题引入——“以平代曲”与“以曲代曲” 2. 一元函数的导数,二元函数一阶导数,梯度及二元函数的二阶矩阵(海塞矩阵) 3. 海塞矩阵计算示例 4. 二元函数的带拉格朗日余项的麦克劳林公式 5. 二元函数的泰勒公式及拉格朗日中值公式…

汤家凤高等数学基础手写笔记-不定积分

越来越发现,下层基础决定上层建筑。除了考试,在研究中,我们能够用到的就是理论体系的知识,而不是会做题目的多少。做题目的目的在于加深对基础理论的理解。 本系列笔记汇总之处:汤家凤高等数学基础课2020年基础笔记概…

汤家凤高等数学基础手写笔记-微分方程

越来越发现,下层基础决定上层建筑。除了考试,在研究中,我们能够用到的就是理论体系的知识,而不是会做题目的多少。做题目的目的在于加深对基础理论的理解。 本系列笔记汇总之处:汤家凤高等数学基础课2020年基础笔记概览…

汤家凤高等数学基础手写笔记-定积分

越来越发现,下层基础决定上层建筑。除了考试,在研究中,我们能够用到的就是理论体系的知识,而不是会做题目的多少。做题目的目的在于加深对基础理论的理解。 本系列笔记汇总之处:汤家凤高等数学基础课2020年基础笔记概…

汤家凤高等数学基础手写笔记-一元微分学的应用

越来越发现,下层基础决定上层建筑。除了考试,在研究中,我们能够用到的就是理论体系的知识,而不是会做题目的多少。做题目的目的在于加深对基础理论的理解。 本系列笔记汇总之处:汤家凤高等数学基础课2020年基础笔记概…

高等数学公式大赏

极限 概念公式极限∃A&#xff0c;∀ε>0&#xff0c;∃δ>0&#xff0c;使x∈(a-δ,a)∪(a,aδ)时│f(x)-A│<ε ⇔ lim ⁡ x → a \lim\limits_{x→a} x→alim​f(x)A无穷极限∃A&#xff0c;∀ε>0&#xff0c;∃δ>0&#xff0c;使│x-a│>δ时│f(x)-…

实用的才是最好的,教你如何以MATLAB的方式实现高等应用数学问题(一)

前言 关于MATLAB系列的精品专栏大家可参见 MATLAB-30天带你从入门到精通 MATLAB深入理解高级教程(附源码) 喜欢的小伙伴可自行订阅,你的支持就是我不断更新的动力哟! 系列文章第二篇 实用的才是最好的,教你如何以MATLAB的方式实现高等应用数学问题(二) 高等应用数…

高等数学学习(1)-函数

1.1实数 1.1.1 集合 具有某种属性的事务的全体成为集合 集合的表示方法&#xff1a;1&#xff09;列举法&#xff08;列出每一个元素&#xff09;&#xff1b;2&#xff09;说明法&#xff08;说明元素共有的特性&#xff0c;这种说明需要能概括所有的元素&#xff0c;且不能…

高等数学基础(一)

高等数学基础&#xff08;一&#xff09; 目录 高等数学基础&#xff08;一&#xff09;1、函数1.1 函数的定义1.2 几种特殊函数的定义1.2.1分段函数1.2.2 反函数1.2.3显函数与隐函数 1.3 函数的几种特性1.3.1 函数的奇偶性1.3.2 函数的单调性1.3.3 函数的周期性 2、极限2.1数列…