ChatGPT背后的开源AI框架Ray,现在值10亿美元

机器之心报道

编辑:泽南、小舟

Ray 被 OpenAI、亚马逊等科技公司用来开发大模型,是最近异军突起的框架。

最近一段时间,文本生成的人工智能在互联网上掀起了一阵风暴:ChatGPT 因为可以对人们能想到的几乎任何问题提供非常详细、近乎逼真的回答而受到追捧。大模型应用的出现让人们对于 AI 技术突破充满了信心,不过很少有人知道在其背后,一个分布式机器学习框架正为这场生成式 AI 革命提供动力。

分布式计算框架 Ray 来自 A16z 支持的初创公司 Anyscale,它是使 OpenAI 能够强化其训练 ChatGPT 等模型的关键。在 OpenAI 最近的所有大型语言模型背后都有 Ray 的身影 —— 它可能也会是 OpenAI 备受期待的 GPT-4 背后的框架。随着大模型技术的不断落地,业内人士认为通过生成接近人类的内容,一个价值数十亿美元的产业正在形成。

在这一领域,Ray 是影响力最大的框架。在它出现之前,OpenAI 使用自定义工具集合来开发大模型。但 OpenAI 总裁 Greg Brockman 在今年早些时候的 Ray 峰会上就表示,随着面临的挑战增多,该公司已转而使用 Ray。

a730996940612b4d11d6db550393d5ad.png

软件公司 Weights & Biases 的 CEO Lukas Biewald 认为,Ray 已是 AI 世界中炙手可热的后起之秀。「因为新工具出现,你可以在笔记本电脑和大型分布式服务器上运行相同代码。这是巨大的改变,随着模型变得更大,它的重要性也会随之增加,」Biewald 表示。

十亿美元的赌注

随着技术的成熟,Ray 引来了资本市场的关注。Anyscale 的股权成为了一种稀缺的商品,据 Business Insider 报道,有知情人士称,其最近一轮融资是 C 轮融资的延伸,估值超过 10 亿美元,几天内就结束了。

一些投资者将 Anyscale 描述为 Horowitz 充满希望的「下一个 Databricks」—— 这个描述看来不无道理,因为这家初创公司的创始人之一 Ion Stoica 是市值 310 亿美元的数据巨头 Databricks 的联合创始人。

「人工智能的发展速度令人难以置信,人们一直在尝试新方法,」Anyscale 首席执行官 Robert Nishihara 表示。「ChatGPT 结合了此前大语言模型上的大量工作。在此基础上,你需要拥有能够实现灵活性、快速创新,并扩展不同算法和方法的基础设施。」

由于像 ChatGPT 这样热门的新工具背后是越来越大的模型,科技公司不得不重新考虑从头开始开发 AI 的方式。Ray 应运而生,使训练这些庞大的模型变得更加容易,并且可以包含数千亿个数据点,让每个响应都具有准栩栩如生的感觉。

Ray 如何成为机器学习的首选工具

Ray 是一个基于内存共享的分布式计算框架,适用于细粒度的并行计算和异构计算,其提供了一个底层基础架构,用于管理分配机器学习模型训练工作的复杂任务。

在 2017 年,UC Berkeley 的研究人员首次提交了 Ray 的论文《 Ray: A Distributed Framework for Emerging AI Applications 》:

ef4717b1bdd9fb610f67a29913b95fbe.jpeg

  • 论文链接:https://arxiv.org/abs/1712.05889

  • GitHub:https://github.com/ray-project/ray

在该工作中,研究人员预测了下一代 AI 应用程序的形态:与环境存在连续的交互,并从交互动作中进行学习。这些应用必然越来越多地在动态环境中来完成任务,根据环境的变化作出反应,并执行一系列的动作来达到长期目标。这些特性对于运行环境性能和灵活性等方面提出了全新且苛刻的系统要求,因此研究者提出了基于分布式的 Ray 框架。

Ray 实现了统一接口,可以表达任务并行和基于参与者的计算,由单个动态执行引擎支持。为了满足性能要求,Ray 采用分布式调度程序和分布式容错存储来管理系统的控制状态。它是首个将训练、仿真和服务统一起来的分布式计算框架,基于动态任务执行引擎统一了角色并行(actor)和任务并行(task)的计算,并保障了框架的高可扩展性和高容错性。

5f35b1a8c04581b8dd94a31f1a7bad78.jpegRay 的架构。

基于该工作,2019 年 12 月,UC Berkeley 的 Robert Nishihara、Philipp Moritz 和 Ion Stoica 以及伯克利教授 Michael I. Jordan 创立了 Anyscale,迄今为止该公司已融资 2.6 亿美元。

4d5402748273b05987473dcfcfbb89ee.png

机器学习从业者通常可以在自己的笔记本电脑上运行使用有限数据集的小型模型,例如预测用户购买产品的简单模型。然而,像 ChatGPT 这样的超大型模型,笔记本电脑是行不通的,这些模型需要大量服务器来训练。

使用大量设备训练一个模型要面对一个重要挑战 —— 在不同硬件上协调训练。而 Ray 恰好解决了这个难题,它为从业者提供了一种将不同硬件作为一个单元来管理的机制,用于确定什么数据去哪里,处理故障等等,硬件种类横跨谷歌云、AWS 和其他处理相同问题的产品组合。此外,Ray 还将其他语言中的一个关键编程概念「actor」扩展到 Python,众所周知 Python 是机器学习程序的首选语言。

cd27db04da83c43bb413d8b23c812cb4.gif

作为一个分布式计算框架,Ray 有两个关键优势,分别是位置感知(Locality-aware)和任务分配(task placement)。如下图所示,Ray 能够横向扩展系统,以支持高吞吐量的细粒度任务,同时保持容错和低延迟任务调度。

e1d54bf683d1de792a967c653a591d28.png

Ray 为 OpenAI 训练大模型消除了巨大的复杂性,为该公司腾出更多时间和精力专注于模型的关键能力。

新一代 AI 需要新的开发工具,Ray 只是一系列迅速兴起的下一代机器学习工具中的一个,这些工具正在迅速颠覆 AI 的开发方式。例如,Google 的 JAX 框架也获得了巨大关注,JAX 有望成为谷歌核心机器学习工具的支柱,已经在 DeepMind 和 Google Brain 被广泛采用。

类似地,由 FirstMark Capital 和 Bessemer Venture Partners 支持的初创公司 Coiled 开发了一个名为 Dask 的并行计算框架。

近来大型语言模型正在释放更多潜力,这些新型机器学习工具将为业内科技巨头和初创公司构建更强大的语言模型。

推荐阅读:
入门: 最全的零基础学Python的问题  | 零基础学了8个月的Python  | 实战项目 |学Python就是这条捷径
干货:爬取豆瓣短评,电影《后来的我们》 | 38年NBA最佳球员分析 |   从万众期待到口碑扑街!唐探3令人失望  | 笑看新倚天屠龙记 | 灯谜答题王 |用Python做个海量小姐姐素描图 |碟中谍这么火,我用机器学习做个迷你推荐系统电影
趣味:弹球游戏  | 九宫格  | 漂亮的花 | 两百行Python《天天酷跑》游戏!
AI: 会做诗的机器人 | 给图片上色 | 预测收入 | 碟中谍这么火,我用机器学习做个迷你推荐系统电影
小工具: Pdf转Word,轻松搞定表格和水印! | 一键把html网页保存为pdf!|  再见PDF提取收费! | 用90行代码打造最强PDF转换器,word、PPT、excel、markdown、html一键转换 | 制作一款钉钉低价机票提示器! |60行代码做了一个语音壁纸切换器天天看小姐姐!|
年度爆款文案
  • 1).卧槽!Pdf转Word用Python轻松搞定!

  • 2).学Python真香!我用100行代码做了个网站,帮人PS旅行图片,赚个鸡腿吃

  • 3).首播过亿,火爆全网,我分析了《乘风破浪的姐姐》,发现了这些秘密 

  • 4).80行代码!用Python做一个哆来A梦分身 

  • 5).你必须掌握的20个python代码,短小精悍,用处无穷 

  • 6).30个Python奇淫技巧集 

  • 7).我总结的80页《菜鸟学Python精选干货.pdf》,都是干货 

  • 8).再见Python!我要学Go了!2500字深度分析!

  • 9).发现一个舔狗福利!这个Python爬虫神器太爽了,自动下载妹子图

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/21797.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

ChatGPT背后的故事和秘密是什么?

大家好。近期,德国一家公司在公司内部暂停了使用人工智能应用ChatGPT,原因竟然是担心其可能会泄露敏感数据。这则消息引发了广泛的关注和探讨,下面我们来了解其中的详情吧! 首先,让我们了解一下ChatGPT是什么。ChatGP…

【阿里云】第一次进行域名注册、备案以及使用全过程

前言 随着ChatGPT的爆火,让我直面感受到了一项技术的突破可以产生堪比原子弹爆炸的威力,因而在品尝过ChatGPT带来的便利与甜头后,就一直在跟进,同时也在能力范围内,让数十位朋友使用上了ChatGPT 前段时间&#xff0c…

【AI提示】ChatGPT提示工程课程(吴恩达OpenAI)转换文本(中文chatgpt版)

设置 翻译 通用翻译器 语调变换 格式转换 拼写检查/语法检查。 转换 在本笔记中,我们将探索如何使用大型语言模型进行文本转换任务,例如语言翻译、拼写和语法检查、语气调整和格式转换。 设置 import openai import osfrom dotenv import load_dotenv, f…

ChatGPT游戏领域的创新助手|小智ai

ChatGPT丨小智ai丨chatgpt丨人工智能丨OpenAI丨聊天机器人丨AI语音助手丨GPT-3.5丨开源AI平台 导语: ChatGPT(Chat Generative Pre-trained Transformer)作为一种先进的自然语言处理模型,不仅在对话领域取得了突破,而且…

用ChatGPT控制NPC,行动逼真到像正常人!斯坦福谷歌新研究炸场,赋予大模型准确记忆力...

萧箫 发自 凹非寺量子位 | 公众号 QbitAI 放任25个AI共同生活,他们竟然模拟起了人类的行动! 不仅像人一样起床、刷牙、吃饭、睡觉,还会被迫“出门打工”,甚至在闲暇时分一起庆祝节日。 这一切,来自斯坦福和谷歌的一项新…

ChatGPT背后的技术和多模态异构数据处理的未来展望——我与一位资深工程师的走心探讨

上周,我和一位从业三十余年的工程师聊到ChatGPT。 作为一名人工智能领域研究者,我也一直对对话式大型语言模型非常感兴趣,在讨论中,我向他解释这个技术时,他瞬间被其中惊人之处所吸引🙌,我们深…

openai项目部署服务器,使用反向代理时候,响应数据缺失的问题

openai项目部署服务器,使用nginx配置反向代理后遇到的问题 一、问题描述二、问题解决 一、问题描述 openapi的问题,当你成功科学上网接入chatgpt3.5的时候(使用的是流式响应),在本地跑应用如丝般顺滑,然后满心欢喜的把应用部署上…

ChatGLM模型通过api方式调用响应时间慢怎么破,Fastapi流式接口来解惑,能快速提升响应速度

ChatGLM-6B流式HTTP API 本工程仿造OpneAI Chat Completion API(即GPT3.5 API)的实现,为ChatGLM-6B提供流式HTTP API。 文章目录 ChatGLM-6B流式HTTP API前言一、下载代码安装环境二、接口服务脚本代码三、运行启动命令总结 前言 现在市面上…

相见恨晚,这才是横跨三大操作系统的终极神器!真的太太太好用了。。。

点关注公众号,回复“1024”获取2TB学习资源! 此前给大家推荐过无数的Chrome插件,涉及工作、生活、学习、娱乐等方方面面,大大提高了浏览器的可玩性。 但回到桌面端,我们依然还是需要下载大量的软件客户端,来…

str.replace()——Python的“第四”字符串格式

str.replace(),Python的“第四”字符串格式。 【学习的细节是欢悦的历程】 Python 官网:https://www.python.org/ Free:大咖免费“圣经”教程《 python 完全自学教程》,不仅仅是基础那么简单…… 地址:https://lqpybo…

详解Handler

详解Handler 文章目录 详解Handler1.Handler的工作流程1.1主线程具有如上性质的原因1.2流程图 2.Handler流程中的重要的几个方法2.1Message中的属性2.2.1what2.2.2replyTo2.2.3obtain 2.2Handler.post()与Handler.sendMessage()2.2.1post的源码2.2.1.1sendMessageDelayed()源码…

AI_News周刊:第四期

CV - 计算机视觉 | ML - 机器学习 | RL - 强化学习 | NLP 自然语言处理 News 1.对抗“唤醒人工智能”马斯克招募团队开发 OpenAI 竞争对手 据两位直接了解这项工作的人士和另一位了解情况的人士透露,埃隆马斯克最近几周与人工智能研究人员接洽,商讨成…

tasker配置文件_如何在Android上管理Tasker配置文件和自动执行功能

tasker配置文件 Previously mentioned Tasker is an Android automation powerhouse. We’ll show you how to export and import profiles so you don’t have to create them from scratch. We also have some for you to download and tweak to your heart’s extent. 前面提…

大家都在卷ChatGPT的时候,我已经...

最近因ChatGPT爆火,使得很多人非常的焦虑,下面是我看到的一位好朋友心情!不知道大家是否也有同样的心情!~ 感觉很多人在看到ChatGPT时都有这样的担忧,这样的担忧是不是源自于神经网络如果参数量足够大&…

渗透测试|网络安全常用靶场

搭建教程网络上随便一搜一大堆,这里就不再赘述 vulhub 免费开源漏洞靶场 www.vulhub.org vulnhub 国外的一个靶场,难度中上(类似于真实渗透环境) https://www.vulnhub.com/ pikachu 综合靶场 https://github.com/zhuifengs…

关于渗透测试

今天看到某安全公司网站上有关渗透测试的内容,感觉不错,转了过来 原文:http://cimersec.w92.mc-test.com/index.php/Profession/view/id/9 渗透测试,是指为了对客户目标网络的安全性进行实际检查,进行带有攻击性行为的…

实战渗透--一次对后台登录系统的简单渗透测试

某网站后台登录界面 发现有验证码框 猜想会不会存在验证码绕过的漏洞 首先随意输入用户名密码(用于抓包) 打开burp抓包 分析数据包后 找到对应的传参点 即输入的账号密码还有验证码 这里可以看到 账号和密码全都是明文传输 并没有进行加密 所以更改起来还…

网络渗透测试

1.5指纹识别 指纹由于其终身不变性唯一性和方便性 ,几乎已成为生物特征识别的代名词.通常我们说的指纹就是人的手指末端正面皮肤凹凸不平纹线,纹线规律的排列形成不同纹型。 内容 1.6查找真实IP 在渗透测试过程中,目标服务器可能只有一个域名。 1…

渗透安全测试

渗透安全测试 PTES(渗透测试执行标准),渗透测试的过程包括交互,信息收集建模,Vul-可行性分析,开发,后期开发等。渗透测试旨在提高系统的安全性,而不是为了破坏,不会影响…

【渗透测试基础】越权攻击讲解

01 什么是越权 越权,是攻击者在获得低权限账号后,利用一些方式绕过权限检查,访问或者操作到原本无权访问的高权限功能。在实际的代码安全审查中,这类漏洞很难通过工具进行自动化检测,因此危害很大。越权有两种类型&am…