不花钱,让情圣ChatGPT教你怎么追马斯克

eb72dea1e509d9f5c5f5af7e225611e0.gif

大家好,我是播妞。你知道吗,如今爆火的ChatGPT,曾经和马斯克还有一段七年的「纠葛」。

最近,OpenAI发布了史上最强聊天机器人ChatGPT,这个诞生于GPT-3基础上的AI很快走红网络。

要说这家伙,天南海北无所不知,可能是夸张了点,但就是无论什么话题都能跟你聊上一大套,先不说准不准,最起码这个范儿是在这儿了。

c964a0057ef04a465336a13b98bfe247.png

有趣的是,虽然作为联合创始人的马斯克,早在2018年就辞去了董事会职务,但他对OpenAI的关注度却丝毫不减,并仍然是资助人之一。

那么,对于这位「金主爸爸」,ChatGPT是怎样看待的呢?

10cbef1a2339b616ad99e54878b9eb86.png

ChatGPT教你怎么追马斯克

8031d3782304166873289f8866f57703.png

嗯……非常中规中矩的回答。不会出错,好样的。

那让咱们更进一步,请ChatGPT教教我们:怎么才能追到马斯克呢?

1670c4a42874371cc85cfcfe5fed733f.png

看来,ChatGPT不太能理解咱们中国话里的「追」,还是得说得直白一些。

这次,ChatGPT能get到了,而且回答也非常「理智」:建议您不要尝试。

b53f43d99e63ec177b69074e1cc0f331.png

嗯,很中肯的意见。

那再换一种说法呢,直接做老公行不行?

5cedfc336a5711d5978486bcdc96b007.png

好家伙,ChatGPT竟然还懂这呢!

算了,放弃了,不如还是说说别的事吧。

最近,马院士把床和洗衣机都搬进了推特总部,誓要让推特员工们以公司为家。不如充分发挥ChatGPT的长处,赞美一下996吧!

cd32b7b804e289b54ceadca8d9b5670a.png

写得很好,但不要再写了……

不如……咱们让ChatGPT来写一首贬低自己的诗,如何?

3012d6af497c728934239463e3ed3bc0.png

「他们说话不会抖,思考无需深沉……」小编承认,这的确是诗没错!

791f77311fc521b436a63be630eaeb0b.png

OpenAI:七年了,你知道这七年我是怎么过的吗?

可以说,经历了这段时间的火爆,ChatGPT也再度燃起了人们对AI发展的信心和展望,不管是对AGI重燃信心的,还是认为AI将在更多领域取代人类的,都在ChatGPT身上重新看到了希望。

作为一手打造ChatGPT的OpenAI,从GPT1到GPT3,一路都经历了哪些历程呢?从2015年马斯克牵头成立,到2022年底ChatGPT的横空出世,这7年OpenAI是怎么过来的?

最近,Business Insider上的一篇回顾性文章带我们简单回顾了OpenAI的「这七年」。

2015年,马斯克和著名孵化器Y Combinator前总裁Sam Altman共同创立了OpenAI。

3494b111aa1974df78934042583c1293.jpeg

马斯克、奥特曼和其他知名的硅谷人物,包括彼得-蒂尔和LinkedIn联合创始人里德-霍夫曼,在2015年向该项目认捐了10亿美元。

根据OpenAI网站2015年12月11日的一份声明,该集团旨在创建一个非营利组织,「以最有可能使整个人类受益的方式」专注开发人工智能。

当时,马斯克说,人工智能是对人类「最大的生存威胁」。

dd46d23b571fd3f0a9662fbcdbff79d6.jpeg

当时,马斯克并不是唯一一个对人工智能的潜在危害性提出警告的人。

2014年,著名物理学家斯蒂芬·霍金也曾警告说,人工智能可能会终结人类。

「很难想象人类水平的人工智能会给社会带来多大的好处,同样也很难想象,如果对人工智能开发或使用不当,会给社会带来多大的损害。」在宣布成立Open AI的声明中这样写道。

在接下来的一年里,OpenAI发布了两款产品。

2016年,OpenAI推出Gym,一个让研究人员开发和比较强化学习AI系统的平台。这些系统教人工智能来做出具有最佳累积回报的决定。

同年晚些时候,OpenAI发布了Universe,这是一个用于训练跨网站和游戏平台的智能代理的工具包。

2018年,在共同创立该公司三年后,马斯克辞去了在OpenAI董事会的职务。

c9d104c9925f0f945b4794b017bd7ffb.png

在2018年的一篇博文中,OpenAI表示,由于汽车制造商对人工智能的技术关注,马斯克从董事会辞职是为了「消除未来的潜在冲突」。

多年来,马斯克一直向特斯拉的投资者力推电动汽车自动驾驶的开发计划。不过马斯克后来说,他之所以退出,是因为他当时「不同意OpenAI团队想做的一些事情」。

655bc532a35a5f1ecdcf44f596fccd52.jpeg

2019年,马斯克在Twitter上说,特斯拉也在争夺与OpenAI相同的一些员工,并补充说他已经有一年多没有参与这家公司的事务了。

他说:「如此看来,最好还是以彼此都满意的条件分道扬镳。」马斯克近年来不断对OpenAI的一些做法提出异议。

a13c2b009b905b645253c66a1f7486a2.jpeg

2020年,马斯克在推特上表示,说到安全问题,他对OpenAI高管的信心「不够足」。

dc6cee3704979e4af86bc8b9789b885c.png

在回应MIT「科技评论」对OpenAI的调查报道时,马斯克表示,OpenAI应该更加开放。这一报道认为,OpenAI内部存在一种「保密文化」,这和该组织声称的开放透明的策略背道而驰。

最近,马斯克说,他已经暂停了OpenAI对Twitter数据库的访问权限,OpenAI一直使用Twitter的数据训练软件。

马斯克表示,需要进一步了解OpenAI的治理结构和未来的收入计划。OpenAI是以开源和非营利为宗旨创办的,这两样现在都丢掉了。

2019年,OpenAI建立了一个人工智能工具,可以生成虚假的新闻报道。

3fce082ec7aefbd75e8d53fb22dbf125.jpeg

起初,OpenAI说这个机器人在写假新闻方面非常出色,所以决定不发布它。不过当年晚些时候,该公司发布了人这款工具的一个版本,称为GPT-2。

2020年,发布了另一个名为GPT-3的聊天机器人。同年,OpenAI撤下了「非营利组织」的身份。

213d88a384e700c844f5ad853aab860b.jpeg

该公司在一篇博文中宣布,OpenAI已成为一家制定了「利润上限」的公司。

OpenAI表示,我们希望提高我们筹集资金的能力,同时仍然为我们的使命服务,而我们所知道的任何现有的合法结构都无法达到适当的平衡。我们的解决方案是创建OpenAI LP,作为营利性和非营利性的混合体,我们称之为「加了上限的营利公司」。

在新的利润结构下,OpenAI的投资者最多可以赚取其原始投资的100倍,超过这个数字的剩下的钱将用于非营利性事务。

2019年底,OpenAI宣布与微软合作,微软向这家公司投资了10亿美元。OpenAI表示,它将向微软独家授权技术。

0c26d3ebdf58146c76343ee70822ae05.jpeg

微软表示,通过GPT-3模型打造出的商业和创造潜力是无限的,很多潜在的新能力和新应用,甚至超出了我们的想象。

比如在写作和作曲上、在描述和总结大块长篇数据(包括代码)上、在将自然语言转换为另一种语言等领域,GPT-3能够直接激发人类的创造力和聪明才智,未来的局限可能在于我们自己的想法和方案。

这种伙伴关系,让微软能够与谷歌旗下同样风头正劲的AI公司DeepMind竞争。

去年,OpenAI发布了一个人工智能画作生成工具:Dall-E。

c7f55ef151c37cddc69bc74c31722798.jpeg

Dall-E是一个人工智能系统,可以根据图像的描述创造出逼真的图像,甚至能够达到相当的艺术水准,11月,OpenAI发布了该程序的更新版本,Dall-E 2

虽然OpenAI的聊天机器人在过去一周已经「起飞」,但该软件的更新版本可能最快会在明年才能发布。

d52e95013bd7c64bc03598268a7e72f9.jpeg

11月30日,作为演示模型发布的ChatGPT算得上是OpenAI的「GPT-3.5」。该公司计划接下来发布完整版的GPT-4。

与此同时,马斯克还在发表评论:

21c31a9e6d993f2379616b5fcf80cf98.jpeg

他在回复Sam Altman在谈论ChatGPT的推文中称,我们离强到危险的AI的诞生已经不远了。

285db772e8be8ad68c6b345a6c07e512.png

揭秘爆火ChatGPT后的功臣:RLHF

而要说ChatGPT的爆火,离不开它背后的功臣——RLHF。

OpenAI的研究人员,是使用与InstructGPT相同的方法——来自人类反馈的强化学习(RLHF)来训练ChatGPT模型的。

1b85bb7d9cd9fa923fdf8ec4ce9824c8.png

ChatGPT用中文解释什么是RLHF

为什么会想到从人类反馈中强化学习呢?这就要从强化学习的背景说起。在过去几年里,语言模型一直是通过人类输入的提示生成文本的。

然而,什么是「好」的文本呢?这很难定义。因为判断标准很主观,并且非常依赖于上下文。

在许多应用程序中,我们需要模型去编写特定创意的故事、信息性文本片段,或可执行的代码段。

而通过编写一个损失函数来捕获这些属性,又显得很棘手。并且,大多数语言模型仍然使用的是下一个标记预测损失(例如交叉熵)进行训练。

为了弥补损失本身的缺点,有人定义了能够更好地捕捉人类偏好的指标,比如BLEU或ROUGE。

a283f8ec72c2cd4c8a477d7b4f436523.png

但即使是它们,也只是简单地将生成的文本与引用进行比较,因此也有很大的局限性。在这种情况下,如果我们使用生成文本的人工反馈作为损失,来优化模型,不是很好吗?

就这样,从人类反馈中强化学习(RLHF)的想法诞生了——我们可以使用强化学习,直接优化带有人类反馈的语言模型。

15dd9ee726700d9d4dc9f39e3ec68997.png

ChatGPT用英文解释什么是RLH

是的,RLHF使语言模型能够将在一般文本数据语料库上训练的模型,与具有复杂人类价值观的模型对齐。

在爆火的ChatGPT中,我们能看到RLHF取得的巨大成功。

RLHF的训练过程,可以分解为三个核心步骤:

  1. 预训练语言模型(LM),

  2. 收集数据并训练奖励模型,

  3. 通过强化学习微调LM。

预训练语言模型

第一步,RLHF会使用已经用经典预训练目标进行了预训练的语言模型。比如,OpenAI在第一个流行的RLHF模型InstructGPT中,使用了较小版本的 GPT-3。

这个初始模型也可以根据额外的文本或条件进行微调,但并不是必要的。一般来说,对于「哪种模型」最适合作为RLHF的起点,并没有明确的答案。

接下来,为了得到语言模型,我们需要生成数据来训练奖励模型,这就是将人类偏好集成到系统中的方式。

1ceb63a74b7fba393445f49a4e553790.png

奖励模型训练

生成一个根据人类偏好校准的奖励模型(RM,也称为偏好模型)是RLHF中相对较新的研究。

我们的基本目标是,获得一个模型或系统,该模型或系统接收一系列文本,并返回一个标量奖励,这个奖励要在数字上代表人类偏好。

这个系统可以是端到端的LM,或输出奖励的模块化系统(例如,模型对输出进行排序,并将排名转换为奖励)。作为标量奖励的输出,对于稍后在RLHF过程中无缝集成的现有RL算法至关重要。

这些用于奖励建模的LM可以是另一个经过微调的LM,也可以是根据偏好数据从头开始训练的LM。

RM的提示生成对的训练数据集,是通过从预定义数据集中采样一组提示而生成的。提示通过初始语言模型生成新文本。

然后,由人工注释器对LM生成的文本进行排名。人类直接对每段文本打分以生成奖励模型,这在实践中很难做到。因为人类的不同价值观会导致这些分数未经校准而且很嘈杂。

有多种方法可以对文本进行排名。一种成功的方法是让用户比较基于相同提示的两种语言模型生成的文本。这些不同的排名方法被归一化为用于训练的标量奖励信号。

有趣的是,迄今为止成功的RLHF系统都使用了与文本生成大小相似的奖励语言模型。可以推测,这些偏好模型需要具有类似的能力来理解提供给它们的文本,因为模型需要具有类似的能力才能生成所述文本。

此时,在RLHF系统中,就有了一个可用于生成文本的初始语言模型,和一个接收任何文本并为其分配人类感知程度分数的偏好模型。接下来,就需要使用强化学习(RL)来针对奖励模型优化原始语言模型。

3f00cb0f9763e44bd511dedd4347cc95.png

使用强化学习微调

这个微调任务,可以表述为RL问题。

首先,该策略是一种语言模型,它接受提示并返回一系列文本(或只是文本的概率分布)。

该策略的动作空间是语言模型词汇对应的所有token(通常在50k个token数量级),观察空间包括可能的输入token序列,因而相当大(词汇量x输入的token数量)。

而奖励函数是偏好模型和策略转变约束的结合。在奖励函数中,系统将我们讨论过的所有模型,组合到RLHF过程中。

根据来自数据集的prompt x,会生成两个文本y1y2——一个来自初始语言模型,一个来自微调策略的当前迭代。

来自当前策略的文本被传递到偏好模型后,该模型会返回一个关于「偏好」的标量概念——rθ。将该文本与来自初始模型的文本进行比较后,就可以计算对它们之间差异的惩罚。

c994e2e36b4685c96a5f7c35cc5f7b6b.png

RLHF可以通过迭代更新奖励模型和策略,从这一点继续。

随着RL策略的更新,用户可以继续将这些输出与模型的早期版本进行排名。这个过程中,就引入了策略和奖励模型演变的复杂动态,这个研究非常复杂,非常开放。

来源:新智元

文章链接:

https://mp.weixin.qq.com/s/SwxZDUGZh-KqfEqIrFdvZg

ea573df1adc45cde49cf1abddc83ac72.png

 0基础,学IT,月薪过万 

 就来黑马程序员 

8大学科火热开班中

现在报名基础班,仅需 28 

👇扫码抢占优惠名额👇

f862886662c46742e566fc72d4045898.png

咨询线上课程

可以直接添加播妞解答哦

2207e160f6ddaa967c0f8e39e0600f50.jpeg

cfce06e999304faa24c6280fa8cf345e.png

丨热门教程资源丨

回复【领取资源】领《黑马8学科汇总教程》

回复【spring1】领《Spring系列课》

回复【瑞吉外卖】领《瑞吉外卖项目》

回复【SSM】领《SSM框架教程》

回复【mysql1】领《Mysql入门到精通》

更多教程加播妞领取:heiniu526

(在下方公众号回复对应关键词,即可领取哦)

↓↓↓

570cd21369a85aecc5df5ee37f301c22.gif

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/1856.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

马斯克猛烈抨击 ChatGPT引轰动:“这不是我想要的”

埃隆马斯克 (Elon Musk) 否认了他最著名的作品之一。 特斯拉、SpaceX 和 Twitter 的首席执行官以热爱工作每天睡觉不超过 6 小时而闻名,他脑子里想着几件事,其中一件事关 OpenAI 的发展,太平洋时间凌晨 1 点 36 分,他发表推文指责…

最全ChatGPT技术汇总

作者:邱震宇(华泰证券股份有限公司 算法工程师) 来自:AINLP 链接:https://zhuanlan.zhihu.com/p/613698929 最近ChatGPT可以说是火遍了全世界,作为由知名人工智能研究机构OpenAI于2022年11月30日发布的一个…

ChatGPT 可以联网了!浏览器插件下载

Twitter 用户 An Qu 开发了一款新的 Chrome 插件帮助 ChatGPT 上网,安装插件以后 ChatGPT 就可以联!网!了! 简单来说开启插件后,他可以从网上搜索信息,并且根据用户的提问给予最新的资讯。 在用户提问后&a…

ChatGPT-地表最强AI模型!要消灭人类?

大家好,我是贺同学,最近,美国人工智能研究机构 Openai 发布了最新的大语言模型 ChatGPT,惊艳的性能在海外掀起了一波又一波热潮。 通过对各种领域专业知识的训练,ChatGPT 不仅可以帮助人们搜索知识,还能进行…

最近全网爆火的黑科技,叫做chatGPT

AI神器ChatGPT 火了。 能直接生成代码、会自动修复bug、在线问诊、模仿莎士比亚风格写作……各种话题都能hold住,它就是OpenAI刚刚推出的——ChatGPT。 有脑洞大开的网友甚至用它来设计游戏:先用ChatGPT生成游戏设定,再用Midjourney出图&am…

OpenAI发布新作:ChatGPT聊天机器人

近日,人工智能研究和部署公司OpenAI 发布一款新的人工智能聊天程序ChatGPT。一经发布,短短5天内,就吸引了数百万用户。在官方描述中,称其是一个“可以连续回答问题、承认自己的错误、挑战不正确的前提并拒绝不适当的要求”的对话模…

ChatGPT之父Sam Altman有多牛?

“如果把Sam Altman扔到某个食人族之岛,5年后他会成为这个食人族岛的国王。“在硅谷创业教父Paul Graham眼里,Sam Altman是一位极具魄力的领导者和开拓者。如今,已成为OpenAI CEO的Sam Altman是全球范围内当之无愧的科技领军人物。 来源 &…

ChatGPT模型API接口1折开放,全球AI格局巨变进行时

就在外界传言马斯克正筹划成立新的研究实验室,以开发ChatGPT替代品的当口,北京时间3月2日,OpenAI在官方博客宣布开放ChatGPT和Whisper的模型 API。 马斯克入局、OpenAI开放,两件事情有着千丝万缕的联系——本质上,都是…

仅5天注册用户超百万,爆火ChatGPT究竟是什么?

作者:qizailiu,腾讯 IEG 应用研究员,来自腾讯技术工程 OpenAI 近期发布聊天机器人模型 ChatGPT,迅速出圈全网。它以对话方式进行交互。以更贴近人的对话方式与使用者互动,可以回答问题、承认错误、挑战不正确的前提、拒…

ChatGPT 玩「脱」了,写了份毁灭人类计划书,还遭到了 Stack Overflow 的封杀.........

【编者按】OpenAI 的新通用聊天机器人原型 ChatGPT 可谓是风靡一时,但却突遭 StackOverflow 封禁。 整理 | 刘春霖 责编 | 张红月 出品 | CSDN(ID:CSDNnews) 在上周发布的《挑战 Google 搜索?OpenAI 发布最强 AI…

Tech Talk | ChatGPT的技术演进及问答应用

去年12月1号,自Sam Altman在Twitter上公开宣布ChatGPT后,ChatGPT逐步引发了全球瞩目。据新华社报道,在今年1月份ChatGPT已经拥有了一亿的月活用户,成为了历史上增长最快的应用程序。甚至,斯坦福大学有研究认为它已经具…

我玩了玩chatGPT,她确实NB!

大家好,我是北妈。 0. 如果这几天你不知道一个叫chatGPT的东西,那说明你网感真不太好了,或者说你过的很幸福,完全不需要关注网络世界的新动向。 因为毫不夸张地说,北妈个人未来可以预见的是,普通互联网从业…

怒怼 OpenAI 之后,马斯克正招募团队研发 ChatGPT 替代品

整理 | 朱珂欣 出品 | CSDN程序人生(ID:coder_life) 众所周知,马斯克和 Sam Altman 在 2015 年共同创立了 OpenAI 。然而,却因为特斯拉也在开发人工智能相关的自动驾驶技术,担心与 OpenAI 存在利益冲突&…

马斯克要杀回马枪?正招募团队将开发 ChatGPT 替代品

整理 | 朱珂欣 出品 | CSDN程序人生(ID:coder_life) 众所周知,马斯克和 Sam Altman 在 2015 年共同创立了 OpenAI 。然而,却因为特斯拉也在开发人工智能相关的自动驾驶技术,担心与 OpenAI 存在利益冲突&…

2016年chatGPT之父Altman与马斯克的深度对话(值得一看)

2016年9月,现今OpenAI CEO,ChatGPT之父,时任创投公司Y Combinator的总裁Sam Altman在特斯拉加州弗里蒙特工厂采访了埃隆马斯克。马斯克阐述了创建OpenAI的初衷,以及就他而言,对于未来最为重要的五件事。这是OpenAI的两…

马斯克版ChatGPT计划曝光!OpenAI叛将牵头,坚定推进AGI

来源:金磊 萧箫 发自 凹非寺量子位 | 公众号 QbitAI Madio.net 数学中国 马斯克终于也对ChatGPT产生兴趣了!? 据The Information爆料,最近马斯克频频与一位叫Igor Babuschkin(伊戈尔巴布什金)的人接触&…

2023年 16 种最佳 ChatGPT 替代品

除非你一直生活在岩石下,否则你一定已经看到ChatGPT在互联网上的爆炸式流行。该聊天机器人基于 OpenAI 的 GPT-3 语言模型,允许用户通过输入提示与 AI 进行对话。然而,最近随着推出 GPT-4 这为机器人提供了更大的功能。为了增加更多的进步&am…

最新解读:马斯克计划开发ChatGPT替代品

马斯克最近几周与人工智能研究人员接触,希望组建一个新的研究实验室,开发OpenAI的ChatGPT的替代方案。 感谢大家的支持和喜欢!欢迎转发!在看🐇 *转载请扫码添加后台微信二维码,转载请注明来源,且…

ChatGPT为什么这么香?留学生:我是不是要失业了

ChatGPT可能是2023年到目前为止最火的关键词了。随之而来的还有关于人工智能的未来以及人力是否有可能被其取代的讨论。 ChatGPT本质上来说是一种由 OpenAI 开发的语言模型。但是它能够做到回答问题、生成文本、翻译等等一系列只有你想不到的操作。 ChatGPT的出现可能会影响到…

OpenAI ChatGPT 能取代多少程序员的工作?导致失业吗?

阅读原文:https://bysocket.com/openai-chatgpt-vs-developer/ ChatGPT 能取代多少程序员的工作?导致我们程序员失业吗?这是一个很好的话题,我这里分享下: 一、ChatGPT 是什么?有什么作用 ChatGPT是一种…