爆火的ChatGPT 背后的大模型与大数据创新

最近,ChatGPT 迅速引爆 AIGC 领域,依托全网大数据与海量智能模型训练,一举成为 Stable Diffusion 之外的 AI 新宠。不同于过往初阶聊天机器人,这位“懂王”似乎可以取代大型搜索平台,与用户展开高质量同频对话。网友也特别乐于「调戏」它,还生成出了不少奇怪的神回复。

ChatGPT 奇特之处恰在于其『学习性』,也就是说它具备进化能力,能够在与人沟通、学习过程中变得更加聪明。在官方介绍里也提到过,它可以指出不正确前提,拒绝回答不适当问题,甚至会承认错误。

展开高智商对话的同时,ChatGPT 也能写出优雅的代码。如果你告诉他需要创建一个 PHP 程序来扫描主机名上的开放端口,就可以得到一份代码,虽然目前看来还是比较初级的,但随着后续的学习和调整,应用前景存在无限可能。

更厉害的是,它还能够在 ChatGPT 中构建虚拟机,运行 Linux 指令,甚至还可以用 curl 来让 Chat GPT 和自己做交互。

如果格局打开一点,我们是不是可以说,在跨端开发时候它可以取代election,真的有助于降本增效?尽管目前还不能做到这么高阶的玩法,但是依照 ChatGPT 的潜质,这或许只是时间问题。

当然,玩法只是表层,更值得谈论的则是其里程碑式意义:AI已然从幕后转向了台前。

在过去的两周里,ChatGPT的热度一度超过 Alpha Go 的峰值。虽然在过往,像是 AlphaGo 这类 AI 产品确实为用户所熟知,但是离用户还是太远了。而 ChatGPT 更像是「民用级」的产品,真正意义上让AI技术广泛破圈应用。

1

大规模模型训练、海量数据

共同成就 ChatGPT

ChatGPT 的出圈并不是偶然,透视结构,它是一种基于 InstructGPT算法架构开发的大型预训练语言模型,而在这之中,OpenAI 为这个模型新增了代码理解和生成能力,这样就可以极大的拓宽应用场景,甚至在这之中,它还加入了一些道德原则,如此就能够识别恶意信息,而且还可以拒绝回答等。在使用体验被拉满之后,我们所能够见到的就是不同于原先的、更贴近于「人」的使用感。

如果从技术角度去解读,我们不难看出,这些产品的背后,都是基于大模型、大数据的不断训练。在之前就有报道指出,ChatGPT背后的训练除了常规的万亿级别语料投喂之外,还依托于其强大的算力。

据数据披露,ChatGPT的总算力消耗约为3640PF-days。事实上这几件事我们可以认为是相辅相成的,即高质量的人工标注数据+强化学习为底层逻辑,在经过万亿级别的语料投喂后不断进行学习和迭代,最后依托于强大的算力为产品的学习和输入输出进行支撑。

看上去难吗?不难,但也很难。在过去的很长一段时间里,许多的厂商都是通过本地设备来进行训练的,甚至在过去,知乎还曾经有人提问「为什么很少有机器学习上云」。

事实上在过往有很多的公司都因为对算力的强需求被拖垮了,这也就是为什么很长一段时间内我们都很难在机器学习领域看到新的产品了。出彩的产品本身就因为算力的桎梏而变得很少,更遑论出圈的呢?

但是,当时间大跨步进入现在以后,这件事就变得截然不同了。在当下,机器学习和深度学习的上云已经相当普遍,而市面上也有很多的产品都在基于大模型的训练和推理给出更适合个人开发者和企业开发的解决方案,亚马逊云科技就是其中之一。

2

从高门槛到低成本,

亚马逊云科技做对了什么?

从刚刚过去不久的2022亚马逊云科技 re:Invent 全球大会上,我们可以得知ChatGPT 这类基于大模型的训练和推理,正是未来驱动机器学习发展的关键趋势之一。

首先,大模型的训练和应用门槛亟须降低。

ChatGPT 相比以往对话机器人,之所以“聪明”,是因为摄入了数以亿计的语料库内容,而如此规模的大模型的训练和应用成本极高,绝大部分企业都无法承担,但我们看到越来越多的大模型走向了开源,并允许用户在此基础上进行低成本的微调,以更加适配最终用户的业务场景。如何获取这些大模型,并快速进行部署和微调,是真正落地大模型应用需要考虑的问题。 

Amazon SageMaker JumpStart简单明了的回答了这个问题,JumpStart提供了超过350个来自TensorFlow、PyTorch、Hugging Face以及MXNet等广受欢迎的模型中心所提供的最先进的预训练模型、内置算法以及预置解决方案模板,能为对象检测、文本分类和文本生成等流行的ML任务提供支持,在re:Invent 2022上,亚马逊云科技宣布将来自Stability.AI (发布了火出圈的用于AIGC的 stable diffusion模型)和 AI21 公司的大模型集成到SageMaker JumpStart,用户仅需点点鼠标,即可完成模型的部署和微调,极大的降低了大模型应用的门槛。

沙利文中国及头豹研究院近期发布了《2022中国 AI 开发平台报告》,亚马逊云科技连续第二年被评为中国 AI 开发平台领导者,在创新指数(横轴)和增长指数(纵轴)均位列第一,具有明显的优势。“亚马逊云科技具备完备的AI开发软硬全栈供应水平,从专用基础设施、AI平台到各类场景开箱即用的AI服务解决方案,结合亚马逊云科技的系列云上服务,满足各类型客户的不同需求”。

第二,大模型训练和推理,更需高性能芯片助力。

ChatGPT 不仅需要巨量数据源“投喂”训练模型,而且也需要强有力的算力与芯片支持,而这些都需要巨量的成本。即便是在技术水平相当理想的情况下,成本问题也很惊人。

事实上对于很多个人学习者和初创公司来说,成本都是绕不开的问题。个人学习者其实很难不因为传统云的价格而感到吃力,但是亚马逊云科技对这类问题则有了更好的解决方案。

在前段时间,亚马逊云科技推出了基于 Amazon Trainium 自研芯片的 Amazon EC2 Trn1实例的高性价比解决方案,与基于 GPU 的同类实例相比,Trn1可节省高达50%的训练成本,不管是从缩短时间、快速迭代模型,还是提升训练准确率维度来说,都可以助力 ChatGPT 一类 AIGC 应用降本增效,表现更出众。

值得一提的是,使用 Trn1 实例无需最低消费承诺或预付费用,只需为使用的计算量付费,计费方式十分合理。像是 Stable Diffusion 模型的母公司 Stability AI  就在使用 Trn1 进行模型训练,持续提升生产效能。

对于大模型的推理,亚马逊云科技同样给出了答案,由第二代Amazon Inferentia 加速器支撑的Amazon EC2 Inf2实例。与第一代 Inf1 实例相比,Inf2 实例的计算性能提高了 3 倍,加速器内存提高了 4 倍,吞吐量提高了 4 倍,延迟降低了 10 倍。Inf2 实例经过优化,可以大规模部署日益复杂的模型,例如大型语言模型(LLM)等,其通过加速器之间的超高速连接可支持横向扩展分布式推理,即使是大如175B 参数模型也可以方便部署并提高高速推理。

第三,基于 NLP 大模型的服务,并非仅有 ChatGPT。

像 ChatGPT 这种基于NLP大模型的服务,亚马逊云科技也拥有多种 AI 服务。

事实上,NLP大模型的落地是很难的,因为它们普遍需要高效的分布式大模型训练和快速的在线推理服务才能够落地,所以对于绝大多数公司来说,不管是从人力成本还是其他层面上来说,都存在一定的阻碍,亚马逊云科技凭借多年云业务经验,可以在多条业务线上齐头并进,协同合作伙伴快速展开生态化创新。

比如 CodeWhisper 就是基于机器学习的代码开发助手,能够帮助更多人来加速开发、提高生产力,除此之外还有还有大家都熟知的Alexa语音助手,也是基于包含200亿个参数的AlexaTeacher Model(AlexaTM 20B)大模型,而这些都能够切实地帮助用户进行降本增效,继而更好地享受到科技红利。

3

写在最后

当我们谈论 ChatGPT 时,我们讨论的是大模型与大数据创新,强悍的机器学习能力建立于此。整体来看,ChatGPT 同亚马逊云科技,在迈向未来探索之路殊途同归,创新落点都是 AI 技术、机器学习、云技术的体系化深入探索。当技术真正作用于人、真正地赋能千行百业一线场景,产生高质量、高效能后,我们所能够见到的,便能瞭望到崭新的科技边界。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/11777.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

WEB3 熄火了么,人工智能兴起之ChatGPT 在两个月内冲刺到 1 亿用户,超过任何其他现象级应用程序

ChatGPT 无疑是近来发展最快的应用程序之一 ChatGPT 无疑是近来发展最快的应用程序之一,它的崛起正在让生成 AI 电路升温。 周三,瑞银发布了一份研究报告,显示 OpenAI 的 ChatGPT 在推出仅两个月后的 1 月份月活跃用户估计已达到 1 亿,成为历史上增长最快的消费者应用程序…

ChatGPT眼中的产品经理是这样的

在玩ChatGPT的时候,突发奇想,ChatGPT对产品经理的认知是啥样呢?于是我找了几个大家都比较关注的产品经理问题,看看ChatGPT是如何回答的。 1、产品经理可以干一辈子嘛? 2、产品经理的核心竞争力是啥? 3、产品…

C语言中的优化技巧总结

1、选择合适的算法和数据结构 选择一种合适的数据结构很重要,如果在一堆随机存放的数中使用了大量的插入和删除指令,那使用链表要快得多。数组与指针语句具有十分密切的关系,一般来说,指针比较灵活简洁,而数组则比较直…

你看,ChatGPT都知道优先使用BigDecimal

不是三婶儿偏执,非要吐槽。家人们,咱就是说,按照基操逻辑谁会把严格金额计算相关的数据使用double类型呢… “我以为吕布已经够勇猛了,这是谁的部下?” 前几天,一xxx让帮忙写段代码。内容比较常规&#xff…

java面试 - 多线程并发篇

多线程&并发篇 chatGPT以及GPT-4免费体验! java面试 - 基础篇 java面试-JVM篇 java面试-spring篇 (持续更新中) java面试-MyBatis篇 (持续更新中) java面试-springBoot篇 (持续更新中) ja…

5分钟!使用ChatGPT读懂一本书;写给独立开发者的设计指南;麦肯锡报告:生成式AI的经济潜力;GitHub报告:AI对开发影响深远 | ShowMeAI日报

👀日报&周刊合集 | 🎡生产力工具与行业应用大全 | 🧡 点赞关注评论拜托啦! 🤖 时代杂志「2023年100家最具影响力企业」 时代杂志发布了「TIME100 MOST INFLUENTIAL COMPANIES 2023」,评选出2023年最具影…

自然语言成了编程语言,不会写 Prompt 的程序员会面临失业吗?

作者 | 王启隆 出品 | CSDN(ID:CSDNnews) 如果让一个活在 18 世纪的人看看今天的世界,他会被现代科技的伟大所震慑,沉醉于未来社会的梦幻;但如果让一个 15 世纪的人去看看 18 世纪的世界,就感受…

文案策划将会被ChatGPT淘汰么?道叔用了两月后,惊呆了!

用了ChatGPT一段时间了,发现这真的是一个非常好用的划时代的产品。 我们文案策划人如果用熟练了的话,能够节省大量时间。未来,各行各业的脑力劳动者真的都不需要现在这么多了。 如果说,未来机器人将把大量工人淘汰的话&#xff…

一文看懂GPT风口,都有哪些创业机会?

新时代的淘金者,低附加价值的创业要谨慎,高附加价值、低技术门槛创业也要谨慎,主干道边上的创业也要谨慎。不少朋友看完不淡定了,干什么都谨慎,回家躺平好了,我有个朋友,靠ChatGPT,半…

虚拟邮箱地址-可随意接收邮箱验证码——网站

唠下互联网环境的嗑:国内的互联网环境在注册账号这一方面是真的不尊重个人隐私,只有手机号码注册的选项。vanker留意到海外的网址基本都是邮箱即可注册账号,希望国家能够制定详细的相应标准。所以提醒大家:在一般的网站上不要轻易…

ChatGPT 真的太强大了!

如果你问我,2023年最大的机会是什么?那一定是——ChatGPT 从2月份GPT3.5版本发布,到现在的4.0PLUS升级版,ChatGPT的迭代速度已经完全超过了我们的想象。 它已经可以替代很多行业的工作(比如说:文案、程序、…

chatGpt AI智能模拟面试系统开发

在当今竞争激烈的就业市场,求职者不仅需要具备扎实的专业知识和技能,还需要通过面试展现出自己的优势。 chatGpt AI智能模拟面试系统利用了人工智能技术,以及OpenAI的强大语言模型ChatGpt为基础。旨在为求职者提供一个真实且个性化的面试体验…

张俊林:由ChatGPT反思大语言模型(LLM)的技术精要

原文:张俊林:由ChatGPT反思大语言模型(LLM)的技术精要 张俊林 人机与认知实验室 2023-02-15 00:00 发表于北京 实话实说,国内在LLM模型相关技术方面,此刻,距离最先进技术的差距进一步加大了。…

提示工程师指南3-Prompt工程-高级提示

高阶Prompting 到这一步,应该很明显,改进提示有助于在不同任务上获得更好的结果。这就是Prompt工程背后的整个理念。 虽然之前的例子很有趣,但在我们深入了解更高级的概念之前,让我们先正式地介绍一些概念。 文章目录 高阶Promp…

Interview: Kevin Kelly, editor, author, and futurist采访:凯文·凯利,编辑、作家、未来学家

By Cmichel67 - Own work, CC BY-SA 4.0 作者:Cmichel 67-自己的作品,CC BY-SA 4. 0 Kevin Kelly is one of the thinkers who helped define the ethos of the tech industry from its early days. As an editor of the Whole Earth Catalog in the 198…

文心一言云服务下周上线/ 亚马逊再裁9000人/ 首款GPT-4医用软件问世…今日更多新鲜事在此...

日报君 发自 凹非寺量子位 | 公众号 QbitAI 大噶好,今天是3月21日星期二,打工人,勇敢冲(:з」∠) 科技圈又发生了哪些新鲜事,一起来和日报君看看~ 亚马逊再裁员9000人 北京时间3月20日晚间,亚马逊宣布将再裁…

【调研】生成式PLM模型(偏LLM)压缩

研究背景 常用的生成模型 下表总结了现在常用的生成模型的架构、参数量、尺寸和开源地址。其中参数量基本为亿万级别,以decoder的架构为主,模型尺寸在500MB以上。 模型名称架构尺寸层数参数量(Billion)开源地址备注GPT-2decoder548 MB481.5Bhttps://h…

哈哥的博客阅读指南,一文对接全链路导引 --- 未完待续~

文章目录 ⭐️ 一、关于 "易编程社区"🌟 社区及星球诞生的初衷🌟 加入社区和星球可以收获什么?🌟 来自哈哥的公开承诺🌟 哈哥的简介 ⭐️ 二、星荐官计划奖金池⭐️ 三、专栏解读🌟 专栏 - 编程初…

一句话让ChatGPT 支持图片回复!

ChatGPT 很智能,很聪明。但是它被困在了互联网里,只能通过网页上的文字,和我们交流。 就像历史上的一个个有趣的灵魂,我们只能通过书中的文字和故事,才能领会到他们的千古风流。 纯文字的方式,还是太单调…

outlook 回复邮件的邮件头使用RE而不是回复

在outlook的"工具" -> "选项" : 点击 “选项" -> "邮件格式" -> "国际选项" : 这里勾选上“常规设置”的选项即可。