摘掉 Chat 标签,GPT-4 将释放更大生产力

98426ae5b069dc59c309220435e600e7.jpeg

相比 ChatGPT 能力有大进化,多模态上有突破但不多。

作者丨李梅 黄楠

编辑丨岑峰

今日,多模态大模型 GPT-4 震撼登场!

GPT-4 能够接受图像和文本输入,输出文本,在各项测试和基准上的表现已经与人类水平相当。

OpenAI 一次性大放送,发布了 GPT-4 的技术报告、system card,并提供了 ChatGPT Plus 体验、GPT-4 的 API waitlist、demo 视频,以及用于自动评估 AI 模型性能的 OpenAI Eval 框架。

Sam Altman 称,GPT-4 是“我们迄今为止最强大、对齐最好的模型”。

4a3fb59562f6813adc95326db69b5c6b.png

1

对 ChatGPT 的巨大超越

在许多方面,GPT-4 都已经能做到之前 ChatGPT(GPT-3.5)所力不能及的事情。相比 ChatGPT,GPT-4 支持更长的输入,一次可接受 32768 个 token,相当于 50 页纸的内容,长篇学术论文可以直接丢给它去解读了。

002fbd6cb47db0801a11a6d7b68582d0.png

图源知乎

GPT-4 跟 GPT-3.5 具有相同的 API 接口和交互界面,但在文本总结和加工能力上,GPT-4 有了明显的提升,这表现提出指令后,模型能更好地遵循指令给出答案。

例如让一篇文章变成一个句子,每个单词都以 G 开头,GPT-3.5 还未尝试就放弃了任务,但在 GPT-4 中可以很好地完成:

f6c994e98dcbb264023ddb282fb8761b.png

GPT-3.5

84799119bbde76e35e263dde4dd306c3.png

GPT-4

同时,GPT-4 对指令的理解能力更佳:

7ff73fb2b8e2de13d050f5221dc8c250.jpeg

71060c49a146846a933a7e59005fb749.jpeg

(图片来源:知乎网友:@连诗路)

此次更新中,GPT-4 最令人惊喜的能力,是它可接受图片输入,并对图片生成说明、分类和分析。比如输入一张有鸡蛋、面粉和牛奶的图片,询问 GPT-4 可以使用这些原材料做什么,得到的结果如下:

cf05d1f1bc09dc742ff415c646e764fd.png

GPT-4 可以实现从图片中提取文字信息并输出到 HTML,比如尝试手绘一个笑话网站模型,让 GPT-4 尝试自动生成网站的原型图(程序员嗅到了危险的味道):

44a8ea31dd852632d846c7b4100f3b76.png

手绘的笑话网站模型图

065927792080c17c8021c3c707723fd7.png

GPT-4 根据手绘生成的笑话网站

对比 ChatGPT,GPT-4 的推理能力也有所超越,下面的结果展示了同一个问题 ChatGPT 和 GPT-4给出的不同答案:

92a5653937e004e9c93e60ec24aa7a44.png

左边为 ChatGPT,右边是 GPT-4

不仅如此,GPT-4 还能基于税务法则,帮助一对夫妻精准地计算出2018年缴纳的税额,并给出详尽的算法步骤,以便阅读解释。

4210a6f5049391aa4de74d503d69e9aa.png

据了解,OpenAI 于去年 8 月就已经完成了 GPT-4 的训练,我们与 OpenAI 的差距似乎更大了。

2

与 ChatGPT 相同的技术路线

在技术层面,一句话概括,GPT-4 是一个 Transformer 模型,使用公开可用的数据(如互联网数据)和第三方提供商许可的数据进行预训练,预测文本中的下一个 token,然后使用 RLHF(来自人类反馈的强化学习)对模型进行微调。

在一份98页的技术报告中,OpenAI 报告了 GPT-4 的性能、局限性和安全特性,但并没有公开有关架构(包括模型参数量)、硬件、训练计算、数据集构建、训练方法等内容的更多细节。

OpenAI 声称是“鉴于竞争格局和 GPT-4 等大规模模型的安全性影响”。

关于GPT-4的参数量,此前OpenAI的CEO Sam Altman表示,GPT-4不会比GPT-3高出太多,但大家关于GPT-4拥有极大参数量的猜测仍有很多。

对此,UCL 计算机系教授、上海数字大脑研究院院长汪军认为,大力确实出奇迹,此前 ChatGPT 的语言能力很强,有一定的逻辑推理能力,但它并未真正理解数据里面的内容,它只是在原来的训练数据中、搭料能力很强,因此是具有一定局限性的,在训练里一定要加上它对整个世界的理解。举个简单的例子,以下棋为例,如果你给它所有人类的下棋数据能力,比如说2000分以下所有人的数据,如果模型只模仿人的话,那么它是模仿不出比这2000分更高的智能的。

89c694fe31d78283167e077a4caef0ef.png

报告地址:https://cdn.openai.com/papers/gpt-4.pdf

在这份技术报告中,OpenAI 依然传达了一些关键信息,比如 GPT-4 采用与 GPT-3.5/ChatGPT 完全相同的技术路线;有一系列的对齐方案来保证 GPT-4 输出的安全性;基于不超过 GPT-4 千分之一的计算量来准确预测 GPT-4 在一定计算规模下的性能,利用小模型的训练性能来预测大模型期望性能这一点,在 OpenAI 看来是一项核心能力,也是一个值得研究的方向。

3

GPT-4 背后的强大阵容

尽管在 GPT-4 的技术细节方面,OpenAI 仍不够 Open,但这次他们也做了一次大胆的公开—— GPT-4 贡献者名单。

这份名单的最大看头在于,从下面这些详细的组别分类中可以大致看出 OpenAI 的部门组织架构,也足见 GPT-4 背后是一支多么庞大的队伍,从模型训练到评估再到安全部署,每一环都配备了大量的人力。

32d5060ccba44bc86241abf8a665ba48.png

贡献者名单

这里一共列出了7个组别:

  • 预训练:计算集群规模化、数据、分布式训练基础设施、硬件正确性、优化&架构、训练保姆(Training run babysitting)

  • 长文本:长文本研究、长文本 kernels

  • 视觉:架构研究,计算集群规模化、分布式训练基础设施、硬件正确性、数据、对齐数据、训练保姆、部署&后训练

  • 强化学习&对齐:数据集、数据基础设施、ChatML 格式化、模型安全性、Refusals、底层 RLHF 和 InstructGPT 工作、Flagship training runs、代码能力

  • 评估&分析:OpenAI Evals 库、模型分级评估基础设施、加速预测(Acceleration forecasting)、ChatGPT 评估、能力评估、代码评估、真实世界使用案例评估、污染性调查、指令遵循和API评估、新奇能力发现、视觉评估、经济影响评估、非扩散&国际人道主义法与国家安全的有害行为评估、过度依赖分析、隐私和PII评估、安全和政策评估、OpenAI 对抗性测试、系统卡和更广泛影响分析

  • 部署:界面研究、GPT-4 API 和 ChatML 部署、GPT-4 web 体验、界面基础设施、可靠性工程、信任与安全工程、信任与安全监测和响应、信任与安全政策、部署计算、产品管理

  • 其他:发布博客和论文内容、协作、计算分配支持、协议&税务&定价&资金支持、午餐合作伙伴&产品操作、法律、安全与隐私工程、系统管理与随叫随到服务

另外,OpenAI 也对微软的支持表示了感谢,特别是微软 Azure 为 GPT-4 模型的训练提供了基础架构设计和管理方面的支持,另外还有微软Bing团队和安全团队在安全部署方面的支持。

对于 OpenAI 的追赶者来说,这份名单一定程度上指示了一个方向,值得仔细研究。它对于 AI 领域人才的潜在热门职业方向也有启示,比如模型训练“保姆”、新奇能力发现师、算法模型安全师、数据和模型污染调查师等等。

4

开启多模态大模型时代

GPT-4 开启了多模态大模型的时代,遗憾的是,OpenAI 这次并没有公布 GPT-4 在多模态方面的技术细节。

自然语言是多模态的基础

目前 GPT-4 还只是文本+图像输入、文本输出,可以预测文本+图像不久也将实现。ChatGPT 已经带火了 NLP,GPT-4 想必对于视觉领域的研究者们也是一大机遇,也或许是一次冲击。

不过,在多模态大模型中,自然语言仍被认为是核心。UCL 计算机系教授、上海数字大脑研究院院长汪军告诉 AI科技评论,Chat 构建了一个相对清晰的逻辑描述,它或许不是百分百严谨,但已经足够让我们去表达一些非常复杂的逻辑关系。

但他认为,这是一个 Free power,也即是说,它可以能把这个问题表述得很清晰、但这是表象,最主要的是 Chat 里面含载的语义关系,当其他多模态来了之后,匹配上相应的语义表达,就可以迁移到其他的模态当中。

知识体系和自动化体系时代

在通过交互界面获取信息这一点上,ChatGPT 已经对用户完成了科普任务。GPT-4 出现后,Chat 将不再是大家关注的重点,GPT-4 能力的跃升正在引发大家思考 GPT 时代的产业变革将怎样发生。

在前维卓CTO 张烜看来,ChatGPT 背后的时代变化,是从信息时代 AI 向用户快速提供丰富的信息,到AI直接提供完整的知识体系。ChatGPT 的贡献是提供了一个便捷易用的交互界面,让普通人都能用得起来,功不可没,GPT-4 是在此基础上的再一次飞跃。

他认为,除了模型变得更大、更强以外,AI 技术本身的变化可能不显著,但从应用的角度看,新的时代已经到来。这个新时代便是知识体系和自动化的时代,AI 优化的目标是自动化地输出最终结果和完整的知识体系。

能够适应这种新形势的是以 RPA(Robotic process automation)为代表的自动流程化分发,但是目前的 RPA 起始于20年前,不适用于现在的媒体方式和交互内容,需要在文字、图像和视频化处理上加以改进,才能和 GPT 完美匹配。张烜对 AI科技评论透露,这是 GPT 影响产业的一个重要方式,也将是他接下来的创业方向。

目前,有一部分企业已经提前用上了 GPT-4,其中就包括了 Stripe、摩根士丹利和 Duolingo 等。

Stripe 团队列出了50个潜在应用程序来测试 GPT-4,经过审查和测试,当中有15个原型被认为是集成到平台中的有力候选者,包括支持定制、回答有关支持的问题和欺诈检测。

c68ac5def4d1fed03940fc4dfc697f24.png

摩根士丹利人员日常工作需要面对一个巨大的内容库,涵盖投资策略、市场研究和评论以及分析师见解等知识内容达到数十万页,并且这些信息大多以 PDF 格式分布在内部网站上,需要顾问浏览大量信息才能找到特定问题的答案,搜索费时费力。

为此,从去年开始,摩根士丹利就引入了 GPT-3,利用 GPT 的嵌入和检索功能,释放内部人员在财富管理累积知识上的工作量,GPT-4 发布后,将为面向摩根士丹利内部的聊天机器人提供支持,该计划由摩根士丹利财富管理部门首席分析和数据官 Jeff McMillan 所在团队领导进行,团队项目负责人指出,GPT-4 将能够把所有洞察力解析为一种更有用、可操作的格式。

1d956c3cb21929133b081bfe13dadbc5.png

据 McMillan 介绍,摩根士丹利财富管理在 GPT-4 引入后将分为三个部分进行,第一部分的落脚点在 GPT-4 的“几乎瞬间访问、处理和合成内容的非凡能力”上,即基于互联网大量文本进行训练,并在单词、句子、概念和想法之间建立关系。

第二个落脚点在摩根士丹利的智力资本,摩根士丹利创立有一个独特的内部内容存储库,后续将通过 GPT-4 进行处理和解析,并受公司内部控制的约束。

最后一部分在公司的人员上,摩根士丹利就 GPT-4 进行了培训,每天有200多名员工查询相关系统并提供反馈,尽可能实现由内部聊天机器人完成全面搜索财富管理内容。McMillan 表示,这项工作还将进一步丰富摩根士丹利顾问与其客户之间的关系,使他们能够更快地帮助更多人。

Duolingo 也推出了一种由 GPT-4 提供支持的学习体验 Duolingo Max,新增“Explain My Answer(解释我的答案)”和“Roleplay(角色扮演)”两大功能。

79d367166f0f815ec7c97907985b783d.png

角色扮演

在 Explain My Answer 中,学习者通过在某些练习类型之后点击一个按钮,可以进入与 Duo 的聊天获得答案解释,并要求举例或进一步说明;Roleplay 功能允许学习者与应用程序中的角色进行对话,角色覆盖多个真实场景,包括在巴黎的咖啡馆点咖啡、邀请朋友一起旅行、未来的假期计划等。

参考链接:

https://openai.com/product/gpt-4

https://openai.com/contributions/gpt-4

更多内容,点击下方关注:

d17f3d8048192768fd8bb65c2c80eeb7.jpeg

d553e20c312b4de78d9125fcd0dc2b2e.jpeg

未经「AI科技评论」授权,严禁以任何方式在网页、论坛、社区进行转载!

公众号转载请先在「AI科技评论」后台留言取得授权,转载时需标注来源并插入本公众号名片。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/30731.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

AI 图像生成工具可以取代摄影师吗?让我们从原理开始聊聊

AI 的风已经吹向了每一个人,在这篇文章中我们一起来聊一聊 AI 图像生成的原理以及未来。 作为一个非职业的摄影爱好者,我通常会在 Instagram 上面搜罗各种各样的优质图片并将其放进我的收藏夹。其中,有一位我关注了很久的德国摄影师&#xff…

只限今日免费,Midjourney 5.1震撼更新!逼真到给跪,中国情侣细节惊艳,3D视频大片马上来...

点击上方“AI遇见机器学习”,选择“星标”公众号 第一时间获取价值内容 编辑:桃子 拉燕 【导读】全新升级的Midjourney让全网又疯狂了,创造力解禁,出图更逼真。重要的是,限时免费到今天,要玩的抓紧了。 一个…

GPT4震撼发布,哈佛教授:程序员职业3年内将被终结

全球科技界又有重磅消息!GPT-4,横空出世了! 此前,火遍全球的CHATGPT是在GPT-3.5基础上的产品,而GPT-4就是在GPT-3.5等老一代AI上迭代出来的。 OpenAI老板也抑制不住激动的宣布:“这是我们迄今为止功能最强…

量化学习——跟随龙虎榜交易

import pandas as pd import numpy as np #efinance是金融数据包,可免费爬取东方财富交易数据 #直接使用pip install efinance安装 import efinance as ef import matplotlib.pyplot as plt #seaborn、plotly可视化包 import seaborn as sns import plotly_express …

公司拿到了量化交易模型, 交易员和策略师就可滚蛋了?

作者:天启大烁哥 源自:天启量投(ID:QDLG001) 在知乎上看到了一个很有趣的问题。 在这个问题下面,提问者留了一些自己的看法: 有种感觉,资本一直试图用电脑代替人,把人的…

国内量化平台不完全汇总

开始量化交易的第一步就是对比、选择各家量化平台了,这里列出一些面向个人的平台,仅供大家参考: 1、Ptrade 恒生出品,国内最主流的量化平台之一,合作券商多,5w甚至更低即可开权限。支持python&#xff0c…

七天学会python量化交易(一)

七天学会python量化交易 1、程序下载安装后,先补充一下历史数据 2、核心代码部分:(核心代码注意的一个事项,用价格与MA对比的时候,记住一个是close[-1]一个是close[-2] #-------------------------------------------…

运用Python开通量化交易实盘介绍

目前可以接通实盘的量化平台来说,聚宽、果仁、讯投qmt等都是用户量比较多的平台,带有模拟盘功能,可以开通试用账户,但具体如何选择需要根据自身的编程基础情况和资金情况来定。 如果是有一定的计算机语言基础,有编程基…

经典的量化交易算法

作者:徐Jebs 来源:知乎 加权平均价格算法(VMAP):以每一次交易的成交量为权重,一段时间内成交价格的加权平均值。该策略即利用历史成交量数据,将大段时间内的订单分割,成…

十次 CV 论文会议投稿的经验总结

文章目录 导语论文生产发表流程写好论文的意义创新点和论文核心论文的写作要点笔者的论文投稿常见的负面审稿意见总结 导语 2021年来,笔者在多次论文被拒稿期间,开始研究和反思顶会论文生产到投稿的全流程,并全程参与了十几篇论文的审稿。近…

高效工作的关键:这14个AI工具能让您事半功倍!

随着ChatGPT最近在国内的广泛应用,越来越多的AI工具如雨后春笋般涌现。对于各行各业的人来说,使用AI工具来提升工作效率将成为一种趋势。这些好用的AI工具能够快速帮助大家创作出理想的素材,使工作变得更加轻松。 我想向大家介绍14款非常实用…

创作纪念日让 AI 与我共同记录下今天 — 【第五周年、1460天】

今天正是五一,收到一条消息? 五一还要我加班 😏? 喔,原来是 CSDN 给我发的消息呀!我在 CSDN 不知不觉已经开启第五周年啦! 目录 1.机缘2.收获3.日常4.我与 AI 的“合作”part Ipart II Super al…

中国域名根服务器设立 | 历史上的今天

整理 | 王启隆 透过「历史上的今天」,从过去看未来,从现在亦可以改变未来。 今天是 2023 年 6 月 26 日,在 1911 年的今天,计算机先驱弗雷德里克威廉姆斯(Frederic Williams)出生。威廉姆斯是一位英国工程师…

【工具】1658- 拯救设计师的神器!15 款 AI 工具让你设计更高效、更优秀!

关注 “AI 工具派” 探索最新 AI 工具,发现 AI 带来的无限可能性! 🎉 最近 ChatGPT 在国内爆火 🔥,带来了越来越多的 AI 工具,🌱 如雨后春笋般不断涌现。相信很多设计师小伙伴也开始意识到&…

100天精通Python(可视化篇)——第95天:Pyecharts绘制多种炫酷气泡图参数说明+代码实战

文章目录 专栏导读1. 什么是气泡图?2. 散点图与气泡图的区别3. 基础气泡图4. 气泡按颜色显示5. 气泡大小根据值大小显示6. 自定义气泡图颜色7. 设置Y轴百分比8. 添加涟漪效果9. 修改气泡形状书籍推荐 专栏导读 🔥🔥本文已收录于《100天精通P…

春天又来了,做好自己的一年之计(chatGPT生产的博文)

春天来了,温暖的阳光普照大地。百花争艳,正如一幅五彩斑斓的画卷,一遍又一遍将景色熠熠生辉。新鲜的空气中充满了花草树木的香味,令人感到神清气爽。春意盎然,鲜花释放出浓郁的芬芳,伴随着小鸟鸣叫令人心旷…

CHAT GPT在Intellij IDEA中怎么配置

求助:CHAT GPT在Intellij IDEA中怎么配置 我使用的是最新版Intellij IDEA 2023.1,我在openai官网申请了CHATGPT密钥并填入IDEA中,但是为什么不能在IDEA中使用CHATGPT。 CHATGPT显示Something went wrong. Please try again later. 我可以正常…

基于Python的换脸应用

文章目录 前言一、系统整体结构二、运行环境1.预训练模型下载2.提取面部标记3.混合图像5.校正颜色6.转换函数 三、系统测试 前言 通过 Dlib 提供的机器学习、数值计算、图模型算法、图像处理等相关功能,采 用人脸识别预训练,实现两张照片的换脸功能。。…

AI换脸软件有哪些?这几个工具能轻松实现换脸

AI换脸是指利用人工智能技术将一张人脸的特征迁移到另一张人脸上,从而实现人脸转换的过程。这种技术已经被广泛应用于各个领域中,例如视频制作、视频修复、艺术创作和模拟仿真等。但是也有很多小伙伴感觉这个操作很有趣,想要将自己的照片进行…

换脸ai的方法分享!这几个换脸APP巨好用。​

换脸ai的方法分享!换脸AI是一种基于人工智能技术的图像处理应用,它可以将一个人的面部特征和表情应用到另一张照片或视频中,实现快速、高效的人脸替换。这种技术利用机器学习模型分析和学习大量的人脸数据,训练出一种“生成对抗网…