平地一声雷,GPT-4 重磅来袭。
3 月 14 日,OpenAI 正式上线新一代人工智能大模型 GPT-4,它是一个大型多模态模型,可以接受图像和文本输入,同时返回文本输出。就像这样:
用户:这幅画有什么好笑的地方?逐一描述它的板块。
图片来源:https://www.reddit.com/r/hmmm/comments/ubab5v/hmmm/
GPT-4:图片显示的是一个 "Lightning Cable "适配器的包装,有三个板块:
板块1:一部智能手机,VGA 连接器(通常用于电脑显示器的大型蓝色 15 针连接器)插在其充电端口。
板块2:"Lightning Cable "适配器的包装上有一张 VGA 接口的图片。
板块3:VGA 连接器的特写,末端是一个小的 Lightning 连接器(用于为 iPhone 和其他苹果设备充电)。
这张图片的幽默感来自于将一个大的、过时的 VGA 连接器插入一个小的、现代的智能手机充电端口的荒谬性。
不得不说,一个示例足以证明了 GPT-4 与过往大模型的不同之处,是不是很强大?
与此同时,微软宣布 Bing Chat 一直在 GPT-4 上运行。
当前,OpenAI 计划通过 ChatGPT 及其商业 API 发布 GPT-4 的文本功能,但是想要直接用上,还需要先加入一波等待名单(https://openai.com/waitlist/gpt-4-api)耐心等候。不过,ChatGPT Plus 用户倒是可以直接上手 GPT-4 的体验:https://chat.openai.com/chat
GPT-4 惊喜上线
虽然此前 OpenAI 首席技术官 Mira Murati 不断给大家打预防针,希望外界能够对下一代 GPT(即 GPT-4)的技术水平更加冷静务实一些,少一些炒作会更好些,但是当 GPT-4 真正到来时,大家还是坐不住了。
“我们花了 6 个月的时间,利用对抗性测试项目以及 ChatGPT 的经验,反复调整 GPT-4,结果在真实性、可操作性以及拒绝超出道德等边界方面取得了有史以来最好的结果(尽管远非完美)”,OpenAI 分享道。
GPT-4:可以达到应试者的前 10% 水平、一张草图生成网站
为让众人更加清楚地了解 GPT-4,OpenAI 官方不仅上线了介绍性的网页(https://openai.com/research/gpt-4),还发布了一篇技术论文(https://cdn.openai.com/papers/gpt-4.pdf),详细分享了 GPT-4 强大的功能,以及其存在的局限性。
从技术维度上来看,GPT-4 是一个基于 Transformer 的模型,经过预训练,可以预测文档中的下一个 token。这个项目的一个核心部分是开发了基础设施和优化方法。这使 OpenAI 能够根据不超过 GPT-4 的 1/1000 的计算量训练的模型,准确地预测 GPT-4 的某些方面的性能。
也正如昨天 CSDN 报道的,微软的 Azure 与 OpenAI 共同设计了一台超级计算机,搭载了英伟达上万颗 A100 芯片。基于这台超算,OpenAI 在一年前将 GPT-3.5 作为系统的第一次“测试运行”进行了训练,在修复一些 Bug 并提高理论基础之上,OpenAI 基于此又训练出了首个能够提前准确预测其训练性能的大模型 GPT-4。
更长的上下文,上限为 2.5 万个字
在性能上,GPT-4 超越了过往的模型,它可以遵循自然语言的复杂指令、生成技术或创意作品,支持生成和处理多达 32,768 个 token(约 25,000 字的文本),这使得 GPT-4 能有更长的上下文,允许长篇内容创建、扩展对话以及文档搜索和分析等用例。
GPT-4 可以直接上一个好大学
在分析 GPT-4 的能力时,OpenAI 还让该模型参加了统一律师考试、法学院入学考试(LSAT)、研究生入学考试(GRE)的定量、口头推理、分析写作考试以及和各种 AP 科目考试等测试。
考试问题包括选择题和自由解答题,OpenAI 为每种形式设计了单独的提示,并在需要输入的问题中加入了图片。总分是通过结合选择题和自由回答题的分数来确定的,使用的是每个考试的公开方法。
最终结果如下:
GPT-4 在大多数这些专业和学术考试中表现与人类水平相当。这意味着,如果 GPT-4 是一个仅凭应试能力来判断的人,它可以进入法学院,而且很可能也能进入许多大学。
多模态能力,通过视觉输入看世界
正如文章开头示例展现的一样,GPT-4 可以接受图像作为输入并生成标题、分类和分析。
这意味着 GPT-4 实际上将看到现实世界,为此,OpenAI 也宣布正在和它的合作伙伴 Be My Eyes 一起测试 GPT-4 的图像输入能力,这是一款即将推出的智能手机应用程序,可以直观地解释手机相机所看到的内容。
不过,该功能目前仍限于研究预览,没有公开提供。
超越传统的大模型
在一套传统的 NLP 基准测试中,GPT-4 超过了以前的大型语言模型和大多数最先进的系统(这些系统通常有特定的基准训练或手工工程)。
在 MMLU(多任务语言理解)基准测试中,GPT-4 不仅在英语中以相当大的优势胜过现有的模型,而且在其他语言中也表现出强大的性能。在 MMLU 的翻译变体上,GPT-4 的性能优于 GPT-3.5 和其他 LLM(Chinchilla,PaLM)的英语性能,包括低资源语言,如拉脱维亚语、威尔士语和斯瓦希里语。
生成代码、改 Bug 的最佳小能手
除此之外,OpenAI 通过开源评估框架(Eval,https://github.com/openai/evals),用于自动评估 AI 模型性能的框架,允许任何人报告模型中的缺点,以帮助指导进一步改进。
与此同时,GPT-4 对代码有超强的理解能力,可以帮助程序员生成代码,遇上 Bug 时,甚至只要你把错误信息或者代码异常的截图发给 GPT-4,它就能帮你给出相应的提示。
只需几秒,一张手画草图,GPT-4 直接帮你生成网页
更让人惊奇的是,在官方演示的视频中,手绘一张网站草图:
把它拍照发给 GPT-4,GPT-4 甚至可以自动生成网站的原型图。它从图片中提取文字信息并输出到 HTML,一个网站就有了,整个过程只有几秒钟的时间:
另外,GPT-4 也能处理复杂的税务问题。
一系列操作下来,惊呆众人。在上手体验之后,不少网友现身说法:
我不在乎它不是 AGI,GPT-4 是一项令人难以置信的变革性技术。我在 60 秒内重新创建了 Pong 游戏。这是我的第一次尝试。
据悉,所有的代码都是 HTML 实现的。
甚至有人看到了 GPT-4 的强大,开始暗戳戳地暗示起 GPT-5 的模样:
不足之处
OpenAI 表示,他们的目标是开发能够在任何智力任务方面取代人类的 AGI,尽管 GPT-4 还没有达到这个目标。
尽管有这样的能力,GPT-4 与早期的 GPT 模型有类似的局限性:它不是完全可靠的,比如,它也会对事实产生“幻觉”,推理出错误的结果。
对此,OpenAI 首席执行官 Sam Altman 在推特上说:"它(GPT-4)仍然有缺陷,仍然有局限性,但它在首次使用时仍然能给你留下深刻印象。"
在使用 GPT-4 的输出时,应该小心谨慎,特别是在专业性要求非常高的重要场景中。
微软:新 Bing 早用上了 GPT-4
这也是事实,GPT-4 远非完美。不过根据 OpenAI 的说法,研究人员纳入了更多的人类反馈,包括 ChatGPT 用户提交的反馈,用来改善 GPT-4 的行为。此外,OpenAI 公司还聘请了 50 名人类专家,在人工智能安全方面提供反馈。
如今微软同时宣布自家产品早已第一时间用上了 GPT-4。"我们很高兴地确认,新的 Bing 正在 GPT-4 上运行,为搜索而定制,"微软在一篇博客文章中写道。"如果你在过去六周的任何时候使用过预览版的新 Bing,你已经提前看到了 OpenAI 的最新模型的力量。随着 OpenAI 对 GPT-4 及以后的更新,Bing 从这些改进中受益,以确保我们的用户拥有最全面的副驾驶功能。"
压力给到国外的 Google,国内的百度
虽然上周 OpenAI 早已预告过 GPT-4 会在本周到来,但是真正到来时,还是让很多人猝不及防。而之所以选择此时发布,似乎也是为微软将在 3 月 16 号的 AI 最新进展做一定的铺垫,这样微软可以在明天轻松开上一场发布会了。不过,处于同赛道的其他玩家可能得连夜加班了。
这不,就在这一天,Google CEO 皮查伊亲自下场官宣开放预训练大模型(PaLM,https://www.datalearner.com/ai-models/pretrained-models/PaLM)的 API 商业接口,这是 Google 在 2022 年 4 月发布的自然语言预训练大模型,最高参数为 5400 亿。
与此同时,百度早在此前便宣布将会在 3 月 16 日带来文心一言,最终成果不可避免地会与最新的 GPT-4 一较高下,究竟会如何,我们也将在明天揭晓。
参考资料:
https://openai.com/research/gpt-4
https://www.youtube.com/watch?v=outcGtbnMuQ