看完GPT-4测评报告，人麻了

击上方关注 “终端研发部”

设为“星标”，和你一起掌握更多数据库知识

微软前两天发布了一个154页的GPT-4全方面测评报告，看完直接人麻了，确实太强了！！

说实话，很少看到这么多人转发关注一个论文：

简单一句话总结一下：GPT-4不仅仅掌握语言能力，还可以在没有特殊提示的情况下，去解决新颖而困难的问题，跨越数学、编码、视觉、医学、法律、心理学等领域的任务。

此外，在所有这些任务中，GPT-4的性能惊人地接近人类水平。从性能来说通常大大超过诸如ChatGPT之类的先前模型。

需要注意的是，这里测评报告中使用的是GPT-4早期模型，非多模态版本，也就是只有语言建模任务。

下面是论文的重点解析报告：

源：机器之心

论文地址：https://arxiv.org/pdf/2303.12712.pdf

有趣的是，这篇火爆的论文还被人发现有大量删减，因此有人找出了未删节版论文。

从未删减版本中，这个博主也扒出了大量隐藏的细节，如 GPT-4 的内部名称为 DV-3，实际上也是该论文的隐藏第三作者，后被删除；这些微软的研究人员对 GPT-4 的技术细节似乎了解也并不多。此外博主也透露这篇论文发布时删除了有关毒性内容的部分（防止给 OpenAI 造成负面？）。

我们下面粘贴了该博主的 Twitter 线程，感兴趣的可以查看。

Twitter thread：https://twitter.com/DV2559106965076/status/1638769434763608064

回到文章本身。

根据文章所认定的 AGI，是具体的拥有推理、计划、解决问题、抽象思维、理解复杂思想、快速学习和从经验中学习的能力。从这些能力出发，论文进行了有趣的实验和评测。

论文分为 10 个章节：第一章为总括部分；第二章介绍了多模态，主要和视觉生成内容相关；第三章代码，根据指令生成代码、理解现有代码；第四章数学能力；第五章与世界的交互；第六章与人类的交互；第七章判别力；第八章 GPT-4 局限性；第九章社会影响；第十章未来方向及结论。

下面我们通过具体的示例，看看 GPT-4 是不是真的迈进了 AGI 时代。

多模态和跨学科组成

为了测试模型将艺术与编程相结合的能力，该研究要求 GPT-4 用 javascript 写一段代码，以生成康定斯基风格的随机图像，下图第一张为 Wassily Kandinsky 创作的，第二张和第三张分别由 GPT-4 和 ChatGPT 生成的：

下面为 GPT-4 代码实现过程：

进行视觉概念理解：在这个作图任务中，输入提示让模型结合字母 Y、O、H 的形状来画一个人。其实在 GPT-4 的训练过程从没有关于字母形状的认识，只能从相关训练数据中、模糊地学习到字母与一些特定形状有关，结果显示 GPT-4 生成的结果还不错：

用于草图生成：GPT-4 还能与 Stable Diffusion 进行结合。下图为 3D 城市建模截图，输入提示有一条河流从左到右流淌、河的旁边建有金字塔的沙漠、屏幕底部有 4 个按钮，颜色分别为绿色、蓝色、棕色和红色。下面是生成结果：

你还能要求 GPT-4 用 ABC 记谱法生成和修改曲调：

编程能力

GPT-4 有非常强大的编程能力，包括根据指令编写代码和理解现有代码。该研究具体测试了 GPT-4 在编程方面的能力。

代码编写

下图 3.1 是一个让 GPT-4 写 python 函数的例子，该研究使用 LeetCode 在线判断代码是否正确。

然后，该研究让 GPT-4 将上表 2 中 LeetCode 上的准确率数据可视化为图表，结果如下图 3.2 所示。

前端 / 游戏开发

如下图 3.3 所示，该研究让 GPT-4 用 JavaScript 在 HTML 中编写 3D 游戏，GPT-4 在零样本的情况下生成了一个满足所有要求的游戏。

深度学习编程

为深度学习编写代码需要数学、统计学知识，并熟悉 PyTorch、TensorFlow、Keras 等框架和库。如下图 3.4 所示，研究者要求 GPT-4 和 ChatGPT 编写自定义优化器模块，该任务对于人类深度学习专家来说也是具有挑战性的。研究者为 GPT-4 和 ChatGPT 提供了自然语言描述，其中包括一系列重要的操作，例如应用 SVD 等等。