英伟达CEO黄仁勋对话OpenAI首席科学家，谈GPT-4及未来大模型

来源：机器之心

在今年的 GTC 上，NVIDIA 创始人兼首席执行官黄仁勋与 OpenAI 联合创始人、首席科学家 Ilya Sutskever 进行了一场深度对话，讨论了 GPT-4、ChatGPT 背后的故事，也聊了下深度学习的未来。

如今，OpenAI 可以说是整个 AI 领域最火的研究机构。凭借强大的 GPT-4 以及与微软必应、Office 等产品的融合，这家公司似乎要掀起一场生产力革命。

这一成就是由多方面的力量来驱动的，包括聪明的头脑和强大的基础设施。

在「聪明的头脑」里，Ilya Sutskever 颇具代表性。2012 年，他和他的导师 Geoffrey Hinton 以及同学 Alex Krizhevsky 一起，用深度神经网络刷新了 ImageNet 的历史记录，拉开了卷积神经网络统治计算机视觉的序幕，标志着新一波人工智能浪潮的开始。2021 年，这个名为 AlexNet 的论文被引量突破 10 万。

「为了加速训练，我们用到了非饱和神经元和一个非常高效的 GPU 卷积操作实现。」Ilya Sutskever 等人在 AlexNet 的相关介绍中提到了这样一条关键信息。他们还详细说明了如何将他们的网络映射到多个 GPU 上。从这时起，GPU 和神经网络紧紧地绑定在一起。黄仁勋领导的英伟达自然也成了这波 AI 浪潮中不可或缺的一环。

2015 年，Ilya Sutskever 参与创办了 OpenAI，并带领这家公司一路向着 AI 大模型的方向前进。但随着模型变得越来越大，训练它们所需的算力也急剧增长。

「加速计算并非易事，2012 年，计算机视觉模型 AlexNet 动用了 GeForce GTX 580，每秒可处理 262 PetaFLOPS。该模型引发了 AI 技术的爆炸。十年之后，Transformer 出现了，GPT-3 动用了 323 ZettaFLOPS 的算力，是 AlexNet 的 100 万倍，创造了 ChatGPT 这个震惊全世界的 AI。崭新的计算平台出现了，AI 的 iPhone 时代已经来临。」黄仁勋在 GPT 大会的 Keynote 中说道。在这次大会上，英伟达发布了 ChatGPT 专用的 GPU，推理速度提升了 10 倍。

一路走来，Ilya Sutskever 和黄仁勋都是这波 AI 浪潮的见证者和重要推动者。在即将到来的「AI iPhone 时代」，两人也必将扮演重要的领导者角色。

在这场对话中，两人谈到了深度神经网络的能力、限制和内部工作方式，并勾勒了一些未来的图景。

在打造 GPT-4 的过程中，Ilya Sutskever 坚信「（模型）越大越好，扩大规模是 OpenAI 的目标之一」。这自然是黄仁勋喜闻乐见的。