无脑增加

模型规模

已经落伍

当你在 ChatGPT 或者新 bing 里输入一个问题，AI 会调用它的云端大脑，思索一番，生成一段较为合理的回答。

而在 OpenAI 开发 GPT 时，也反复提到了参数正变得庞大，模型的规模也在逐代变得复杂。

训练大规模的语言模型，需要极大算力的 GPU 集群，并且随着用户数量的指数级增长，运行它们同样会占用相当的算力。

每个想要入局 AIGC 的企业，最先考虑的是如何布局大规模的云计算中心，仿佛 AIGC 的竞争已然成为硬件资源的角力。

OpenAI CEO Sam Altman  图片来自：wired

有了更强算力的计算中心，就能够跑得起更大规模的语言模型和算法，最终的 AI 产品，可能也会变得更「聪明」。

然而，近期 OpenAI CEO Sam Altman 在麻省理工的演讲里，给那些想凭借「大力出奇迹」的后来者泼了盆冷水。

Altman：无脑扩大模型规模已经过时

「大型模型时代已经到头了，我们需要用新的思路和方法，让 AIGC 取得新的进展。」

扩大模型规模，利用更复杂的参数，调用更大的算力，基本上是 OpenAI 过去几年在 GPT 上所使用的迭代方法。

GPT-2 大概拥有 15 亿参数，而 GPT-3 则拥有 1750 亿参数，而 GPT-4 虽然没有官方数字验证，但不少机构也推测出，它使用了数万亿字的文本和上万台云计算服务器，训练它的成本已经超过了 1 亿美元。

随着 ChatGPT 的影响力越来越大，微软也使用了其底层技术，推出了新 bing。

随之，Google 推出了 Bard，Adobe 推出了 Firefly，除了这些大企业外，硅谷许多资金充裕的初创企业，像是 Anthropic、AI21、Cohere 和 Character.AI，也在疯狂地投入，构建更大规模的算法，以赶上 ChatGPT 和 OpenAI。

二代 Runway 一句话生成的大片

对于硬件资源的极大需求，也造成了英伟达 A100、H100 GPU 的抢购潮。

在 eBay 上，英伟达的 H100 已经成热门商品，价格更是炒到了 4 万美元，而其官方售价只是 3.3 万美元。并且，H100 一般是打包 8 张组成一个服务器销售。

目前，并没有其他的第三方对外销售的 GPU 与英伟达竞争，在 AI 浪潮之下，谁的英伟达 GPU 越多，仿佛就掌握了 AIGC 行业的取胜之匙。

与传统行业的资本垄断、大企业垄断类似，对于算力的追求，也催生了「算力垄断」。

而 Sam Altman 也表示，OpenAI 还没有开发 GPT-5 的计划。言下之意便是，无脑的扩大模型规模，并不会让 GPT 保持无限的迭代。

目前来说，ChatGPT 与微软的新 bing 都遇到了不少因为算力不太够而出现宕机、服务不稳定的状况。

同时，新 bing 也并未面向所有用户，「排队等待」的状况仍然存在。

而这也是 Google 还无法将类似的生成式 AI 完全引入其搜索的一个原因。

曾在 Google 从事 AI 工作，现在是 Cohere 创始人的 Nick Frosst 也表示 Altman 很有先见之明，并且也表示，新的人工智能模型设计或架构可能会基于人类反馈进行调整。

按照这个思路来说，OpenAI 或许已经在用新的思路在构思 GPT-5 了。

Musk：挖人、买显卡、组团队入局

即便 Sam Altman 公开表示，现阶段继续走 OpenAI 的老路，通过扩大模型规模来提升，很难追得上 ChatGPT。

但曾是 Altman 的老朋友 Musk，毅然决然地投入到了 AIGC 行业之中。

根据华尔街日报的消息，Musk 悄悄地注册了一家名为 X.AI Crop 的公司，并从 Google 挖了几名研究员，向英伟达买了几千张显卡。

Musk 的目的很明确，就是为了与 OpenAI 和 Google 展开竞争。

就在相关报道发出之后，Musk 在接受 Fox News 采访时，就承认了想要推出一款类似 ChatGPT 的产品，取名为 TruthGPT。

Musk 的意图很明确，TruthGPT 将会「最大化寻求真理的 AI」，并试图理解宇宙的本质，希望能带来更多的好处而不是坏处。

Musk 的采访和回应，其实有点无厘头，毕竟按照现在大语言模型的规模来看，X.AI Crop 可能还不如硅谷的一些初创团队。

且 TruthGPT 这个名字也像是在向 ChatGPT 抗议。

Musk 一直认为 GPT-4 类的生成式 AI 会有相当大的风险，呼吁暂停开发六个月，并且呼吁推出相应的监管。

甚至也说出了「ta 有毁灭文明的潜力」。

只是一边说暂停研究，自己一边成立 X.AI Crop 开始入局 AIGC，很难不相信这是在炒作。

另外，暂停六个月的研发，也更像是封印 OpenAI，给自己留出六个月的时间来迎头追上进度。

不可否认地说，Musk 的 SpaceX、Tesla 都颠覆了一个行业，成为当下名气最响亮的企业。

Musk 与 Starship

而当初离开 OpenAI，看到如今的成就，并用一些比较有争议的言论，反而展示了 Musk 早就错失机会的不甘。

至于 TruthGPT 是否能像他说的那样，只能等六个月再看看了。

黄仁勋：我们需要一个 App

目前生成式 AI 仅存在于对话框中，以一种很古典的形式出现在当下所有的智能设备当中。

不论是插件，还是第三方 App，最终大众与其交互的都是一个个对话文本框。

这也是计算机刚刚出现时，最初级的人机交互方式。

而在 Nicolai Tangen 的一期播客里，他与英伟达 CEO 黄仁勋 畅聊了 AI 将会如何改变人们生活和工作方式。

当下 AI 的快速发展，离不开英伟达的 GPU 的助力，英伟达几乎垄断了云算力的市场。

如 Altman 的观点，当下 AI 还无法摆脱超高算力，超大型模型以及庞大算法的支持。

对于初创公司来说，这是一个挑战，而对于英伟达来说也是。

英伟达需要不断地开发制造更强大的 GPU 来适应 AI 的发展。并且目前 AI 仍然存在于巨大的数据中心，以及需要多台超级计算机提供算力。

它不像此前任何的一个应用程序，或者软件。GPT-3 有着 1750 亿个参数，在面对如此的计算量时，英伟达的 AI GPU 从底层重新进行了设计。

但目前，处理大规模的数据和学习大模型，仍然需要数周的时间。它现在还无法浓缩到一个 App 或者个人 PC 当中。

如此其实也解答了到目前为止 AI 对于软件的促进，其实都是以云和插件的形式存在。

而英伟达也表示，AI 已经开始深入到自己芯片的设计当中，「当芯片架构师在睡觉的时候，AI 仍然在不断地迭代和优化改进相应架构」。

「它能帮助我们更好地设计和制造芯片。」

换句话说，AI 介入芯片的生产，而生产出的芯片又用于云算力来运行 AI，这算是 AI 的自给自足了吧。

另外，黄仁勋也认为 AI 也将会引发下一次工业革命，它暂时不会自我觉醒取代人类。

反而会极大地解放人力，增加每个人的生产力。人们可以利用自然语言直接编程，而无需学习复杂的 Python、Java、C 语言。

并且，他也拿英伟达的软件工程师举例，在 AI 的帮助下，大概有 40~50% 的代码和软件由生成式 AI 补充，工程师只要提供建议与思路。

黄仁勋也预估，AI 的加入，会让目前英伟达软件工程师的生产效率提升 10 倍。

Github 的 Copilot 功能

AI 的介入，能够让人们以一万倍的速度完成很多繁琐的事情，间接提高了生产力。

在 GPT-4 出现之前，AI 行业可以以简单地依靠扩大模型规模，增加硬件部署来保持高速迭代。

随着算力瓶颈的出现，不得不让 OpenAI 重新思考如何优化，找到 AI 的下一步发展方向。

同样地，黄仁勋也清晰地认识到，目前 AI 对于算力的需求过于庞大，且它需要存在于一个空间巨大、芯片众多的位置，现在的 AI 就仿佛像是世界上第一代计算机 ENIAC 一般。

AI 的下一步，减少对资源需求的同时，也需要瘦身，并且能独立存在于一个 App 或者软件当中。

从目前来说，这还不太现实，不过好消息是 OpenAI 已经开始招聘 Android、iOS 工程师，相应的 App 也应该很快就来了。

ChatGPT 们难以复制的原因，除了耗显卡，还有水电费太贵？

ChatGPT 之父承认 GPT-5 并不存在，为什么 OpenAI 总是这么实诚？｜万字详述