OpenAI大动作｜山姆·奥特曼亲探 GPT4: 极速+便宜将变成现实！

Laf 公众号已接入了 AI 绘画工具 Midjourney，可以让你轻松画出很多“大师”级的作品。同时还接入了 AI 聊天机器人，支持 GPT、Claude 以及 Laf 专有模型，可通过指令来随意切换模型。欢迎前来调戏👇

<<< 左右滑动见更多 >>>

❝
原文链接：https://humanloop.com/blog/openai-plans

本文作者：Raza。他是 Humanloop 的 CEO 和联合创始人。曾在剑桥大学攻读物理专业，师从 David Mackay 教授，深受其研究的启发，开始致力于 AI 技术研究，认为它是“我们这个时代最具变革性的技术”。Raza 曾是 Monolith AI 的创始工程师之一，致力于将AI技术引入机械工程领域，且曾在谷歌 AI 部门开发语音系统。他拥有 UCL（英国伦敦大学学院）机器学习博士学位。

上周，我有幸与 Sam Altman 以及其他 20 位开发者共坐一堂，讨论 OpenAI 的 API 和产品规划。Sam 的开放态度令人称赞。我们的讨论涵盖了开发者的实际问题，以及与 OpenAI 使命和 AI 社会影响相关的大方向问题。以下是关键的信息要点：

1. 目前 OpenAI 的 GPU 严重不够用

在讨论中反复提到的一个主题是，目前 OpenAI 对 GPU 的依赖极强，这严重拖慢了他们的短期规划。客户最大的抱怨是API的可靠性和速度。Sam 承认了他们的顾虑，并解释说，大部分问题主要是由于 GPU 不够用所引起的。

更长的 32k 上下文还不能推广给更多的人。 OpenAI 尚未克服注意力的 O(n^2) 扩展，尽管他们很可能很快就会拥有 100k-1M 的上下文窗口（今年），但更大的窗口将需要一个研究突破口。

微调 API 目前也受限于 GPU 资源。 他们尚未采用高效的微调方法，如 Adapters^[1] 或 LoRa^[2]，因此微调需要消耗计算资源。未来会有更好的微调支持。他们甚至可能开设一个模型市场，社区用户可以自由贡献。

专用容量服务受限于 GPU 资源。 OpenAI 也提供专用容量，为客户提供模型的私有副本。想要使用此服务的客户，必须愿意预先承担 10 万美元的开支。

2. OpenAI 的近期路线图

Sam 分享了他对 OpenAI 近期 API 路线图的看法。

2023年：

更便宜、更快的 GPT-4 —— 这是他们的首要任务。总的来说，OpenAI 的目标是将人工智能的价格压到最低，因此他们会努力继续降低 API 的成本。
更长的上下文窗口 —— 在不久的将来，上下文窗口可能高达 100 万个 token。
微调 API —— 微调 API 将扩展到最新的模型，但其具体形式将根据开发者实际需求来决定。
有记忆的 API —— 现在调用聊天 API 时，你必须反复传递同样的会话历史，并反复支付相同的 token 费用。未来将会有一个记住会话历史的 API 版本。

2024年：

多模态 —— 这个功能已经在 GPT-4 的发布会中演示过了，但得等更多的 GPU 上线后才能让每个人都能体验到该功能。

3. 插件没有产品市场契合度，暂不支持 API 调用

很多开发者都希望通过 API 获得 ChatGPT 插件的访问权限，但 Sam 表示暂时还不太可能。除浏览之外的插件使用情况表明，他们还未找到产品市场契合点。他还说，很多人以为他们想要的是把他们的产品放到 ChatGPT 中，但实际上他们真正需要的是把 ChatGPT 放在他们的产品中。

4. 除了 ChatGPT，OpenAI 不会发布其他产品

有相当多的开发者表示，他们在使用 OpenAI API 进行开发时总是会感到紧张，因为 OpenAI 很可能会发布跟他们产品类似的竞品。Sam 表示，除了 ChatGPT 之外 OpenAI 不会发布更多的产品。他说，有很多伟大的平台公司都有一款杀手级应用，ChatGPT 将使他们通过自用其产品，从而改进 API。ChatGPT 的愿景是成为工作中的超级智能助手，但也会有很多 OpenAI 不会触及的 GPT 用例等待大家去自由发挥。

5. 监管很重要，但开源同样重要

虽然 Sam 也呼吁对未来的模型进行监管，但他并不认为现有模型是危险的，认为监管或禁用他们将是一个巨大的错误。他再次强调了开源的重要性，并表示 OpenAI 正在考虑将 GPT-3 开源。他们尚未开源的部分原因是，他对有多少个人和公司有能力托管和服务大型 LLM 持怀疑态度。

6. 扩展定律依然成立

最近有许多文章声称“超大 AI 模型的时代已经结束^[3]”。但这并不准确。

OpenAI 的内部数据显示，模型性能的扩展定律仍然成立，继续扩大模型将继续提高性能。OpenAI 在短短几年内已将模型扩大了数百万倍，未来不太可能继续维持这样的增速。这并不意味着 OpenAI 不会继续尝试扩大模型，只是说明模型可能每年只会增大两三倍，而不是增长几个数量级。

扩展持续有效的事实对 AGI 发展的时间表产生了重要影响。扩展假说是一种观点，认为我们可能已经有了构建 AGI 所需的大部分元素，剩下的工作大部分将是将现有方法扩展到更大的模型和更大的数据集。如果扩展的时代已经结束，那么可以预期 AGI 还有很长的路要走。扩展定律依然成立的事实强烈暗示了 AGI 离我们将会越来越近^[4]。