来源：机器之心
本文约2600字，建议阅读5分钟
通用人工智能的出现可能只是技术发展历程中的一个小节点，因为 AGI 或许可以加速自身的进步，从而以指数方式扩展能力。

在 ChatGPT 引爆科技圈之后，人们对于先进技术产生了更多期待，但一直有专家警告 AI 可能造成的危害。我们知道，OpenAI 的使命是确保通用人工智能 —— 比人类更聪明的 AI 系统，能够造福全人类。近期，这家公司发布了「AGI 路线图」，详细解释了这家前沿研究机构对通用人工智能研究的态度。

在路线图中，OpenAI 对新技术的发展有了更加谨慎的态度，这可能意味着以后用户和应用范围会受到更严密的监控和限制。让我们看看 OpenAI 是怎么说的：

如果通用人工智能（AGI）最终被成功构建起来，这项技术不仅可以带来更多可能性，推动全球经济发展，也能改变新兴科学知识的发现，会从各种角度帮助人类提升生活水平。

AGI 有潜力赋予每个人不可思议的新能力。我们可以想象这样一个世界，在其中，所有人都可以获得几乎所有认知任务的帮助，它或许是人类才智和创造力的巨大力量倍增器。

但另一方面，正如一些人所担心的，通用人工智能也会带来严重的滥用、严重事故和社会混乱的风险。由于 AGI 的好处如此之大，我们不能认为让社会永远停止其发展是可取的方向，相反，社会和 AGI 的开发者必须要想办法把它做好。

与通用人工智能共同生活的未来图景难以预测，当前的 AI 进展可能会遭遇新的挑战，但在 ChatGPT 获得成功的当下，OpenAI 列出了我们最关心的几项原则：

1. 我们希望通用人工智能使人类能够在宇宙中实现最大程度的繁荣。我们不希望未来成为一个虚假的乌托邦，但我们希望将技术好的一面最大化，坏的一面最小化，让 AGI 成为人类善意的放大器。

2. 我们希望 AGI 的益处、接入和治理能得到广泛和公平的分享。

3. 我们要正确应对潜在风险。在面对这些风险时，理论上似乎正确的事情在实践中往往比预期更难以控制。我们必须通过部署功能较弱的技术版本来不断学习和适应，以最大程度地减少「无可挽回」的情况。

短期目标

OpenAI 认为，若为通用人工智能的发展做准备，有几件事要先做好。

首先，随着我们不断构建出更为强大的 AI 系统，我们必然希望快速部署 AGI 并获得在现实世界中操作它们的经验。谨慎管理 AGI 存在的最佳方式应该是逐渐过渡到 AGI 的世界。我们期望强大的 AI 能够加快世界进步的速度，OpenAI 认为最好是逐步适应这一点。

渐进的方式让人们、政策制定者和机构能有时间了解正在发生的事情，亲身体验这些系统的好处和缺点，调整我们的经济组织形式，并实施有效监管。渐进的方式还允许社会和 AI 共同进化，并允许人们在风险相对较低的情况下共同弄清楚自身所需。

OpenAI 目前认为，成功应对 AI 部署挑战的最佳方法是采用快速学习和谨慎迭代的紧密反馈循环。在新技术的冲击下，社会将面临「人工智能系统被允许做什么、如何消除偏见、如何处理工作岗位流失」等重大问题。最佳决策将取决于技术所采用的路径，并且与任何新领域一样，到目前为止，大多数的专家预测都是存在偏差的。这使得在预期外进行规划会非常困难。

一般来说，我们认为在世界上更多地使用 AI 会带来好处，并希望推广它（通过将模型放入服务 API 中，将它们开源等等）。OpenAI 相信，开放的访问也将导致更多更好的研究，吸引更多的人贡献新的想法。

OpenAI 表示，随着其开发的系统越来越接近 AGI，该机构在模型的创建和部署方面都变得越来越谨慎。

OpenAI 需要权衡部署大模型的利弊。一方面，部署先进的大模型是重要的科技进展；另一方面，部署模型之后，公司和机构也需要考虑如何限制恶意行为者、避免对社会和经济造成不良影响等问题。在这种情况下，OpenAI 表示将围绕持续部署来改进其规划。

其次，OpenAI 正在努力创建更加一致和可控的模型。从 GPT-3 的第一个版本到 InstructGPT 和 ChatGPT，这一步步的转变就是 OpenAI 在这个方向上努力的例子。

值得注意的是，OpenAI 认为有一点非常重要，就是人类社会需要就如何使用人工智能达成极其广泛的界限，而在这些界限内，个人用户有很大的自由使用权。OpenAI 希望最终世界能够就这些广泛的界限达成一致。

随着模型变得更强大，OpenAI 将需要开发新的对齐技术。OpenAI 的短期计划是使用 AI 来帮助人类评估更复杂模型的输出并监控复杂系统，而从长远来看，OpenAI 将会使用 AI 来帮助其提出新的想法以获得更好的对齐技术。

重要的是，我们需要在人工智能安全和能力方面共同取得进展，这二者不应该分开谈论。OpenAI 表示其最安全的工作来自于其最有能力的模型。也就是说，提高人工智能的安全性对 AI 研究进步非常重要。

第三，OpenAI 希望就三个关键问题展开全球对话：如何治理这些系统，如何公平分配它们产生的收益，以及如何公平共享访问权限。

除了这些，OpenAI 还提到在该公司的章程中有一个条款是关于协助其他组织提高安全性，而不是在后期 AGI 开发中与对手竞争。OpenAI 投资规则中对股东可以获得的回报设定了上限，这样研究机构本身就不会被激励去尝试无限制地获取价值，也不会冒险部署具有潜在灾难性危险的东西。

OpenAI 被一个非营利组织管理，以保证该机构是为人类的利益而运行（并且可以凌驾于任何营利利益之上）。

OpenAI 认为在发布新系统之前进行独立审查是 AGI 研究非常重要的一步。关于 AGI 工作应何时停止训练、确定模型可以安全发布或从生产使用中撤出模型的公共标准是很重要的。最后，OpenAI 认为世界主要政府应对超过一定规模的机器学习训练保持监管。

长远目标

OpenAI 相信人类的未来应该由人类自己决定，与公众分享有关进步的信息至关重要。我们应该对所有试图建立 AGI 的努力进行严格审查，并在重大决策上面向公众进行咨询。

从某种意义上说，第一个 AGI 将只是人工智能持续发展中的一个小节点，然后从这个节点开始不断衍生出新的进展。AI 的发展可能会在很长一段时间内保持我们在过去十年中看到的进展速度。

有一天，世界可能会变得与今天截然不同，但科技的进步也可能带给人类很大的风险。一个「错位的」超级智能 AGI 可能会对世界造成严重的伤害。

加速科学发展的人工智能将是一个值得思考的特例，这也许比其他任何事情都更有影响力。有足够能力加速自身进步的 AGI 可能会导致世界发生重大变化。也许 AGI 的发展在初期是比较缓慢的，但 OpenAI 预计给世界带来巨大变化的 AGI 在最后阶段一定会出现。

基于上述原因，OpenAI 认为 AGI 领域较慢的启动速度更容易确保安全，并且 AGI 在关键时刻减速可能也很重要。即使技术的进展让我们可以迅速发展 AGI，但减速的重要意义是要给社会足够的时间来适应。

成功过渡到一个拥有超级智能的世界可能是人类历史上最重要、最有希望，但也最可怕的项目。这种巨大进展的成功还远未得到保证，但我们已经可以预见的利害关系有望将所有人团结起来。

无论如何，那将是一个繁荣到我们还无法完全想象的世界。而 OpenAI 希望为世界贡献一个与这种繁荣相一致的通用人工智能。

参考内容：

https://openai.com/blog/planning-for-agi-and-beyond/

编辑：文婧