---

前言

生命未来研究所 (Future of Life Institute) 发表了一封公开信，信件：https://futureoflife.org/open-letter/pause-giant-ai-experiments/，呼吁暂停对比 GPT-4 更强大的模型进行 AI 训练，并有大量人签署了这份公开信，签署人包括马斯克及图灵奖获得者Bengio。

这封公开信指出，最近几个月，人工智能实验室陷入了一场失控的竞赛，他们没有办法理解、预测或可靠地控制自己创造的大模型。人类社会对其可能造成的影响也没有做好准备。因此，公开信呼吁，所有 AI 实验室应立即暂停训练比 GPT-4 更强大的 AI 模型，为期至少 6 个月。

这则消息发布后后，有国外网络针对上述公开信做了一份调研，调研结果如下：

很有趣，广大网友和签署签名的名人观点是完全相反的，大家并不同意这份公开信。这篇文章我想以这篇文章为引，深入探讨下背后的本质：AI安全管控以及预测下接下来AI大模型研发的后续走向。

---

一、公开信内容

公开信原文内容如下：

具有与人类竞争的智能的AI系统可能会对社会和人类产生深远的影响，正如大量研究和顶级AI实验室所承认的。正如广泛认可的Asilomar AI原则所述，先进的AI可能代表着地球生命历史上的一个深刻变革，应该得到相应的关注和资源进行规划和管理。不幸的是，尽管近几个月来AI实验室正陷入一场失控的竞赛，研发和部署越来越强大的数字思维，而无人能理解、预测或可靠地控制，这种规划和管理却没有得到实施。

现代AI系统现在已经在通用任务上具有与人类竞争的能力，我们必须问自己：我们是否应该让机器充斥我们的信息渠道，传播宣传和谎言？我们是否应该将所有工作都自动化，包括那些有成就感的工作？我们是否应该发展可能最终数量超过、智慧超越、淘汰并取代我们的非人类思维？我们是否应该冒着失去对文明的控制的风险？这些决定不应该委托给未经选举的科技领导者。只有当我们确信它们的影响是积极的，风险是可控的，才应该开发强大的AI系统。这种信心必须是充分合理的，并随着系统潜在影响的增大而增加。OpenAI关于人工通用智能的最近声明指出，“在某个时刻，可能需要在开始训练未来系统之前获得独立审查，对于最先进的努力，应同意限制用于创建新模型的计算增长率。”我们同意。现在就是那个时刻。

因此，我们呼吁所有AI实验室立即暂停至少6个月的时间，停止训练比GPT-4更强大的AI系统。这个暂停应该是公开的、可以验证的，并包括所有关键参与者。如果这样的暂停不能迅速实施，政府应当介入并实行一个暂禁令。

AI实验室和独立专家应该利用这个暂停期共同制定并实施一套共享的先进AI设计和开发安全协议，由独立的外部专家严格审计和监督。这些协议应确保遵守它们的系统在合理怀疑之内是安全的[。这并不意味着要暂停AI发展，而仅仅是从一场危险的竞赛中退后，这场竞赛导致了越来越庞大的不可预测的黑箱模型以及突发性能力。

AI研究和开发应该重新关注于使现有的强大、先进的系统变得更加准确、安全、可解释、透明、稳定、符合人类价值观、可信和忠诚。

与此同时，AI开发人员必须与政策制定者合作，大力加快发展健全的AI治理系统。这些至少应该包括：致力于AI的新的、有能力的监管机构；对高能力AI系统和大型计算能力池的监督和跟踪；可以帮助区分真实与合成信息并跟踪模型泄漏的来源和水印系统；一个健全的审计和认证生态系统；对AI造成的损害承担责任；为技术AI安全研究提供充足的公共资金；以及应对AI将导致的严重经济和政治颠覆（尤其是对民主制度）的资金充足的机构。

人类可以在AI的帮助下拥有一个繁荣的未来。在成功创造出强大的AI系统之后，我们现在可以享受一个“AI夏天”，在这个时期我们可以收获成果，为所有人明确规划这些系统的利益，让社会有机会适应。在其他可能对社会产生灾难性影响的技术上，社会已经按下了暂停键。在这里我们也可以做到。让我们享受一个漫长的AI夏天，而不是毫无准备地冒险进入秋天。

二、公开信核心观点和诉求

上述公开信主要有以下几个重要观点：

1. 具有与人类竞争智能的AI系统对社会和人类的潜在风险
2. 现代AI系统在通用任务上的竞争力
3. 技术决策的民主参与
4. 暂停更强大AI系统的训练
5. 重点关注AI系统的安全、可解释性、透明度、稳定性、符合人类价值观、可信和忠诚等方面的研究和开发
6. 加速发展AI治理系统。

客观地说，上述观点在很大程度上关注了AI发展中的伦理、安全和社会责任问题。这些问题是当前AI技术发展中的关键议题，值得广泛关注和讨论，这也是博主想要去和大家分享的。

三、个人思考

其实，在文章开头，我们已经看到了，网络上大部分网友是反对禁止AI大模型研发的。

AI安全和伦理

暂停训练大型AI模型的建议在某种程度上反映了对AI安全和伦理问题的关切，但是这种行为一定程度上会抑制技术进步，大模型目前已经在许多领域取得了突破性的进展，网络上已经有各种层出不穷的应用了。有的使用大模型AI做自然语言处理，构造对话机器人，有的利用大模型AI来绘画，有的甚至利用大模型AI来预测蛋白质结构。

即使暂停大模型的研究也并不能完全解决AI安全问题。实际上，限制大型模型的研究可能会导致相关的安全研究陷入停滞，从而使得未来的AI系统更容易受到潜在的安全威胁。

囚徒困境

在AI领域，公开信提出的关于暂停训练大型模型的建议引发了广泛关注。然而，在实际操作中，这一建议可能面临一个囚徒困境的问题。囚徒困境是指在博弈论中，各方面临合作与背叛的选择，而由于各自利益最大化的驱动，最终导致双方陷入非最优的结果。在这个情境下，各AI实验室面临的问题是：要么继续研发大型模型，要么放慢研发脚步。由于博弈论的影响，各方可能都不会选择放慢研发大型模型的脚步。

我们从竞争、经济利益和政策法规的角度来分析，为何最后大家并不会放慢研发大模型的角度脚步：

首先，从竞争的角度看，各AI实验室都希望在研发大型模型方面取得领先地位。目前，在全球范围内，大模型技术正处于一个激烈竞争的阶段，从ChatGPT到文心一言，从文心一言到GPT-4，再从GPT-4到Google Bard，以及微软的New Bing，各大公司乃至各国都在争夺AI领域的制高点。如果某个实验室或机构选择放慢研发脚步，那么很可能会被其他竞争对手超越，从而在市场上失去竞争优势。在这种情况下，各AI实验室、公司机构为了维护自身的利益，很难做出放慢研发脚步的决策。

其次，从经济利益的角度考虑，大型模型在许多领域都具有巨大的商业价值。这些模型可以应用于自然语言处理、计算机视觉、生物科学等领域，为企业带来可观的收益。ChatGPT用最短的时间实现月活破亿，文心一言发布会首日，就有八万家企业争相合作，这些都说明了市场对大型模型研究的热切回应。在这种情况下，各AI实验室都有动力加快研发大型模型的脚步，以期在市场上获得更高的回报。这意味着，即使实验室之间存在合作的可能性，但在经济利益的驱动下，各方可能仍然选择继续研发大型模型。

再者，从政策和法规的角度分析，目前尚缺乏对AI领域的全球性监管框架。这意味着，在没有统一的政策和法规约束的情况下，各AI实验室可能会继续加快研发大型模型的脚步。在这种情况下，即使部分实验室意识到了囚徒困境的存在，但由于缺乏有效的监管机制，他们可能仍然无法在行动上做出相应的调整。

因此最终时代洪流还是会滚滚向前，发展的脚步永不停歇！

---

总结

马斯克及Bengio一众大佬的公开信，无疑有着他们自己的考量，他们更多担心AI竞赛会导致各方在安全和伦理问题上的短视行为。在追求技术创新和经济利益的过程中，各AI实验室可能会忽视大型模型可能带来的安全隐患和伦理挑战。因为剔除暂停AI大模型的研究，也是情理之中。再加上最近几个月，AI产品所带来的技术革新实在是令人震惊，虽然博主也反对这封公开信，希望继续进行AI研究。但是想想波士顿动力机器人搭配上GPT6，还是有点后怕呀～

最后附上ChatGPT相关资料、和社群信息，欢迎大家一起来讨论交流呀😄～