杨净 发自 凹非寺
量子位 | 公众号 QbitAI

GPT-4让大牛慌了，紧急联名成立人类拯救派：

所有AI实验室立即暂停训练GPT-4更先进的AI系统！

至少6个月限期。

包括马斯克、Bengio在内的上千位产学研代表联名发表公开信“暂停巨型AI实验”，瞬间引起轩然大波。

信中强调：如果不迅速实施，那么政府应该介入强制执行。

我们熟知的一些大咖，比如Stability AI CEO、07年图灵奖得主、苹果联合创始人、多位DeepMind工程师也都赫然在列。

有网友表示：这是三体照进现实？降临派、拯救派和幸存派不是开玩笑的。

我目前是幸存派。

马斯克Bengio联名呼吁

在这封联名公开信中，他们提出了三个方面的需求和建议举措：

首先、立即暂停比GPT-4更先进的AI系统训练，时间至少是6个月。

这一要求是覆盖了所有的人工智能实验室，尤其是这当中的关键参与者。

并且暂停举措必须是公开、可验证的。如果AI机构不能立即实施，那么政府应该介入强制执行。

其次，利用这段时间，开发和实施一套共享安全协议，用于高级人工智能设计和开发，并由独立外部专家进行严格审核和监督。

信中还明确指出：这并不意味着总体限制一般人工智能的发展，而是从目前危险的竞技中退后一步，避免更强大、更不可预测的黑箱模型和新兴能力出现。

人工智能的研究和发展，应该重新聚焦于朝着更准确、安全、可信可解释等的AI系统开发工作上来。

第三，开发者应同政策制定者一道，共同加速开发人工智能治理系统。这个治理系统至少包括：

• 专门负责人工智能的全新监管机构；

• 监督和跟踪高能力的AI系统和大型算力池；

• 注明出处和水印系统，帮助区分真实和合成、以及跟踪模型泄露；

• 健全的审计和认证生态系统；

• 对人工智能造成的伤害进行责任认定；

• 为人工智能安全技术研究提供强大的公共资金；

• 以及提前预防人工智能导致的巨大经济政治破坏。

最后，还畅想了一下未来。

在成功创造出强大的AI系统之后，我们现在享受一个“人工智能夏天”。但这个夏天希望能够漫长一点，需考虑到所有人的利益，并给社会一个适应的机会，暂停使用一些危害系统；而不是毫无准备地冲进“秋天”。

内涵OpenAI和奥特曼

这么做的原因，无非就是忌惮当前GPT-4的强大。

毕竟连OpenAI老板奥特曼自己也承认：AI确实可能杀死人类。

在公开信的最前面，他们（用一堆车轱辘话）解释了这么做的原因，其中不乏一些内涵OpenAI和老板奥特曼的话。

比如一上来就是，正如广泛研究和顶级人工智能实验室所承认的那样，能与人类竞争的AI系统会对社会和人类构成风险。

本该进行谨慎的规划和管理没有进行，反而演变成一场失控的AI竞速。没有人——甚至他们的创造者——能够理解、预测或可靠地控制。

甚至还发四连问：

我们应该让机器人在我们的信息渠道中充斥着宣传和不真实吗？

我们是否应该把所有的工作都自动化，包括那些有成就感的工作？

我们是否应该开发非人类的大脑，使其最终超过我们的数量，胜过我们的智慧，淘汰我们并取代我们？

我们是否应该冒着失去对我们文明的控制的风险？

他们认为这样的决定决不能委托给未经选举的技术领袖。

（奥特曼：直接报我名字得了）

而OpenAI最近关于人工通用智能的声明提到「独立的审查」、「限制先进模型的计算增长速度」等方案，他们认为应该现在就开始进行。

截至现在，这个公开信已有1100+的AI从业者签署，其中不乏一些知名的大牛。

学界包括伯克利计算机系教授Stuart Russell、Hopfield网络发明者John J Hopfield，2007年图灵奖得主Joseph Sifakis、IEEE计算机先驱UML之父Grady Booch、沃尔夫物理学奖得主斯坦福教授Pablo Jarillo-Herrero等。

产业界有苹果联合创始人Steve Wozniak、Stable Diffusion背后公司Stability AI首席执行官Emad Mostaque，多位Deepmind工程师等。

不过需要多说一句的是，这封联名信属于公开署名，任何人都可以申请，后续名单的真伪性有待查证。

甚至还有人发现名单里还出现了同名奥特曼。（狗头）

LeCun：我不签

回过头再来看深度学习三巨头看待ChatGPT，如今Bengio态度已经是再明显不过。

至于Hinton还忙着追赶，他的社交平台还停留在15日，称RLHF机制是在催熟AI。

至于LeCun则是忙着“破防”，前几日还痛批GPT系列没前途，世界模型 is the best。

不过对于这场联名行为，他明确持反对态度。

看来又要跟马库斯打一架了（不是）。

对于这项“拯救行动”，你觉得你是什么派呢？                    

参考链接：
[1]https://weibo.com/1646802810/MztAJ7DVy
[2]https://futureoflife.org/open-letter/pause-giant-ai-experiments/?continueFlag=d19c796896f3776241c518f8747afa68
[3]https://twitter.com/GaryMarcus/status/1640884040835428357

卡奥斯开源社区是为开发者提供便捷高效的开发服务和可持续分享、交流的IT前沿阵地，包含技术文章、群组、互动问答、在线学习、大赛活动、开发者平台、OpenAPI平台、低代码平台、开源项目等服务，社区使命是让每一个知识工人成就不凡。