点击“开发者技术前线”，选择“星标”

让一部分开发者看到未来

来自：AI前线 

数千名科技大佬认为，我们已经有了 GPT-4，现在应该先缓一缓，别急着搞出比它更强大的新型 AI 系统。

3 月 22 日，生命未来研究所（Future of Life）向全社会发布了一封《暂停大型人工智能研究》的公开信，呼吁所有人工智能实验室立即暂停比 GPT-4 更强大的人工智能系统的训练，暂停时间至少为 6 个月。

据悉，生命未来研究所是一个非营利性组织，主要由马斯克基金会、总部位于伦敦的 Founders Pledge 集团和硅谷社区基金会资助。

千名科技大佬签署联名信，

呼吁暂定训练比 CPT-4 更强大的 AI

截止目前，马斯克、图灵奖得主 Yoshua Bengio、苹果联合创始人 Steve Wozniak、Stability AI 创始人兼 CEO Emad Mostaque、DeepMind 高级研究科学家 Zachary Kenton、AI 重量级人物 Yoshua Bengio（通常被称为“AI 教父”之一）和该领域研究的先驱 Stuart Russell 等上千名科技大佬和 AI 专家已经签署公开信。

附公开信原文：

关于叫停巨型 AI 实验的一封公开信 ：

我们呼吁所有 AI 实验室，立即暂停对体量超过 GPT-4 的 AI 系统的训练（包括目前正在训练的 GPT-5），且暂停期至少 6 个月。

通过广泛研究和顶级 AI 实验室的调查认可，具备类人智能的 AI 系统很可能对社会和人类构成深远风险。正 如广受推崇的阿西洛马 AI 原则中所述，高级 AI 可能代表着地球生命史上一场影响深远的变化，应给予相应的关注和资源进行规划和管理。但遗憾的是，我们并没有看到这种级别的规划和管理。最近几个月来，AI 实验室陷入了一场失控般的技术竞赛，全力开发和部署一颗颗愈发强大的“数字大脑”，但就连创造者自己都无法理解、预测或可靠地加以控制。

当代 AI 系统在常规任务上已经具备与人类相仿的能力，因此我们必须扪心自问：我们是否应该让机器用宣传和谎言填满信息渠道？我们真的应该推动一切工作自动化，包括目前已经令人满意的岗位吗？我们是否应当开发出最终可能超越自身、超越特种甚至取代我们的非人类思维？我们应该承担这份失去对文明掌控权的风险吗？很明显，这些问题的答案，不该由少数未经选举产生的技术领导者决定。只有当我们确信具有积极影响且风险可控时，才应当实际开发强 AI 系统。对这个问题的判断需要坚毅的决心，也要充分考虑到系统潜在影响等因素。

OpenAI 近期发布的 AI 声明指出，“必须承认，在开始训练未来系统之前，可能应该认真考虑开展独立审查。对于最前沿的探索，也应该对新系统的算力资源增长率做出限制。”我们完全认同这一判断，并坚信当下就是最恰当的时机。

因此，我们呼吁所有 AI 实验室，立即暂停对体量超过 GPT-4 的 AI 系统的训练，且暂停期至少 6 个月。这种暂停应当对外公开且可加验证，涵盖所有关键参与者。如果未能迅速实施暂停，政府应介入并强制要求其暂停。

各 AI 实验室和独立专家则应把握这次暂停，共同开发和实施一套用于高级 AI 设计和开发的共享安全协议，并由外部独立专家进行严格审计与监督。这些协议应确保依其构建的系统具备无可置疑的安全性。我们并不是要全面叫停 AI 开发，只是想从目前这场危险的竞赛中退后一步，避免最终衍生出体量更大、更加不可预测的黑盒模型。

AI 研究和开发工作应当集中注意力，努力让目前最强大、最先进的系统变得更准确、更安全、更可解释、更透明、更稳健、更一致，也更加忠诚且值得信赖。

与此同时，AI 开发商必须与立法机构合作，加快开发出强大的 AI 治理体制。其中至少应当包括：专门负责 AI 事务的新型监管机构；监督和跟踪高性能 AI 系统及大量算力的机构；出处与水印系统，帮助区分真实与合成信息，同时跟踪模型泄露；强大的审计和认证生态系统；对 AI 造成的伤害进行责任回溯；为 AI 安全研究提供强大的公共资金支持；指派资源充足的机构应对 AI 将会在经济和政治层面造成的巨大破坏。

人类应当享受到 AI 造就的繁荣未来。在成功创建起强大的 AI 系统之后，我们才能平稳度过“AI 之夏”，静候金秋带来的累累硕果。但这一切的前提，是暂时叫停一切可能对社会造成灾难性影响的技术，这也是我们的当务之急。为社会提供过渡期、确保系统设计造福每个人，我们才能信心满满地迎接“AI 之秋”。

强大的 AI 让人又爱又恨

通过以上公开信不难看出，人们想要叫停更先进的 AI 系统的研发，无非是担心在缺乏有效监管的情况下，AI 发展太快会为人类社会带来一系列潜在隐患和危险。更重要的是，AI 太过强大了，发展到一定成程度时甚至人类都无法掌控它。

自 ChatGPT、GPT-4 发布以来，关于 AI 与安全性的讨论声不断，甚至引发了不少科技大佬的深切担忧。

“人工智能教父”、英国计算机科学家 Geoffrey Hinton 接受 CBS 新闻的长篇采访中提到，人工智能正处于“关键时刻”。目前，人们经常提到 AGI 提高当前模型能力的预兆，但无论业界多么欢呼它的到来，或者它真正需要多长时间，Hinton 说，我们现在应该仔细考虑它的后果，这可能包括它试图毁灭人类的问题。

3 月 25 日，OpenAI 创始人兼首席执行官 Sam Altman 在接受科技博客主 Lex Fridman 的采访时表态，他不会回避“人工智能可能杀死全人类”的说法。

在 Youtube 平台公布的视频中，MIT 研究科学家 Lex Fridman 在访谈中提到了人工智能研究者、LessWrong 研究所创始人 Eliezer Yudkowsky 的观点。Yudkowsky 此前指出“人工智能可能杀死所有人”，并认为，当人工智能发展为超级智能时，几乎无法与人类站在统一战线上。

关于超级 AI 威胁论的声音甚嚣尘上，这也就有了如今科技大佬们集体呼吁短暂叫停更先进的 AI 研发的呼声。

不过并不是所有科技大佬们都会更先进的 AI 持消极态度。有趣的是，距离“暴风眼（ChatGPT、GPT-4 等先进 AI 系统）"最近的 OpenAI 的首席执行官 Sam Altman 不在签署这封信的人之列。另外两位积极部署先进 AI 的科技巨头——谷歌和微软的 CEO Sundar Pichai 和 Satya Nadella 也都不在签署者之列。

此外，图灵奖得主、Meta 首席 AI 科学家 Yann LeCun 也在 Twitter 上发表了不同观点。Yann LeCun 表示：“我不会签署这个公开信，不同意这封公开信的内容。”

马斯克“手撕”GPT 的真正原因是什么？

在这次的公开信签署者中，马斯克的受关注程度最高。因为一直以来，无论是钻研自动驾驶还是脑机接口，马斯克留给外界的印象是一位总能走在科技最前沿“钢铁侠”。公然反对更先进的 AI 的研发，不符合他的一贯作风。

有媒体报道，实际上，马斯克反对的不是 AI，而是 OpenAI 和 GPT。

马斯克不仅是生命未来研究所的最初发起人，也是 OpenAI 公司的联合创始人之一。但他在 2018 年离开了 OpenAI 的董事会，并撤销了一大笔赞助款。

美国《财富》杂志当时报道称，离开的原因是因为马斯克虽然支持人工智能，但特斯拉智能驾驶技术与 OpenAI 之间有“潜在利益冲突”。

还有报道称，马斯克在离开前提出过由他本人执掌 OpenAI 运营的建议，但遭到了拒绝。这就不难理解，为什么离开 OpenAI 后，马斯克就一直将矛头对准 OpenAI 以及和它有关的一切。

除了在公开场合发表言论攻击 OpenAI 外，马斯克还将手深入了 OpenAI 内部挖走他们的员工。2022 年离职的特斯拉自动驾驶主管 Andrej Kapathy 就是 OpenAI 最优秀的人才之一。

有网友认为，上述举动表明，马斯克并不是真的反对更先进的 AI 技术，而是痛恨这项技术先入了别人之手，而自己只能成为旁观者。

对于这次千人署名事件， 金沙江创投管理合伙人朱啸虎在朋友圈发表了自己的看法，“其实是为竞争对手争取时间，OpenAI 的迭代速度太快了。Google 的搜索比对手好 20% 就占据了 90% 的搜索市场份额。OpenAI 的影响会更广泛，所有的上层应用都希望使用优更强大 AI 赋能的云服务。更不用说微软本来就具有强大优势的前端 Office 应用。只能寄希望于 OpenAI 会像自动驾驶那样发展到某个阶段会遇到难以克服的瓶颈”。

很多人可能会认为这次的集体呼吁只是一场“贼喊捉贼”的闹剧，毕竟签名者中就有正亲自参与 AI 模型研究和部署的人士，比如 Stability AI 的 CEO Emad Mostaque。该公司去年发布了文本到图像模型 Stable Diffusion。

但作为最了解 AI 底层技术细节的一群人，考虑到加速 AI 开发所带来的高风险，他们或许只有两条路可走：要么是在口头上表示明确反对和抗议；要么是一边口头抗议，一边向这些专心搞 AI 的从业者施压，要求他们尽可能阻止局面失控。

参考链接：

https://futureoflife.org/open-letter/pause-giant-ai-experiments/

https://www.reuters.com/technology/musk-experts-urge-pause-training-ai-systems-that-can-outperform-gpt-4-2023-03-29/

— 完 —
点这里👇关注我，记得收藏订阅哦～

历史推荐

ChatGPT 中文版插件来了
与ChatGPT 技术对话 42 天后，30多岁男子过于焦虑自杀身亡...

Twitter部分源代码泄漏、疑遭离职员工报复：马斯克要求GitHub交出所有上传、下载人员名单

好文点个在看吧