大师激辩：人工智能「性善论」——文艺复兴 or 终结者？

导读

一直以来，学界对于人工智能的生存性风险尚无定论，人工智能「性善论」是否成立？「超级智能」是否会脱离人类控制，产生伤害人类的目标？人类是否会从人工智能手中失去对未来的控制权？

上月，两位深度学习泰斗Yann LeCun、Yoshua Bengio，以及未来生命研究所创始人Max Tegmark和圣塔菲研究所教授Melanie Mitchell，针对上述问题进行了针锋相对的思辨，场面十分激烈。智源社区整理了核心观点，以飨读者。

要点速览

Bengio：我要重新调整我的研究方向，要么研究非常安全的应用（比如研究医疗保健和环境），要么关注人工智能的安全，以准备和预防可能发生的危害。
Bengio：我们并不知道如何制造出一台完全按人类意愿工作的计算机，我们甚至不能用计算机能确切理解的方式清晰表达我们的意愿。计算机还可能会为了维持其存续而做一些另外的事情。
Bengio：人类面临的生存风险并不一定是被毁灭，也可能是被剥夺了控制的权利，无法控制人类自己的命运。
Lecun：不开发人工智能反而「有风险」。人工智能会赋予我们权力，就像有一群非常聪明的人为你工作。这是我们这一代人的文艺复兴！
Lecun：每次出现技术进步甚至文化革命的时候，人们都会有这样的论点：爵士乐将会摧毁社会、印刷机将会摧毁社会。而事实上，启蒙运动催生了哲学，科学，理性主义。
Lecun：如果坏人可以使用 AI 做坏事，那么就会有更多的好人可以使用同样更强大的 AI 来对抗它。
Lecun：认为人工智能有主宰世界或破坏的欲望是完全错误的。在人类中，最聪明的人不一定想成为领导者。这种支配欲与人类的本性密切相关。
Max：对于像喷气发动机和较弱的人工智能技术来说，迭代改进的路线是可行的，我们可以尝试多次。但对于像核冬天或我们可能完全失去控制的未来人工智能这样强大的技术，「迭代改进」并不可行，我们只有一次机会。
Max：机器会忠实遵守人类设定的目标。但这该目标与人类的诉求并不完全一致。
Max：现在，科技力量的增长速度比安全研究、协调研究和制定正确政策的速度要快。
Max：「超级人工智能」将会很快到来，我们并不知道它是否会剥夺人类的权利。让我们保持谦逊！
Melanie：夸大所谓的超级人工智能对人类生存威胁会让我们的集体注意力远离现代人工智能带来的真正的伤害和风险。
Melanie：现在大家喜欢用「超级智能」这个词来形容比人类更聪明的机器，但我们并没有真正想清楚这个词究竟意味着什么。
Melanie：我们现在谈论「超级智能」，是基于某种直觉的联想，假设这些系统很容易建立起来，但目前并没有足够的科学证据能证明这一点。

Max Tegmark 开场演讲

Max Tegmark

宇宙学家，现任麻省理工学院物理学终身教授、基础问题研究所科学主任；生命未来研究所创始人之一。代表作《Life 3.0》、《Life 3.0 Our Mathematical Universe》等。

技术可以用来行善，也可以被用来作恶。随着其能力呈指数级增长，意味着对社会造成的损害可能也呈指数级增长。回到石器时代，一块石头能杀死5个人。300 年前，一枚炸弹可以摧毁 100 个人。1945 年，几枚核弹带走了 25 万人的生命。而如果「核冬天」到来超过 50 亿人将消失。这些技术可以摧毁全世界 60% 的人口。然而，超级智能将比上述任何一种技术都强大得多，它可以轻易毁灭全部人类。

我在这里引用了我的朋友John Lacoon的一条推文，他说让人工智能变得安全，就像每一项新技术一样。这将是一个迭代改进的过程。

我认为，对于像喷气发动机和较弱的人工智能技术来说，迭代改进的路线是可行的，我们可以尝试多次。但对于像核冬天或我们可能完全失去控制的未来人工智能这样强大的技术，「迭代改进」并不可行，我们只有一次机会。

超级人工智能比所有其它技术更强大。根据定义，它可以完成所有人类能做的事情，而且做得更好（例如，雇佣员工、创办公司、制造机器人、做科学研究）。它甚至可以研究如何制造更强大的生物武器，制造更智能的系统。所以，它可以递归地自我改进。它还能做人类根本做不到的事情，可以很容易地复制自己。超级人工智能的思考速度可能比人类研究员快成百上千倍，它可以在 9 个小时内完成人类数年才能完成的研究。假设有一百万个这样的超级人工智能，一旦其中一台机器发现了新东西，它就能立即与所有机器分享新技能。最后，超级人工智能可能缺乏人类的情感或同理心。

那么，超级人工智能为什么会有伤害人类的目标呢?

首先，机器会忠实遵守人类设定的目标。但这该目标与人类的诉求并不完全一致。人类曾经以相同方式消灭其它物种。例如，人类并没有故意要灭绝西非黑犀牛，但有一些人认为吃了磨碎的犀牛角就能调理身体，这一目标造成了该物种的灭绝。

第二，超级人工智能可能被恶意使用。Yann LeCun 说：我们显然永远不会设计出具有这种目标的人工智能。但问题是，「我们」是谁？如果有某种超级强大的开源人工智能，居心叵测的人可能会使用它。此时，人工智能完全服从其主人，从这个意义上说，它被误认为是「安全」的。但仍然会造成惨剧和灾难。

第三，我们可能会输掉与 AI 的竞争。根据定义，超级人工智能可以更好地完成所有人类的工作。用人工智能取代人力的公司会淘汰不这么做的公司。甚至我们还会让人工智能进行决策。那些用人工智能做 CEO 的公司会击败拥有人类 CEO 的公司。我们最终会自愿地将越来越多的权利交给人工智能，将控制权交给了不需要人类所任何事的机器，从而失掉了人类自己的未来。这太糟糕了！

Lecun 开场演讲

Yann LeCun

FAIR 首席AI科学家，纽约大学终身教授，Facebook人工智能实验室负责人，曾获“神经网络先锋奖”。同时是美国国家科学院、美国国家工程院和法国科学院的院士。2018年图灵奖得主。

我们距离实现人类级别的 AI 还有很长的路要走。目前，我们有可以通过司法考试的系统，但任何一个 10 岁的孩子都能在几分钟内学会清理餐桌，任何一个 17岁的孩子都可以在接受大约 20 个小时的训练后学会开车。至今，我们仍然没有研发出家用机器人和 L5 级自动驾驶汽车。

人工智能面临着一些风险，但这些风险早已存在。比如，人工智能是否会产生大量的错误信息、说服人们做坏事，或者向人们提供他们不应该得到的信息？在互联网、社交网络等技术出现后，我们已经针对虚假信息和仇恨言论之类的风险采取了对策，而所有这些对策都大量使用了人工智能技术。从这个角度来看，人工智能对于这些风险来说是解决方案而不是风险本身。那么，我们是否能设计安全、可控的人工智能？

许多人可能使用过 ChatGPT 等自回归大语言模型，这些模型会编造不存在的事实，缺乏推理、规划能力。这些模型没有理解真实世界，纯粹是通过文本来训练的，而人类的大部分知识都与文本或语言无关。如果未来的人工智能系统是基于同样的蓝图，那这样的系统可能是危险的。而我认为，我们在五年内将不再使用这样的系统。

我提议构建目标驱动的 AI，其行为受一系列目标控制。只有当可控的人工智能系统满足一定限制时，它们才能产生输出。只要我们落实这些安全限制，可以让系统变得安全。这些系统会发展出情绪、同理心，会拥有我们希望它们行为得当所需要的所有特质。我认为，如果不赋予人工智能系统类似于人类的情感，它们并不能达到接近人类水平的智能。我们能灌输给系统从属性。

想象一下，10 年、20 年后，也许我们每个人都能通过人工智能助手与数字世界互动。人工智能助手将是我们最好的数字朋友，在日常生活中帮助我们。这就像有一群比我们更聪明的人与我们一起生活、工作，这很棒。

我们希望这些人工智能系统透明且开放。就像维基百科，其中的内容经过了数百万人贡献、审查、编辑，所以我们对内容的真实性有一定程度的信任，对人工智能系统来说也是一样的。它们通过众包得到的人类知识仓库了解世界，它们必须是开源的。

我们正处在抉择的岔路口，是要把人工智能当作武器一样锁起来，还是开放面对？我认为，人工智能将为人类开辟一个新的时代，这是新的文艺复兴，新的启蒙时代，每个人都会因此变得更聪明。

我对人工智能发展持积极态度，找到使人工智能系统安全的方法将是一项艰巨的工程，工程难度很大，但这是可行的。

Bengio 开场演讲

Yoshua Bengio

2018年图灵奖得主，蒙特利尔大学教授，Mila魁北克人工智能研究所的创始人和科学主任。他作为高级研究员共同指导CIFAR的“机器与大脑学习”项目，并担任IVADO科学主任。他关注人工智能的社会影响和人工智能惠及所有人的目标，积极为《负责任地发展人工智能的蒙特利尔宣言》做出贡献，他还是英国伦敦皇家学会和加拿大皇家学会会员。

大脑是一台生物机器，神经科学家们正努力研究人类的大脑。我们可能在未来制造出像人类一样聪明的机器。正如 Hinton 所说，模拟计算机在计算能效方面相较于数字计算机有一定优势，通过吸收大量数据和在计算机之间高速共享信息，它们可以并行学习。成千上万台电脑可以分享它们学到的知识。现在，人工智能系统可以非常快速地阅读整个互联网上的信息，人类在生命中无法做到这一点。因此，如果能够制造出与我们拥有相同智能原理的机器，它们凭借其自身的优势，可能产生超越人类的能力。

这一天何时会到来呢？Hinton、LeCun 和我都认为这一天到来的时间大约在几年到几十年，但这一天终究会到来，并存在一定风险。如今，ChatGPT、GPT-4 等强大的模型发布了，它们通过了图灵测试，加速了这一天的到来。

目前，科学家们的工作就是试图填补人工智能系统仍然缺失的能力。我们并不一定能在短短几年或几十年内研究清楚。我正在研究人工智能系统的推理能力，现有的人工智能系统很擅长直觉感知智能，但不擅长推理和思考。

一旦制造这些系统的方法，参数、权重被可以被下载，一些居心叵测的人可以给下指令，产生巨大的危害。想象一下，比我们聪明很多倍的系统可以打败我们的网络安全体系，可以雇佣有组织的犯罪分子破坏社会秩序，可以合法地雇佣人在网上工作，可以开设银行账户，可以通过互联网做各种各样的事情。

在某种程度上，一旦机器有了自我保护的目标，会对人类造成一些麻烦。人类有求生的本能，如果机器不希望被人关掉，它们就会试图控制环境、控制人类。人类面临的生存风险并不一定是被毁灭，也可能是被剥夺了控制的权利，无法控制人类自己的命运。

我正试图收集上图所示的问题的评论：人类是否总是从技术中受益？不幸的是，到目前为止，我还没有被这些观点所说服。

Melanie Mitchell 开场演讲

Melanie Mitchell

2010年获得Phi Beta Kappa科学奖，2022获得赫伯特·西蒙奖。波特兰州立大学 Portland State University计算机科学教授。曾工作于圣塔菲研究所（Santa Fe Institute）和洛斯阿拉莫斯国家实验室（Los Alamos National Laboratory）。

机器会引发人类灭绝的说法在人类社会的集体心理中由来已久，自机器发明以来就一直被人类社会所争论。那么，这些恐惧是属于科幻小说和哲学猜测的范畴，还是现实生活中真实存在的威胁？在我看来，人工智能短期内不会构成这样的威胁。

首先，人们对人工智能存在威胁的设想都是基于毫无根据的猜测，并非基于科学或经验证据。第二，虽然人工智能带来了许多风险和危害，但它们都没有上升到威胁到人类的灭绝的水平。最后，声称人工智能是一种生存威胁，误导了人们对人工智能的现状和未来的看法。这种耸人听闻的说法转移了人们对真正迫在眉睫的风险的注意力，可能进一步阻碍我们从技术进步中获得的潜在利益。

现在，我们列举一些认为人工智能存在风险的情况：

（1）某种「邪恶」的超级人工智能出现，并试图摧毁人类。在可预见的未来，人工智能系统不会像人类那样有自己的欲望或意图。

（2）超级智能人工智能出现，它误解了我们的愿望，意外地杀死了我们所有人。

（3）极端分子使用人工智能来帮助他们摧毁人类。

人工智能有许多短期风险和危害，比如传播虚假信息或让人类失业。我们应该严肃对待这些风险。但是，对毫无根据的猜测太较真也有害。以疫苗为例，它在减轻疾病方面提供了巨大的好处。但由于对其风险的毫无根据的猜测，一部分人呼吁要求严格限制甚至停止使用疫苗。我们不希望抹杀人工智能在科学、医疗或教育领域的潜在好处。

科学让人类拥有了核武器，但是不应该把科学本身称为一种风险，不追求科学是一种更大的生存风险。就像疫苗和其它技术一样，我们对人工智能威胁的评估需要建立在科学基础上，而不是基于经验数据，更不是基于没有根据的猜测。没有证据表明人工智能的研发会对人类的生存构成威胁。

Debate

Max ：

能否给出实际证据，证明进一步的人工智能研发没有风险？我们在未来的各个时间点上有多大概率研发出超越人类的智能？人工智能有多大概率对人类生存噪声威胁？如何确保人工智能的目标始终与人类保持一致？如何避免恶意用例，阻止居心叵测的人或恐怖分子为自己的利益给人工智能设定接管世界的目标？如何说明关于人工智能对人类生存威胁的担忧像「科幻小说」？

LeCun：

GPT 之类的人工智能系统可能存在风险，但并不会达到「毁灭人类」的程度。我们需要更聪明的人工智能，而距离实现这一目标还缺少很多重要的组件。对于那些「科幻小说」似的末日场景，我们也许无法证明它们是错的，但是这些风险可以忽略不计。我们创造了这些智能体，如果它们不够安全，我们就不会建造它们。实际上，人工智能要产生威胁也是很困难的，凡事都有一个过程，人工智能若想「接管世界」也需要「迭代式」的工程发展。今天，我们讨论如何才能创造安全的超级智能系统，就好比在 1930 年代讨论如何才能制造出可靠的涡轮喷气飞机并以接近音速的速度飞越大西洋。这在当时听起来不可能，但是我们做到了！

Bengio：

假如有一颗小行星正朝我们飞来，目前还不清楚它是否会撞击地球，但我们看到了一个非常清晰的轨迹，我们应该怎么做？

过去 20 多年来，我们一直在稳步建立智能系统，尽管我们还没有实现超级智能，但这并不意味着我们可以什么都不做。学者们提出安全问题的解决方案，正意味他们相信需要建立安全的人工智能。

数十年来，化石燃料公司一直知道他们的活动可能对地球造成高度破坏，但是在利润的驱动下在一定程度上隐瞒了这一事实。实际上，企业的行为与社会需求并不完全一致。同样的情况也有可能发生在人工智能领域。我们要求公司做对社会有用的事情，生产我们需要的商品和服务。

但是，如果公司试图实现的目标和社会真正的需求不匹配，那么我们需要政府进行干预，试图减少这种情况。我们需要了解什么地方会出错，这样才能有备无患，建立起安全的人工智能系统。有些居心叵测的人可能会利用人工智能造成危害。现在，我们可能并没有遭遇到生存风险，但这并不意味着未来的情况仍然是这样。

Melanie：

我们并非争论人工智能发展是否存在风险和危害，而是讨论是否会在较短的时间内产生威胁人类生存的危害。如果这种威胁发生数百年后，也超出了现在讨论的范畴。没有绝对风险为零的事情。而诸如「充满恶意的外星人乘坐宇宙飞船来到地球并摧毁人类」这种事情发生的可能性很低。

现在大家喜欢用「超级智能」这个词来形容比人类更聪明的机器，但我们并没有真正想清楚这个词究竟意味着什么。大脑确实可以被视为一台「机器」，原则上说我们可以建立人类水平的智能，但是目前还差得远。更重要的是，人类的智能与现有的机器都不同，人类智能能够适应人类的问题、需求和动机。我们人类处在一个物质、文化、社会体系中。人工智能系统从人类创造的数据中学习，掌握了人类智能的某些方面，但是它们缺乏对世界最本质方面的理解。我们现在谈论「超级智能」，是基于某种直觉的联想，假设这些系统很容易建立起来，但目前并没有足够的科学证据能证明这一点。

「整个人工智能的历史就是一部失败预测的历史！」早在 20 世纪 50 年代，人们就对超级智能做出了同样的预测，并谈论了存在的风险。那时，人们预测错了，现在仍然是错误的。

Q1 MC：人工智能系统为什么要伤害人类？

Max：一些用户会利用人工智能完成一些恶意的目的；机器会完成人类给定的正确目标，但是当它们以较为极端的方式工作时，可能带来伤害；公司使用人工智能的目的是盈利，而大众的权利可能会被剥夺。

Q2 MC：人工智能对人类生存带来的风险可能处于「长尾分布」的尾部，但风险仍然存在，如何采取行动应对它们？

LeCun：目前，人工智能系统在投入使用前，都会接受测试，在部署之前确保安全。这套流程不会因为系统的力量变大而发生改变。此外，如果坏人可以使用 AI 做坏事，那么就会有更多的好人可以使用同样更强大的 AI 来对抗它。

Bengio：但有时攻击者具有优势。

Lecun：我们目前就面临这种情况，没有有理由担心利用人工智能的攻击者有优势。

Bengio：你怎么知道?

LeCun：因为这种威胁已经存在了，AI 只不过有一点点促进作用（例如，帮助传播错误的信息）。一些居心叵测的人，即使不适用 AI 也会传播虚假信息、仇恨言论，甚至破坏民主。而 Facebook 等公司大量使用人工智能自动删除社交网络上的仇恨言论，这一比例从 5 年前的 25% 上升到了去年的 95%。

Bengio：我们需要达到 100% 才能避免人类灭绝。

LeCun：没有任何技术是完全完美的。

Bengio：所以我们需要做的比现在所做的要更多。

LeCun：我再次重申，好人比坏人更好地使用 AI。

Max：这就好比说「用生化武器阻止坏人的方法就是让好人也用生化武器」。事实上，阻止生物武器攻击的方法应该是使用疫苗并禁止使用生物武器，形成各种形式的监管和控制。

Lecun：阻止生物武器的方法是建立反间谍情报部门，因为即使有监管，坏人也可以秘密地做很多事。

Bengio：这也说明我们需要建立基础设施来保护自己，因此也是有风险的。

Melanie：风险是存在的。但我们讨论的问题是，这种风险是否关于人类存亡，是否会终结人类文明。如果有风险，我们应该怎么做？我并不反对应对风险，但应该保持平衡。人类的资源和注意力有限，目前关于「人工智能威胁人类生存」的论述已经转移了全世界太多的注意力，让我们忽视了「虚假信息」、「偏见」等真正的风险。

Max：你认为人工智能威胁人类生存的风险是 0% 吗？

Melanie：我们不能说任何事情发生的概率为 0%，而我认为这一概率足够低。

LeCun：这一概率比地球被流星撞击而毁灭更低。而人工智能有助于解答这个问题。

Bengio：实际上，我们可以讨论一下这些事情发生的「概率」。首先，我们 10 年左右可以制造出强大到足以威胁人类生存的智能机器。我和 Hinton 等人工智能专家讨论过，它们认为这一概率并不是微乎其微。第二，一旦这种技术开源，任何人都可以使用它。是否有一些居心叵测或被误导的人会使用它们，招致灾难性的后果？其危害至少与核武器爆炸的程度相当。那么我们应该制定怎样的政策？无论这一概率如何，一旦可以拥有这些技术，就有可能有人会滥用它。同时，认为这一概率很小的理由是什么？LeCun 或多或少也赞同我的某些观点，但他主张在发生危险之前填补漏洞。那么，我们也该行动起来。

Melanie：我也与很多人工智能专家交谈，而他们并不认为这会威胁到人类生存。由此可见，人工智能领域现在相当分裂。尽管许多签署了 Max 的专家认为进一步的大规模人工智能研发会对人类有生存威胁，但是他们并没有明确指出这一时间尺度。Hinton 是深度学习的「教父」，但他也并不是全知全能。许多人过分夸大了这些事实的风险，并让公众信以为真，这种现象的危害比人工智能能直接带来的危害更甚。

Q3 MC: Lecun 是 Meta 的科学家，Meta 有 30 亿日活用户。你们拥有大量的数据和各种方式来部署新的人工智能技术。从历史上来看，科学家们有时会由于想要创新而从事有风险的行为。为什么你相信全世界的科学家会像你一样谨慎地对待这个问题？为什么认为 Meta 对人工智能安全发展的挑战保持谨慎？

LeCun：首先，这不只是 Meta 的问题。探究人工智能的本质和发展是一个非常深刻的科学问题，需要整个科学界的共同努力，不能在某个实验室内部讨论这一问题。即使拥有了核弹，但是人类仍然存在。而且，我们不能把核弹和人工智能混为一谈，这十分荒谬。核弹是用来摧毁生命的，而设计人工智能的初衷是为了增强人类的智能（人工智能的「性善论」）。在设计不当的飞机上飞行也是危险的。

为了保证公众使用的技术安全，我们需要进行安全测试、制定规范，使用通过认证的技术。而我们已经拥有安全测试体系。在不久的将来，我们就可以使用全自动驾驶的汽车，它们都会经过严格认证。目前，AI 系统被用于医学影像诊断等应用前，也需要经过管理机构的批准。

我们一直在讨论 AI 的风险，但更应关注其带来的好处。我们时常需要在风险和收益之间折中，不能抹杀 AI 在科学、技术、医疗等方面带来的进步。

Max：我并不赞同人工智能「性本善」。人工智能是一种工具，能够帮人做好事，也能做坏事。有道德的人拥有更强大的智能会造福世界，而如果希特勒拥有更强大的智能，则会危害世界。在生物技术领域，如果发明了一种治疗癌症的新药，只有通过食品药品管理局的安全认证后，才能上市。未来，当我们拥有非常强大的人工智能系统时，公司的角色和责任是在部署之前证明它的安全性。

Melanie：我从未说过人工智能没有风险，完全支持监管。但是其风险并没有高到会终结人类文明。

Bengio：无论这些机器会杀死多少人，都将是一场灾难。这样比我们更聪明的系统会在几年或几十年后出现，它们会找到我们不容易防御的方法，我们需要担心这种风险的存在。

LeCun：首先，认为人工智能有主宰世界或破坏的欲望是完全错误的。在人类中，最聪明的人不一定想成为领导者。

这种支配欲与人类的本性密切相关。人类是社会性动物，按等级组织种群。而猩猩则没有统治任何人的欲望，因为它们不是群居物种。而猩猩几乎和人类一样聪明，这种统治欲与智力无关。我们也可以制造比我们更聪明的、没有统治欲的智能机器。在我领导的实验室中，我只雇佣比我聪明的人，而他们目前并不想替代我的工作。

使机器与人类的目标一致是一个复杂的工程问题。但人类社会对此并不陌生，我们通过制定法律使个体的目标与群体保持一致，让做了坏事的人受到惩罚。

Max：几乎所有的大公司都会声称他们的产品没有风险，烟草业也是如此。

Melanie：超级人工智能的概念并不应该是主观臆想出来的，它不应该比我们聪明 100 倍，但是仍然误解我们的目标。1960 年代就有人认为人工智能灭绝人类的威胁将到来，难道不仅仅是 Jeff Hinton 预测错了，克劳德·香农和赫伯特·西蒙也错了吗？

Bengio：如果说我错了，你会开心吗？我们并不知道到底有哪些事情做错了。还有很多其它威胁人类生存的风险，但人工智能风险与我的工作有很大关系，我并不喜欢目前我们正在进行的大规模人工智能研发模式。

Melanie：那就停止这样做。

Bengio：这正是我现在在做的。

Max：三年前，大多数人工智能研究人员认为我们距离通过图灵测试还需要几十年，他们并没预测到我们会在 2023 年拥有 ChatGPT 或 GPT-4，这让很多人大吃一惊。

LeCun：这些产品背后的基础技术两三年前就存在了。

Bengio：从 AI 专业领域外的人的角度来看，他们着实令人惊讶。过去 20 年，人工智能技术的发展展现出一种趋势。

Melanie：这种趋势并不存在，尽管系统可以根据大量的人类数据学习、合成知识，但是它们无法感受、无法思考、无法形成自己的目标，实现这些能力比获取智能更难。

Bengio：这正是问题所在，我们并不知道如何编写出 Yann 所说的这种安全的计算机系统。这是一个开放性问题，经济学家、强化学习研究人员、人工智能安全研究人员研究了很多年都未能解决。我们并不知道如何制造出一台完全按人类意愿工作的计算机，我们甚至不能用计算机能确切理解的方式清晰表达我们的意愿。计算机还可能会为了维持其存续而做一些另外的事情。以 ChatGPT 为例，它并没有真正的欲望，只想要人类满意（因为 RLHF 的训练方式）。我们很容易将其封装为智能体，赋予它们一定的目标。为了实现人类规定的目标，它们可能会完成一些子目标，这就可能包括「欺骗」或其它有危害的事情。实际上，已经出现了这样的情况。

Melanie：大家要更具有批判性地看待媒体报道的内容。根据我的研究，这种现象并不普遍存在，有时是人类故意引导机器做出欺骗行为。「欺骗」是非常拟人化的想法，这并不是机器的意图。

Q4 MC：「生存风险」不仅指人类灭绝的时间，也指对人类潜能的永久性破坏，使人类无法回到以往的发展轨道。采用了人工智能的机构、公司、政府、个人会具有竞争优势，那么人类的能动性会不会被终结？人类的决策权会不会逐渐交给机器？

Melanie：首先，我并不清楚使用人工智能的人是否一定会表现得比不使用人工智能的人更好。人工智能也有很多限制。也许，人工智能技术会发展得更好，但是人类并不愿意放弃独立选择的能力。过去，我们发明了很多技术（例如，计算器、导航）。但人类已经适应了这些技术，并超越了它们。

Lecun：每一次技术革命或写作技术的进化都证明人类并不会失去独立选择的能力。苏格拉底反对写作，说人们会失去记忆。天主教会反对印刷术，说他们会失去对教义的控制。奥斯曼帝国禁止罗马尼亚的印刷出版。根据一些历史学家的说法，这加速了他们的衰落。因此，每一项使人们变得更聪明，或是促进人类交流、促进教育的技术，本质上都是好的。人工智能就好比新的「印刷机」。

Bengio：但是，如果将有害的技术的影响控制在小范围内，可以让益处大于危害。而「超级智能」可以自我迭代更新、设计出新的人工智能。

LeCun：不，它们不行。

Bengio：它们可以！

Lecun：它们都在人类的控制之下。

Bengio：一些研究该问题的专家表示，我们很难控制「超级智能」，这也是我今天在这里的原因。

Lecun：我建议大家去看看一个叫做「悲观主义者」的网站，上面记载了人们在面对新文化、新现象、新技术时所说过的一些滑稽的话。例如，你不能坐火车，在 50 公里/小时的速度下飞行，你将无法呼吸。

每次出现技术进步甚至文化革命的时候，人们都会有这样的论点：爵士乐将会摧毁社会、印刷机将会摧毁社会。而事实上，启蒙运动催生了哲学，科学，理性主义。

Max：炒股的人会告诉你，过去的表现并不能代表未来的表现和结果。在技术呈指数增长的情况下，完全参考过去的例子是巨大的错误。

首先，在工业革命期间，我们制造了比我们更快、更强的机器。所以我们开始多动脑，少动手。现在，我们现在正在逐渐制造出比人类更聪明的机器，尽管还没有实现。

我们不应该把争论的焦点聚焦在现有的人工智能上，应该关注未来会出现的「超级智能」超人类人工智能。这一天有可能在 5 年或 20 年后到来，也有可能在300年后出现，这才是我们该讨论的。如果发生这种情况，它将与工业革命大不相同。

在那种情况下，我们并不会与肌肉竞争，也不与大脑竞争，而将开始真正与机器竞争权力。我们也可以乐观一些，但不能忽视它们，否则会阻碍我们做正确的事情。关于「如何控制机器，如何利用它们赋予我们权力而不是剥夺我们的权力」，这些伟大的工作会成功。并不是说让人工智能变得安全可控是不可能的。只是现在科技力量的增长速度比安全研究、协调研究和制定正确政策的速度要快。因此，通过讨论，承认存在的风险，我们可以确保加快安全工作的步伐，并制定一些安全要求，以确保我们及时获得安全保障。「抓住」人工智能带给我们的益处。

总结陈词

Melanie：

作为一名人工智能研究人员，我对我们在该领域所取得的成就感到敬畏。我们已经创造出可以向盲人描述图像、帮助医生诊断疾病、预测蛋白质结构的计算机。这些机器拥有惊人的造福人类的潜力。我们可以承认人工智能取得了令人难以置信的进步，而不要对「超级人工智能」进行毫无根据的猜测。诚然，科学技术是一把双刃剑，有被滥用的潜在风险。人工智能技术也不例外。

我们可以承认人工智能的风险和危害，而不必推断出「它们将会对人类带来生存威胁」。讨论「超级智能机器会摧毁人类」，甚至帮助邪恶的人类这样做，可能会引起我们的恐惧。科学和社会的调节能力都反驳了这种生存性威胁。夸大所谓的超级人工智能对人类生存威胁会让我们的集体注意力远离现代人工智能带来的真正的伤害和风险。我们要根据科学原理，而不是「科幻小说」，设计出让人工智能安全、公平和有益的方法。

Bengio：

我一生都在研究机器学习，见证了它的进步。但是，我没有预料到近年来我们所看到的进步。我们现在拥有了可以与之对话的机器，而无法分辨对方是人类还是机器。在很长一段时间里，这被认为是机器达到人类智力水平的里程碑。

现在，当我们仔细观察时，发现事实并非如此，机器还缺少一些能力。我们对未来必须进行推断，我们别无选择。如果某件事可能带来的结果很糟糕，我们需要提前为此做好准备。我们必须做开展人工智能安全工作，我们现在有能力控制未来。为此，我们需要接受存在各种风险的事实。

这不仅仅是因为人工智能变得疯狂。这是因为人性有弱点，我们可能被各种方式欺骗。会有人利用人工智能危害社会。当我们构建非常强大的人工智能工具时，真的需要更加小心其带来的危害。

Melanie 问我：你为什么不停止研究人工智能？我想做我认为最正确的事情，朝着正确的方向前进。我要重新调整我的研究方向，要么研究非常安全的应用（比如研究医疗保健和环境），要么关注人工智能的安全，以准备和预防可能发生的危害。

Lecun：

每一项技术都有风险，但人工智能不会给人类带来生存性威胁。我们需要在每一项技术的好处和副作用之间做出权衡。有些副作用是可以预测的，有些则不然。人工智能会有副作用，会有人试图用人工智能来做坏事，这就是我们生活的世界。

每当有危险存在，人类都会找到对策，对于任何领域的技术进步都是如此。还记得互联网刚上线时，人们担心网络攻击，担心别人窃取你的信用卡号码，担心金融系统会崩溃。2000 年之前，有人说卫星会从天上掉下来，电话系统会崩溃，文明会终结，这些预言并没有发生。

很多人都觉得他们无法控制人工智能，他们对人工智能的发展又无能为力，便认为会发生危害。但我们中的一些人可以有计划地让人工智能变得安全。如果不能保证它们的安全，就不会建造它们。在50年代，人们考虑建造核动力汽车，人们创造了一些原型，但是由于安全考虑，从来没有量产。人工智能也是如此。我们不会制造「核动力」的人工智能。

不开发人工智能反而「有风险」。人工智能有很多潜在的好处。我们必须针对实际风险考虑，并做出权衡。比人类更聪明的人工智能会服从人类，它不会削弱我们的能动性。相反，人工智能会赋予我们权力，就像有一群非常聪明的人为你工作。这是我们这一代人的文艺复兴！