导读

2023 年 6 月 9 日，智源大会第一天。在这场众星云集的盛会中。目前「深度学习三驾马车」中最活跃的 Yann LeCun 教授带来了重磅演讲「朝向能学习， 思考和计划的机器进发（ Towards Machines that can Learn, Reason, and Plan）」。在此次演讲中，LeCun 对自己近年来倡导的自监督学习进行了梳理，从认知科学出发对人工智能领域未来 10 年的研究目标展开了更为宏大的畅想，提出了基于自监督学习、世界模型、推理、规划的强人工智能实现路线图。 

Yann LeCun

FAIR 首席AI科学家，Facebook人工智能实验室负责人，曾获得“神经网络先驱奖”。同时是美国国家科学学院、美国国家工程学院和法学院国家科学院的院士。2018年图灵奖得主。出版图书《科学之路：人，机器与未来》。

在这里，我们将谈一谈人工智能的未来。

从根本上来说，我们要弥平观察到的人类/动物的能力与当下的工智能之间的差距。

当下的 AI 系统不仅缺少学习的能力，还缺乏推理和规划的能力。在本次演讲中，我们将讨论人工智能下一个十年将走向何方，我将给出一些初步的研究结果，但还没有形成完整的系统。

与人类和动物相比，机器学习还有很大的不足。数十年来，我们广泛使用监督学习技术，而这需要太多的标签。强化学习效果很好，但学习任何东西都需要大量的尝试。近年来，自监督学习蓬勃发展。但这些系统针对专门的领域开发，且十分脆弱，它们会犯一些愚蠢的错误。尽管它们反映迅速，但既没有真正的推理也没有规划。当我们与动物和人类进行比较时，动物和人类可以非常快速地执行新任务，了解世界是如何运作的，可以进行推理和规划。人和动物有一定程度的常识，这是机器所没有的。这一问题在人工智能社区由来已久。

从一定程度上说，这是由于当前的机器学习系统在输入和输出之间有恒定数量的计算步骤，以致于它们真的不能像人类和动物那样推理和规划。

那么，如何让机器了解世界是如何运作的，并像人类一样预测行为的后果，如何执行无限步推理链，或者如何通过将复杂任务分解为子任务序列来进行规划？

在深入讨论之前，我们先谈谈近年来机器学习社区火热的自监督学习。今天，机器学习的许多成就都归功于自监督学习（特别是在自然语言处理和文本理解与生成领域）。

自监督学习

自监督学习旨在学到到输入中的依赖关系，而非简单构建输入到输出的映射。我们只是得到了一个意见。通常，我们遮盖输入的一部分，并将其输入给机器学习系统，让系统重建确实的输入部分，训练系统来学到可见部分和被遮盖部分之间的依赖关系。有时，这一过程通过预测缺失的部分来完成，有时也不完全是预测。

这在几分钟内得到了很好的解释。本质上，我们使用监督学习的方法，但我们将它们应用于输入本身，而不是与人类提供的单独输出相匹配。这种方法在自然语言处理领域了惊人的成功，是最近成功的大语言模型的基础。

通过自监督学习，神经网络学习了一个很好的内部表征，可以用于许多后续的监督任务。此类方法在翻译、文本分类等任务上取得了成功。同样，自监督学习也曾为了一些图像、视频或文本的生成式人工智能系统的基石。

一些用于文本处理的自监督学习系统是自回归的。他们不是通过预测随机缺失的词例（Token）来训练自监督系统，而是循环预测最后一个 token。一旦系统接受了大量数据的训练，就可以进行自回归预测，即不断预测下一个 token，然后把这个 token 移到输入中，如此循环往复。

这就是近年来一些流行的大模型的工作原理：其中一些来自 Meta 的同事，包括开源的 BlenderBot、Galactica、LLaMA、Stanford 的 Alpaca（Lama 基于 LLaMA 的微调版）、Google 的 LaMDA 、Bard、DeepMind 的 Chinchilla，当然还有 OpenAI 的 ChatGPT 和 GPT-4。

如果使用一万亿个 Token 或两万亿个 Token 的数据训练模型，它们将获得惊人的性能。但实际上，它们也会犯很愚蠢的错误（事实错误、逻辑错误、不一致性等），它们的推理能力有限，会产生有害内容。

大量研究表明，这些系统缺乏底层的现实知识，因为它们纯粹是通过文本来训练的，无法完全理解人类知识，无法真正规划答案。然而，这些系统在编写辅助工具、生成代码以及帮助程序员编程方面都非常出色。

你可以让他们做各种事情：用各种语言写代码、生成文本，而且效果很好。但同样，他们会虚构一些故事。如果你想获知真实的信息，我们不如使用信息检索系统、搜索引擎。

所以，这些系统对于写作辅助、初稿生成、统计出版都很有帮助（尤其对于写作语言非母语者）。但此类系统不擅长给出真实、一致的答案。对于一些数据集中存在的行为，它们可以做得很好。然而，对于推理，计划，做算术之类的问题，他们要用搜索引擎计算器数据库查询之类的工具来解决。它们还需要得到进一步的训练。

目前研究的一个热门话题是，如何让这些系统调用上述工具。这被称为扩展语言模型。我和 FAIR 的同事讨论了为扩展语言模型提出的各种技术。我们很容易被目前的 AI 系统流畅的性能所欺骗，以为他们很聪明，但实际上并非如此。这些系统非常擅长「提取记忆」。但是，他们并不理解世界的运行原理。这种基于自回归的生成存在一个主要的缺陷。

不妨想象所有可能答案的集合（token 序列）是一个树。在这个巨大的树中，有一个小的子树对应于给出提示的正确答案。如果我们想象任何 token 在树外的平均概率为 E，产生的错误之间是相互独立的。那么，得到正确答案的概率是 1-e 的 n 次方。

对于自回归预测而言，得到正确答案的树有一个指数发散的过程。除了让 e 越小越好。所以我们必须重新设计这个系统。事实上，学者，们已经指出了一些系统的局限性。

许多认知科学研究证明，这些系统没有关于物理世界的经验，这使得它们的能力非常有限。一些非机器学习的经典人工智能论文试图分析这些系统的规划能力：这些系统不能真正地进行规划，至少不能以与搜索和规划中使用经典人工智能类似的方式进行规划。

如何快速学习？人和动物的启发

那么，人类和动物如何得以快速学习?

婴儿在生命的最初几个月里学习了大量关于世界运作的背景知识，这是一些非常基本的概念（例如，物体的恒久性，世界是三维的，有生命的和无生命的物体之间的区别，稳定性的概念，重力）。如上图所示，婴儿在 9 个月大的时候就学会了重力的概念。

如果您向 5 个月大的婴儿展示下面左下角的场景：小车在平台上，将小汽车从平台上推下来，它似乎漂浮在空中，5 个月大的女婴不会感到惊讶。但是 10 个月大的婴儿会非常惊讶，因为经过这 5 个月的学习期间，婴儿已经知道了物体不应该停留在空中，它们应该在重力下下落。这些基本概念是通过观察世界和体验世界来习得的。我们应该用机器复制这种通过观察世界、体验世界来学习世界如何运作的能力。

显然，我们在设计 AI 时遗漏了一些重要的东西。任何一个青少年都可以在20个小时的练习中学会开车，而我们仍然未能拥有完全可靠的 L5 级。为什么我们有流利的对话系统，可以通过法律考试或医学考试，但我们没有可以清理餐桌的家用机器人?这是任何一个 10 岁的孩子都能在几分钟内学会的东西。目前的人工智能系统，远没有达到人类的智力水平。

人工智能发展路线图：表征、推理、规划

那么，我们要怎么做呢?

事实上，我认为，人工智能研究面临三大挑战：

（1）通过自监督学习习得表征并预测世界模型。当下的自监督和强化学习需要大量的样本和试验。我们要通过自监督学习，以一种任务无关的方式表征世界。学习用于规划和控制的预测模型。

（2）学会推理：犹如 Daniel Kahenman 提出的「系统 1 & 系统 2」的理论。系统 1 是一种与潜意识计算相对应的人类行为或行为，你不需要思考就能做的事情。系统 2 是有意识地用你的大脑的全部力量进行推理。当下的人工智能系统大多停留在系统 1 的阶段。

（3）学习规划复杂的动作序列。通过将复杂的任务分解成简单的任务来分层次地计划复杂的动作序列。

在论文「A Path Towards Autonomous Machine Intelligence」中，我提出了一些对未来 10 年人工智能研究方向的建议。

世界模型

 我们可以将各种模块组织成一个所谓的认知架构，该系统通过世界模型想象一个场景，想象会发生什么，即行为的结果。整个系统的目的是根据它自己的预测，用世界模型规划出一系列行动，使代价最小化。这些模块在大脑中都有相应的子系统：代价模块是我们脑中的「世界模型｜——前额皮质；短时记忆对应海马体；效应器对应前运动区；感知系统位于大脑后部，所有传感受器的感知分析都是在这里进行的。

这个系统的会结合之前可能存储在记忆中的世界的想法处理世界的状态。然后，用世界模型来预测如果世界变化了会发生什么或者智能体采取行动会带来什么结果会发生什么。

如上图所示，在这个黄色的效应模块里，智能体提出了一系列操作。世界模型模拟世界，并计算出这些行为的后果，计算出代价。接下来，系统会优化动作序列，使世界模型代价最小化。

上图中，每个箭头对应一个反向的梯度。所以我假设所有这些模块都是可微的我们可以通过反向传播梯度来推断动作序列从而最小化代价。这不是关于参数的最小化，这是在推理时为了做出动作而对潜在变量的最小化。 

实际上，有两种方法来使用该系统：

（1）反应性策略：观察世界的状态，通过一个感知编码器运行它，生成世界状态，然后直接通过一个策略网络运行，而效应器直接产生一个行动。 

（2）在 0 时刻，观察世界并提取世界状态的表征。然后，系统想象出从 a[0] 到一个很长T（时间）的一系列行动。这些预测的状态输入给一个代价函数，系统旨在找出行动的序列，根据预测使成本最小。因此，这里的世界模型在每个时间步骤中被复用，根据时间 T 的世界表征中预测出时间 T+1 的世界状态，并想象出要完成的行动。这个想法与优化控制领域的「模型预测优化」十分类似。

我们还希望做一个更复杂的版本：一个层次化的系统。该系统通过一系列编码器提取越来越多的世界状态的抽象表示，并使用不同层次的世界模型预测器，来预测世界的不同状态，并在不同的时间尺度上做出预测。

例如，如果我想从纽约去北京，要做的第一件事就是去机场，然后乘飞机去北京。最终的代价函数可以表示我到北京的距离。然后第一个动作是:去机场。第二个动作是，赶飞机去北京。那么，我该怎么去机场？你可以把这个任务分解到毫秒级，通过毫秒级的控制来完成这个大小。

所以，所有复杂的任务都是通过这种方式分层完成的，我们不知道如何用今天的机器学习来解决这一问题。层次化规划这是一个很大的挑战。

代价函数可以由两组成本模块组成：

（1）固有成本。固有的成本是固定不变的。这些成本函数将确保系统正常运行，

（2）可训练成本。用来模拟完成任务的满意度，假设所有这些模块都是可微的。

构建&训练世界模型

假设我们要捕获上图视频中的依赖关系，根据现在或过去的视频进一步预测视频的未来片段。如果你训练一个 2016 年的神经网络来预测视频，会得到非常模糊的预测。因为系统不能提前预测视频中会发生什么，所以它预测的是所有结果的平均值。

在这里，我们提出「联合嵌入预测架构」，从而处理多模态问题。加入我们有生成式架构，比如VAE、MAE。自动编码器，或者我之前说过的大型迁移模型。有一个观测变量 X、编码器、预测器/解码器，产生一个预测变量预测 Y，然后测量某种散度。该系统存在缺陷：要预测 Y 的每一个细节。。当 Y 是离散变量时，这相对容易；但当 Y。是连续变量时，比如一组视频帧，预测视频帧中的所有细节基本上是不可能的，而且大部分细节都无法捕捉。因此，我提出了右边的「联合嵌入预测架构」。

在该架构下，X 和 Y 都是通过编码器输入的，预测发生在表征空间而非输入空间。预测网络试图根据 X 的表征预测 Y 的表征。这种联合嵌入架构的一个简单形式是我在很多年前的90年代初提出的「孪生网络」，在过去的几年里，这种架构在图像自监督学习中逐渐流行起来。

此外，除了 MAE 及其变体，没有其它生成式架构可以很好地学习视觉特征。但从某种意义上说，它产生的特征不是很好。你需要对系统进行微调以获得好的结果。

所以，如果你想要在不进行微调的情况下得到好的特征。你需要使用联合嵌入架构（例如，MoCo、 SimCLR），它们在自监督学习方面做得很好，并产生了非常好的特征。

这里没有列出的另一种方法是 Dino，这是一个稍微复杂一点的联合嵌入版本，包括一个预测器，它试图根据 x 的表示预测 y 的表示，而不是仅仅试图使它们相等。但这将是一个确定性的预测。右边是这个系统的一个版本。在这个系统中，预测器将一个潜在变量作为输入，这个潜在变量可以用来参数化一系列可能的预测，基本上是做出非确定性的预测。

在 JEPA 系统中，世界模型的预测器会有两个变量，一组潜在变量 z 代表所有未观察到的变量代表世界的状态，让你预测接下来会发生什么；另一组变量 a 代表你可能采取的行动。

所以从对世界X状态的观察中，你提取出它的一个表征，然后给它一个动作，通过对一组潜在变量的采样，你可以通过编码器对 Y 状态的表征做出一个预测。

接下来，我们如何训练这个系统？

这个系统可能包括其他在右上方表示的标准，比如C (S)它可能表示我们希望系统满足的约束条件；或代价函数，它表示我们希望系统学习提取的信息类型。

训练：基于能量的模型

我们不能通过传统的概率建模方法来理解这些系统，需要用到基于能量的模型。一个能量函数，捕获了两变量 x 和 y 之间的依赖关系，通过一个标量输出来表示。当标量输出很小的时候，x 和 y 相互兼容的时候。当 y 与 x 不兼容时，它会取更大的值。如上图右侧所示，x 和 y 是标量变量，数据点集就是那些黑点。

能量函数将神经网络参数化并训练。我们希望能量函数在数据点周围取低值，然后在数据点外取高值。你可以把它看作是一个隐函数，它表示 x 和 y 之间的依赖关系。通过学习训练这个能量函数很容易，训练后的数据点提供低能量。

然而，很难弄确保在训练样本之外的能量更高。有两类方法可以做到这一点。一种叫做对比方法，它包括产生对比点，这些绿色的闪烁点，在数据的集合之外，然后把它们的能量推高。

我们同时把现有的数据点的能量降低，然后产生对比的数据点，把它们的能量提高。通过在正确的位置上下推，能量面就会呈现出正确的形状。我更倾向于正则化的方法，在能量函数上施加一个正则化器，这样低能量的空间体积就被限制或最小化了。所以当你压低某个区域的能量时，其他区域就会上升因为只有有限的体积可以吸收低能量。

我认为，对比方法有一个主要的限制，那就是随着 y 的空间维度的增加，需要生成的能量函数形状正确的对比点的数量，随着维度呈指数增长。正则化方法往往更有效，因为它基本上最小化了可以消耗低能量的空间体积。

我认为我们应该做到以下四点：

（1）放弃生成模型。现在生成模型很流行。我想说的是，如果你想要一个可以学习世界模型的系统，仅仅通过生成是不行的，因为在高维连续空间中进行预测太复杂了。所以我们必须使用联合嵌入架构，这意味着我们必须放弃使用生成模型的想法。

（2）放弃使用概率模型。而使用那些基于能量的框架。原因是，如果你要通过编码器对 y 编码，你不能反转这个编码器函数来产生 y 在给定 x 时的条件概率p。必须放弃对分布建模的想法。你只需要计算这个能量函数，它是一个更简单的只能提，就像一个分布。

（3）放弃对比i方法，选择正则化方法。

（4）放弃强化学习。首选规划方法，只有在我们别无选择的情况下才使用强化学习。

联合嵌入的正则化方法

这是这次演讲的核心。如果我们只是训练一个联合嵌入预测架构(JEPA)来最小化预测误差，也就是根据 x 的表示预测 y 的表示所产生的误差，系统基本上会崩溃，因为它会忽略 x 和 y 产生的向量 Sx和 Sy，导致预测误差为零。这个模型不会捕捉到 x 和 y 之间的依赖关系，因为它会为任何东西赋予零能量。你会成功地使训练样本的能量很低，但能量在任何地方都是零。你必须防止这种崩溃的发生。

在这里，我们提出的技术本质上是对 Sx 的信息内容和 Sy 的信息内容进行一些度量，并将它们最大化。

所以找到一种最大化 Sx 和 Sy 的信息含量的方法，这将防止这种崩溃。事实上，它具有正则化效果，尽量减少占用你能量的空间。

如果你有一个潜在变量作为预测器，你还需要正则化这个潜在变量的信息内容，并将其最小化。如果你有一个信息量太大的变量，也会让它崩溃。

如何使 Sx、Sy 的信息量最大化?使这些系统崩溃的一个简单方法是使 Sx 和 Sy 为常数。你可以通过一个运行时的代价函数来防止这种情况的发生，它保证了 Sx 的所有组成部分的标准差高于某个阈值。如上图所示，Hinge 损失使得 S 的每个分量的标准差都大于1。所以系统只能输出常数。这是在一批样本上计算的，对 Sx 和 Sy 做同样的处理。这叫做方差正则化。

这还不足以防止系统崩溃，因为系统可以选择使 Sx 的所有分量相等或非常相关。所以你要做的就是最小化前一个矩阵 Sx 的非对角线项。取一对坐标，测量它们的协方差对于两个不同的坐标，试着最小化协方差项。代价函数是每一对变量的协方差项的平方。

VICReg（方差不变性协方差正则化）让 Sx 通过扩展模块，得到一个更大的向量 Vx。然后对这个较大的向量 Vx 应用方差协方差准则。这将会使 Sx 的分量更加相互独立，至少是成对独立。我们可以用相互扭曲的图像对来训练一种联合嵌入架构。可以将这些特征应用到其他任务中，这些任务是对图像的扭曲版本进行预训练的。

这将是局部的VICReg，这对于分割来说非常有效。这个系统产生了非常棒的分割功能。Dino V2也产生了很好的分割特征。在很多方面都很相似，防止崩溃的方法不同，其表征是量化的，但在很多方面，这是一个非常相似的想法。

Image-JEPA 是一种联合嵌入预测架构，它们完全基于 mask。这并不是在做数据增强。取一个图像，将其输入一个编码器，产生一个表示。在这种情况下，编码器是一个Transformer。我们通过Transformer得到图像的完整表示。然后我们通过相同的Transformer处理部分masking版本的图像。所以这两个有相同的权重。这就产生了较弱的局部特征。然后，我们训练了一个预测器来预测从完整图像产生的表示，从部分图像获得的表示。它产生了非常好的特性，运行非常快，且不需要任何数据增强。

将层次化 JEPA 用于层次化规划

我们可以使用JEPA架构来提取输入的低级表示，并在短期内使用大量细节进行预测。

或者我们可以做的是运行另一个编码器，它将提取一个更高层次的抽象，在相反的地方做出更长期的预测。较低的层次可能涉及现实世界中的实际行动，较高的层次将涉及潜在变量，这些变量可能表示与实际行动不对应的高级行动。

我们为视频预测构建了一些这种层次架构。该架构并不完美，但我们似乎可以从视频中学到很好的特征。它从视频中取两帧，送入编码器，并有一些预测器试图层次化地从第一帧的表示中预测架构的表示，使用相同的编码器从图像中进行训练。

预测器有一个特殊的结构，迫使表示遵循某种几何变换，变形向量场是自顶向下预测的。这个系统会自发地，通过自监督学习学到视频中两个连续帧之间的扭曲，并学习提取代表所有信息的表示。如果你用一种全局图像识别标准同时训练它，你最终得到的系统可以估计光流。但我们也可以提取表征，可以用于对象识别和分割。

结语

如果我们成功地制造了这种层次化的系统，它是完全通用的，我们能够将它们整合到一个系统中。这个系统可以预测由于行动或潜在变量的结果会发生什么，然后用这个系统来做规划。在某种程度上，通过能量最小化进行规划可以看作是一个非常普遍的推理框架。推理总是可以用最小化某个能量函数的形式来表述，所以这比自回归生成更强大。

因此，走向强人工智能系统的步骤包括：使用SSL从观察中学习世界模型，使用JEPA架构和框架处理预测中的不确定性，通过使用相对于动作变量的能量最小化来推理和规划。

这是一种不涉及任何符号或逻辑的推理，只是向量的连续优化。这种架构也许可能将我们引向人类水平的智能。还有待探究。

所恐惧是由对潜在负面结果的预期引起的，而兴奋是由对非常积极的结果的预测产生的。这样的目标驱动的系统，被称之为目标驱动的人工智能，它会有情感，它会有动力，它会是可控的，因为我们可以通过这些代价函数为它们设定目标。比自回归模型更可控。通过适当地设计这些成本函数，我们可以确保这些系统不会想要接管世界。相反，服从人类并且安全。

 Q&A

朱军：

生成模型会输出多种选择。另外，当我们应用生成模型的多样性时，创造性是一个理想的属性。所以我们经常乐见用模型来输出多样化的结果。这是否意味着实际上像事实错误或不合逻辑的错误，不一致的地方，对于这样的模型来说是不可避免的？因为在很多情况下，即使你有数据，数据也可能包含了矛盾的事实。你也提到了预测的不确定性。

杨立昆：

没错。所以我不认为自回归预测模型、生成模型的问题是可以通过保留自回归生成来解决的。我认为这些系统本质上是不可控的。因此，我认为它们必须被我提出的那种架构所取代，即在推理中包含时间，有一个系统去最优化成本和某些标准。这是使它们可控、可引导、可计划的唯一方法，即系统将能够计划出它们的答案。

你知道当你在做一个像我刚才那样的演讲时，你会计划演讲的过程，对吗？你从一个点讲到另一个点，你解释每个点。当你设计演讲时，你在脑子里会计划这些，而并不是（像大语言模型一样）一个字接一个字地即兴演讲。也许在较低的（行为）水平上，你是即兴创作，但在较高的（行为）水平上，你是在计划。

所以，计划的必要性真的很明显。而人类和许多动物有能力进行规划的事实，我认为这是智力的一个内在属性。所以我的预测是，在相对较短的几年内--当然是在5年内--没有正常人会接着用自回归大预言模型。这些系统将很快被抛弃。因为它们是无法被修复的。

朱军：

我在你的设计和框架中，一个关键部分是内在成本模块，对吗？所以它的设计基本上是为了决定智能体行为的性质。看了你的工作文件中的开放性观点后，我和网上的一个评论有共同的担忧。这个评论说，主要是这个模块没有按照规定工作。

杨立昆：

保证系统安全的成本模块不会是一个微不足道的任务，但我认为这将是一个相当明确的任务。它需要大量仔细的工程和微调，其中一些成本可能要通过训练获得，而非仅仅通过设计。这与强化学习中的策略评估（Actor-Crtic结构中的Ctric，对作为语言模型的行为者产出的结果进行评估）或LLM背景下的所谓奖励模型是非常相同的，是一个会整体考量系统的内部状态到成本全程的事情。

你可以训练一个神经网络来预测成本，你可以通过让它接触大量的——让它产生大量的输出，然后让某人或某物对这些输出进行评价来训练它。这给了你一个成本函数的目标。你可以对它进行训练，让它计算出一个小的成本，然后在得到成本之后通过它进行反向传播，以保证这个成本函数得到满足。

所以，我认为设计成本这事儿，我认为我们将不得不从设计架构和设计LLM的成本转向设计成本函数。因为这些成本函数将推动系统的性质和行为。与我的一些对未来比较悲观同事相反，我认为设计与人类的价值观相一致的成本（函数）是非常可行的。这不是说如果你做错一次，就会出现人工智能系统逃脱控制和接管世界的情况。而且我们在部署这些东西之前，会有很多方法把它们设计得很好。

朱军：

你通过分层的JEPA设计来模型，这其中几乎所有的模块都是可微的？也许你可以用反向传播的方法来训练。但是你知道还有另外一个领域，比如说符号逻辑，它代表着不可微的部分，也许在内在成本模块中能以某种形式制定我们喜欢的约束条件，那么，你是否有一些特别的考虑来连接这两个领域，或者干脆就忽略符号逻辑的领域？

杨立昆：

对。所以我认为是的，现实中是有一个神经+符号架构的子领域，试图将可训练的神经网络与符号操作或类似的东西结合在一起。我对这些方法非常怀疑，因为事实上符号操作是不可微的。所以它基本上与深度学习和基于梯度的学习不兼容，当然也与我所描述的那种基于梯度的推理不兼容。

我们应该尽一切努力在任何地方使用可微分的模块，包括成本函数。现在可能有一定数量的情况下，我们可以实现的成本（函数）是不可微的。对于这一点，执行推理的优化程序可能必须使用组合型的优化，而不是基于梯度的优化。但我认为这应该是最后的手段，因为零阶无梯度优化比基于梯度的优化要少很多。

因此，如果你能对你的成本函数进行可微调的近似，你应该尽可能地使用它。在某种程度上，我们已经这样做了。当我们训练一个分类器时，我们想要最小化的成本函数并不完全准确。但这是不可微分的，所以我们使用的是一个可微分的成本代理。是系统输出的成本熵与所需的输出分布，或像e平方或铰链损失的东西。这些基本上都是不可微分的二进制法则的上界，我们对它不能轻易优化。因此还是用老办法，我们必须使用成本函数，它是我们实际想要最小化的成本的可微调近似值。

朱军：

我们听说你将参加一场关于AGI的现状和未来的辩论。由于我们大多数人可能无法参加，你能否分享一些关键点给我们一些启发？我们想听到一些关于这方面的见解。

杨立昆：

好的，这将是一场有四位参与者的辩论。辩论将围绕一个问题展开，即人工智能系统是否会对人类造成生存风险。因此，马克斯和约书亚本吉奥将站在 "是的，强大的人工智能系统有可能对人类构成生存风险 "的一方。然后站在 "不"的一方的将是我和来自圣菲研究所的梅兰妮-米切尔。

而我们的论点不会是AI没有风险。我们的论点是，这些风险虽然存在，但通过仔细的工程设计，很容易减轻或抑制。我对此的论点是，你知道在今天问人们，我们是否能保证超级智能系统对人类而言是安全，这是个无法回答的问题。因为我们没有对超级智能系统的设计。因此，在你有基本的设计之前，你不能使一件东西安全。这就像你在1930年问航空工程师，你能使涡轮喷气机安全和可靠吗？而工程师会说，"什么是涡轮喷气机？" 因为涡轮喷气机在1930年还没有被发明出来。所以我们有点处于同样的情况。声称我们不能使这些系统安全，因为我们还没有发明它们，这有点为时过早。一旦我们发明了它们--也许它们会与我提出的蓝图相似，那么就值得讨论。

"我们如何使它们安全？"，在我看来，这将是通过设计那些使推理时间最小化的目标。这就是使系统安全的方法。显然，如果你想象未来的超级智能人工智能系统将是自回归的LLM，那么我们当然应该害怕，因为这些系统是不可控制的。他们可能会逃脱我们的控制，胡言乱语。但我所描述的那种类型的系统，我认为是可以做到安全的。而且我非常肯定它们会。这将需要仔细的工程设计。这并不容易，就像在过去七十年里，使涡轮喷气机变得可靠并不容易一样。涡轮喷气机现在令人难以置信的可靠。你可以用双引擎飞机跨越大洋，而且基本上具有这难以置信的安全性。因此，这需要谨慎的工程。而且这真的很困难。我们大多数人都不知道涡轮喷气机是如何设计成安全的。

因此，想象一下这事情这并不疯狂。弄清楚如何使一个超级智能的人工智能系统安全，也是很难想象的。 

- 点击查看原文 观看大会回放 -