Stuart Russell专访：关于ChatGPT，更多数据和更多算力不能带来真正的智能

关注并星标

从此不迷路

计算机视觉研究院

公众号ID｜ComputerVisionGzq

学习群｜扫码在主页获取加入方式

计算机视觉研究院专栏

作者：Edison_G

《人工智能：现代方法》（Artificial Intelligence: A Modern Approach）第四版中文版于近期问世，机器之心对作者 Stuart Russell 教授进行了专访。作为 AI 领域的经典，《人工智能：现代方法》几经再版，内容和结构反映出两位作者不断发展的理解。最新第四版是他们把近十年 AI 进展，尤其是深度学习所带来的影响纳入整体框架后给出的最新阐释，体现了两位大师对人工智能趋势和学科体系发展的洞见。

转自《机器之心》

如果罔顾深度学习数据效率低这一根本性的问题，「我担心我们在自欺欺人地认为我们正在走向真正的智能。我们所做的一切实际上是向根本不是真正智能模型的东西添加越来越多的像素。」

-1-

基于模型、基于效用的智能体。来源：《人工智能：现代方法（第 4 版）》插图 2-14

通用学习型智能体。来源：《人工智能：现代方法（第 4 版）》插图 2-15

-2-

-3-

机器之心：《人工智能：现代方法》第四版有一个重要的更新，那就是不再假设 AI 系统或智能体拥有固定的目标。此前人工智能的目的被定义为「创建一些试图最大化期望效用的系统，其目标由人设定」，现在我们不再给 AI 系统设定目标，为什么会有这样的一种转变？

Stuart Russell：原因有几点。首先，随着人工智能走出实验室，走入现实世界，我们发现其实很难完全正确地定义我们的目标。例如，当你在路上开车时，你想快速到达目的地，但这并不意味着你应该以每小时 200 英里的速度行驶，而你如果告诉自动驾驶汽车安全第一，它可能永远停在车库里。在安全和快速到达目的地，以及对其他司机友好、不让乘客感到不舒服、遵守法律法规……等等各种目标之间需要权衡。路上总会有一些风险，会发生一些无法避免的意外，很难把你在驾驶时的目标全部写下来，而驾驶只是生活中一件很小、很简单的事情。所以，从实际操作的角度讲，给 AI 系统设定目标是不合理的。

其次则涉及到我在书中举的迈达斯王的例子（King Midas Problem）。迈达斯是希腊神话中的一位国王，他非常贪婪，求神赐予他点物成金的力量，神满足了他的愿望，他碰到的一切都变成了金子，他实现了他的目标，但后来他的水、他的食物也成了金子，他的家人被他碰了之后也成了金子，最后他在黄金围绕中悲惨地死去。这警示我们，当你为非常强大的系统定义目标时，你最好确保你所定义的目标是绝对正确的。但既然我们已经知道我们做不到这一点，那么随着 AI 系统越变越强大，它们不知道真正的目标是什么就越来越重要。

目标其实是一件非常复杂的事情。例如我说午饭想买个橙子，这可以是一个目标，对吧？在日常语境中，目标被视为某种可以被实现的东西，一旦实现了，事情就完结了。但在哲学与经济学定义的理性选择理论中，其实并不存在这样的目标，我们有的是对各种可能的未来的偏好或排序，每一种可能的未来都从现在一直延伸到时间的尽头，里面包含了宇宙中的所有。我想，这是对目标、对人类真正想要什么的一种更复杂、更深远的理解。

机器之心：这种转变对人工智能接下来的发展有怎样的影响？

Stuart Russell：自上世纪四五十年代人工智能伴随计算机科学诞生以来，研究人员需要对智能有一个概念，这样才能以此为基础进行研究。虽然早期的一些工作更多是模仿人类的认知，但最终胜出的是理性的概念：一台机器越能通过行动实现其预期目标，我们就认为它越智能。

在人工智能的标准模型中，我们致力于创造的就是这种类型的机器；人类定义目标，机器完成余下的部分。例如，对于确定性环境中的求解系统，我们给定成本函数和目标标准，让机器找到实现目标状态的代价最小的动作序列；对于随机环境中的强化学习系统，我们给定奖励函数和折扣因子，让机器学习最大化期望折扣奖励和的策略。在人工智能领域以外也能见到这种方法：控制学家最小化成本函数，运筹学家最大化奖励，统计学家最小化预期损失函数，经济学家最大化个人效用或群体的福祉。

但标准模型其实是错误的。正如刚才所说，我们几乎不可能完全正确地指定我们的目标，而当机器的目标与我们真正期望的目标不符时，我们可能会失去对机器的掌控，因为机器会先发制人，采取措施，不惜一切代价确保其实现既定目标。几乎所有的现有 AI 系统都在标准模型的框架中开发的，这就带来了很大的问题。

在《人工智能：现代方法（第 4 版）》中，我们提出人工智能需要新的模型，新的模型强调 AI 系统对目标的不确定性，这种不确定使机器会去学习人类的偏好，采取行动前征求人类的意见。在 AI 系统运行期间，必须有一些信息从人类流向机器，说明人类的真正偏好，而不是人类在最初设定目标后就无关紧要了。这需要让机器与固定的目标解耦，以及让机器与人类实现二元耦合。标准模型可以被视为一种极端的情况，也即在机器的作用范围内，可以完全正确地指定人类所期望的目标，例如下围棋或解谜。

我们也在书中提供了一些示例来说明新模型的工作原理，例如不确定偏好、关机问题（off-switch problem）、辅助博弈（assistance game），等等。但这些都只是开始，我们才刚刚开始研究。

机器之心：在人工智能这个快速发展的领域，如何紧跟技术趋势又不盲目追逐热点？AI 研究者和从业者应该将什么常记于心？

Stuart Russell：要构建真正智能的系统，我认为根本问题是能够用一种具有表示性的语言去表示宇宙中包含的各种不规则。智能和电路的本质区别就在于此，据我们所知，电路不能很好地表示那些不规则，这在实践中表现为数据效率的极端低下。

举一个简单的例子，我可以写下正弦函数的定义（用数学公式），或者我可以尝试用大量像素凭经验描述正弦函数。如果我只有 1000 万像素，我只能覆盖正弦函数的一部分，如果看我已经覆盖的区域，我似乎有一个很好的正弦函数模型。但实际上，我并没有真正理解正弦函数，我不知道函数的形状，也不知道它的数学性质。

我很担心我们在自欺欺人地认为我们正在走向真正的智能。我们所做的一切实际上是向根本不是真正智能模型的东西添加越来越多的像素。

我认为在构建 AI 系统时，我们需要关注那些具有基本表示能力的方法，其核心在于能够对所有的对象（object）进行声明。假设我要把围棋的规则写下来，那么这些规则必须适用于棋盘上的每一格，我可以说对于每个 x 每个 y 会怎样，我也可以用 C++ 或 Python 来写，我还可以用英语写，用一阶逻辑写。这些语言都能让我以非常简洁的方式写下规则，因为它们都具有表达这些规则的表示能力。但是，我无法在电路中做到这一点，基于电路的表示（包括深度学习系统）不能表示这一类的泛化。

罔顾这一事实而企图通过大数据实现智能，在我看来很荒谬，这就好比说不需要理解什么是一颗围棋的棋子，因为我们有几十亿的训练样本。你想想看人类智能做的事情，我们建造了 LIGO，检测到了来自宇宙另一端的引力波。我们是怎么做到的？基于知识和推理。在建造出 LIGO 之前，我们从哪里去搜集训练样本？很显然，前人了解到了一些事情，包括他们的感官体验，然后用英语和数学这样一些表示性的语言将其记录下来，我们从中学习，了解到宇宙运行的规律，并基于这些进行推理和工程和设计，等等，从而观测到了宇宙另一端的黑洞碰撞。

当然，基于大数据实现智能是可能的，很多事情都是可能的，进化出一个比人类更加智能的 Fortran 程序也是可能的。但我们花了两千多年理解知识和推理，也开发出了大量基于知识和推理的优秀的技术，并且基于这些技术开发出了成千上万的有用的应用。现在你对智能感兴趣，却不关心知识和推理，我对此无话可说。

《人工智能：现代方法（第 4 版）》图书简介

人工智能领域的「大百科全书」，时隔十年重磅更新，全球 1500 多所学校采用的经典教材。北京大学张志华教授团队全新翻译，吴军、黄铁军作序推荐，孙茂松、周志华、俞勇、邱锡鹏、刘知远、吴甘沙、王斌、肖睿等国内外 20 多位 AI 大咖审读推荐！

本书将现在已知的内容融合到统一的框架中，全方位探索人工智能领域，涵盖了从基础知识、模型方法、社会伦理到应用专题等各个层面，构建了人工智能学科的完整体系。第 4 版对第 3 版出版之后的十几年间基于大数据的深度学习方法进行了大篇幅的补充，特邀业界著名学者编写最新技术的相关章节，覆盖了机器学习、深度学习、迁移学习、多智能体系统、机器人学、自然语言处理、因果网络、概率编程、隐私、公平和安全人工智能等新领域或扩展领域。

本书既有广度，又能让读者通过每章的参考文献与历史注释查找资料，进行更有深度的学习和研究。本书还提供了习题、算法实现代码等在线资源。本书适合作为高等院校人工智能及相关专业本科生人工智能导论课程的教材，也适用于研究生课程。对于希望全面了解人工智能技术或者长期从事人工智能相关工作的读者，更是一本理想的大百科全书。相信它将激励全球新一代人工智能学习者和从业者在构建向善的人工智能的道路上前进。

转载请联系本公众号获得授权

计算机视觉研究院学习群等你加入！

计算机视觉研究院主要涉及深度学习领域，主要致力于人脸检测、人脸识别，多目标检测、目标跟踪、图像分割等研究方向。研究院接下来会不断分享最新的论文算法新框架，我们这次改革不同点就是，我们要着重”研究“。之后我们会针对相应领域分享实践过程，让大家真正体会摆脱理论的真实场景，培养爱动手编程爱动脑思考的习惯！