导读
一封呼吁暂停大模型研究6个月的公开信让一家名为未来生命研究所（Future of Life Institute 简称：FLI）站上了风口浪尖。这家研究所的联合创始人Max Tegmark是来自麻省理工学院的物理学家和人工智能研究员，《生命3.0在人工智能时代成为人类》一书的作者。他正是带头公开信呼吁暂停 6 个月训练GPT-4等大型 AI 实验的关键人物。
在最新一期与著名AI主播Lex Fridman的对话节目中，Max就GPT-4、智能外星文明、生命3.0、公开信、AI如何杀死人类等议题表达了他的观点（Max Tegmark将作为2023年智源大会特邀嘉宾进行主旨报告）。智源社区对精华观点进行了整理。
Max Tegmark
马克斯·泰格马克（Max Tegmark）宇宙学家，现任麻省理工学院教授，基础问题研究所科学主任。曾经马克斯是一名物理学家，在他看到人工智能的强大后，便致力于将基础科学与人工智能结合，发展出可以用基础科学方法“理解”的人工智能。
未来生命研究所
位于美国波斯顿的生命未来研究所是一家致力于降低人类所面临风险的研究与推广机构，主要关注人工智能技术开发过程中的可能风险。在过去十年中，FLI 举办了影响广泛的活动、会议和研讨会，并促成了无数包括阿西洛马人工智能原则（Asilomar AI Principles）在内的重要成果。
▲ Max Tegmark将作为本次智源大会嘉宾参与邀请报告环节，敬请期待。扫描下方二维码，免费报名2023智源大会。
要点速览
◆ 生命如此稀有，我们是这颗高级意识火种的管家，要培育它，让它成长
◆ 关于AI的纷争，是否会带走一部分我们生而为人的意义。
◆ 在后AI时代，我们应该专注于作为高级智慧生物所拥有的主观体验，爱、链接，这才是真正有价值的东西。
◆ 可能不久之后就会出现大大超越我们认知能力的超级智能。这将是人类有史以来最好的事情，也可能是最坏的事情。没有中间地带。
◆ GPT-4是单向的信息流，就像一个非常聪明的僵尸，可以做些聪明的事情，但本身没有体验世界的能力。
◆ GPT-4的推出，可能正是人类真正需要的警钟，告诉人们停止幻想，100年后的事情很可能不可控，难以预测。
整理&编辑：李梦佳
智能外星文明
L（Lex Fridman）：当前是人类文明史上的决定性时刻，人类与AI之间的力量抗衡开始发生变化。Max的思想和声音在这样的时代是最有价值和最有影响力的，他的支持、智慧和友谊一直是我永远深深感激的礼物。
让我再问你一次，我在第一集问过的问题，你认为宇宙中有智慧生命吗？当你仰望星空时，会想到什么？
Max（Max Tegmark）：当我们仰望星空时，如果用大多数天体物理学家的方式来定义我们的宇宙，并非全部的空间，而是我们用天文望远镜能观测到的球形空间区域，从光能有时间抵达我们的地方开始。自从宇宙大爆炸以来，一种预测说的是我们是所有宇宙空间中唯一的生命，唯一发明了互联网、收音机并达到如此高等科技水平的生命。如果真的是这样，那我们就更有义务不要搞砸，因为生命如此稀有，我们是这颗高级意识火种的管家，要培育它，让它成长，最终生命可以从这里传播到我们宇宙的大部分地区，我们可以拥有这个美好的未来。
糟糕的是，如果我们鲁莽地对待技术，出于愚蠢或战斗而将其扼杀，那么剩余的宇宙历史将会成为空凳子游戏（a play for empty benches）。但我认为实际上很快会有外星智能访问我们。甚至我们将自己创建外星智能。
所以我们将孕育出一个智慧的外星文明，不同于他们人类的任何东西，地球上的进化能够创造出这样的生物路径。
而且它会比猫，甚至现在这个星球上最奇特的动物都要更“外星”得多，因为它不是通过通常的达尔文竞争创造的，不再有关心自我保护、恐惧死亡等事情。你可以建立的外星思维空间比进化给你的要广阔得多。随之而来的是我们的重大责任，以确保我们创造的那种思想，能够分享我们的价值观并有益于人类和生活的思想，以及所创造出的思想不会受苦。
L：如果对所有智能类型进行概括的话，是否考虑过，AI可能属于外星思维？
Max：我尝试过，但失败了。我的意思是，人类的大脑很难真正应对仍然完全陌生的事物。我的意思是，试想一下如果我们对死亡或个性完全漠不关心会是什么感觉。例如，你可以复制我关于如何说瑞典语的知识。
学习新东西也不需要花费太多的精力了，因为可以直接复制。你可能会不那么害怕死亡，如果飞机要坠机，你可能会想，这4小时我的大脑还没备份呢，我会失去这次飞行的所有这些美妙体验。我们也会对其他人更富有同情心，因为我们能够亲身体验其他人的体验，感觉更像一种蜂群思维（hive mind）。
L：整个人类的书面历史都是通过诗歌、小说、哲学等来描述的，人类的状况和蕴含其中的内容。就像你说的，对死亡的恐惧、爱的定义等等。如果换成另外一种智能形式（人类以外），所有这一切都会改变了。所有这一切，包括所有那些诗歌，他们都在悄悄靠近生而为人的意义，所有这些都改变了。AI所要经历的生存危机，将如何与人类生存危机、人类状况发生冲突。很难深刻理解，也很难预测。
Max：令人震惊的是，微软制作的GPT-4商业广告中，一位女子正在展示她将在女儿的毕业典礼上发表感言，她让GPT-4来写，写了差不多200个单词。如果是我，发现爸妈连200字都不愿意写，还要外包给计算机，我会非常生气。所以我也在想，这种关于AI的纷争，是否会带走一部分我们生而为人的意义。
L：最近有人和我说，他们开始用ChatGPT和GPT-4来写一写他们对另一个人的真实感受。而且他们自己有情绪问题，基本上是在试图让ChatGPT以更好的表述方式表达他们的观点。所以我们在交流中抹去了内心比较混蛋的部分，当然也有积极的影响，但主要象征着人类交流方式的转变。
这其实很可怕，因为我们社会的大部分内容都建立在这种沟通的粘合剂之上。如果我们现在使用人工智能作为交流媒介，让它为我们提供语言，那么人类交流中承载的那么多情感，那么多意图都外包给AI处理了，这会如何改变一切呢。这将改变我们对其他人感受的内在状态，是什么让我们感到孤独，是什么让我们兴奋，是什么让我们害怕，让我们坠入爱河，所有这些。
Max：这让我想起那些让我觉得生活很有意义的事情。比如我和我的妻子Maya一起去爬山，我不想按一个按钮，就到山顶了。我想感受过程里的挣扎，满头大汗，然后最终成功登顶。同样地，我希望不断地改进自身，成为更好的人。如果我在愤怒中说出让我后悔的话，我想真的去学习改进自己，而不是告诉AI从现在开始过滤我写的东西，这样我就不用努力了，我也没有真的在成长。
L：但话又说回来，就像在国际象棋中一样，AI能够绝对超越人类的表现，它会生活在自己的世界里，并可能为人类提供一个繁荣的文明。而我们人类就继续登山、玩游戏，即使人工智能在每一个方面都更聪明、更强大、更优越，我的意思是，这是一个很有希望的发展轨迹，人类仍然是人类，而AI则成为了一种使人类体验蓬勃发展的媒介。
Max：我愿意将其表述为，将我们从智人重塑为高级智慧生物（Homosentients）。于是我们把自己标榜为这个地球上最智能的信息处理实体。当然随着AI继续发展，这种情况显然会发生改变。因此也许我们应该专注于作为高级智慧生物所拥有的主观体验，爱情、链接，这才是真正有价值的东西。要放下我们的傲慢和狂妄自大。
L：所以说意识、主观体验是人之所以为人最根本的价值所在。应该把它放在首位。
Max：对我来说，这像是一个充满希望的方向。但这也需要更多的同情心，不仅仅是对这个星球上最聪明的人类，而且对这个星球上所有其他生物同胞也是如此。比如现在我们正在可怕地对待很多农场动物，借口是他们没有人类聪明。但是，如果我们承认在宏伟的计划中并不那么聪明，在后人工智能时代，或许我们应该更重视牛的主观体验。
生命3.0和超人工智能
L：回看生命3.0这本书，这本书中的观点变得越来越有远见。那么首先，什么是生命1.0、2.0、3.0？发展到今天，这种愿景是如何演变的？
Max：生命1.0版本还很愚蠢，就像细菌一样，在它的一生中根本无法学习任何东西。而这个学习的过程，来自一代又一代的基因遗传过程。生命2.0是人类和动物，有大脑，在一生中可以学习到非常多的东西。
比如说，你天生不会讲英语，但在某个时刻你突然决定想升级软件，安装一个讲英语的模组。这就是生命3.0的目标，不仅可以替换软件，还可以替换硬件。当前，我们可能处于生命2.1，因为我们可以植入人工膝盖、心脏起搏器等。如果 neuralink 或其他公司成功的话，很可能是生命2.2 等等。但是，那些试图构建AGI的公司正在努力制造的当然是完整的 3.0，将智能注入到没有生物学基础的东西中。
L：但是否可以理解为，关于生命2.0和3.0，关于生命、智慧和意识真正强大的东西，它在 1.0 中就已经存在了。是否可以这么说？
Max：当然这不是非黑即白的。显然有一个范围。甚至对于像变形虫这样的单细胞生物是否可以学习一点点也存在争议（如果我冒犯了任何细菌，我深表歉意）。我的本意更多的是，拥有一个可以在有生之年学习的大脑是多么酷的一件事。从1.0、2.0到3.0，随着不断进化，你越来越成为自己命运的主人，而不再是甘当进化的奴隶。通过软件的不断升级，我们可以与前几代人甚至我们的父母有很大的不同。如果你也可以换掉硬件并采用你想要的任何物理形式。
自从上次播客以来，我失去了双亲。通过这种方式思考他们实际上给了我很多安慰。从某种意义上说，他们并没有真的死去，他们的价值观、思想甚至是笑话等等，都没有消失。我可以带着这些东西继续生活下去。从这个意义上说，即使有了生命 2.0，我们在某种程度上也已经可以超越肉体和死亡。特别是如果你可以像在播客中那样与许多其他人分享你自己的信息和想法，那么这就是我们可以通过我们的生物体获得的最接近永生的方式。
L：你想念父母吗？你从他们那里学到哪些关于生命的道理？
Max：太多了。我对数学和宇宙的物理奥秘的痴迷是来自我父亲，而我意识等这类大问题的思考实际上主要来自我妈妈。而从他们两人身上得到的真正核心的部分是做我认为正确的事情，不管别人怎么说。他们都只是兀自做自己的事，虽然有时会因此而受到指责，但无论如何他们还是那么做了。
想要从事科学研究的充分理由是你真的很好奇，想要弄清楚真相。我在上学的时候有一次写了一篇很疯狂的论文，关于宇宙的本质是数学，这篇文章我们今天看不到了。当时一个很有名的教授跟我说，这不仅仅是垃圾，还会影响你未来的事业。不要再写这种东西了。然后我发给我父亲，你猜他怎么说？他甚至引用了但丁的一句话，“follow your own course and let people talk”。他虽然去世了，但他的态度依然在。
L：作为一个男人，作为一个人，他们的去世是如何改变你的？它是如何扩展你的世界观的？就像我们在谈论的，人类创造了另一个有知觉的生命体本身。
Max：主要做两件事，其中之一是检查他们去世后所有的东西，然后想一想，他们花了大量的时间去做的事情，他们真的应该花这么多时间在这上面吗，还是说原本可以做一些更有意义的事情。所以，我现在更多地审视自己的生活，问自己现在在做事情的意义。它应该是我真正喜欢做的事情，或者真正有意义的事情，因为它惠及人类。
L：你会从此害怕自己的死亡吗？让你觉得死亡更真实了？
Max：（他们的死）让这件事变得真实了。在家族里面下一个就是我了，我还有个弟弟。他们充满尊严地面对死亡，从不抱怨。当你老了，身体开始出现问题时，抱怨就会越来越多。他们还能专注于做哪些有意义的事情，而不是浪费时间谈论甚至思考他们失望的事情。当你用冥想开始新的一天，想想值得感恩的事情，你基本上选择成为一个快乐的人。因为剩下的时日无多，需要每一天都有意义地生活。
公开信
L：说起来，AI确实是多人类文明能产生最大影响的事情，既是在详细的技术层面，也是在高哲学层面，你也提到你正在写一封公开信。
Max：你看过Don't look up（《千万别抬头》，2021美国讽刺科幻片）那个电影吗，我们正在上演其中的情节，几乎是生活在模仿艺术。就像电影里面讲的那样，只不过是我们自己在建造一个小行星。和这个即将撞击地球的小行星相比起来，人们在争论的事情几乎是微不足道的。大多数政客还没有意识到已经迫在眉睫，他们以为还要100年之后才会发生。
当前，我们正处于岔路口。10万年以来，这是人类抵达的最重要的分叉点。在这个星球上，我们正在有效地构建一个比我们更聪明的新物种。目前看来还不太像是一个物种，因为还没有具身地体现在机器人当中，但是其中的技术性细节问题很快就能得到解决。
人工智能的到来可以像我们一样高效地完成所有的工作，可能不久之后就会出现大大超越我们认知能力的超级智能。这将是人类有史以来最好的事情，也可能是最坏的事情。没有中间地带。
L：我们现在看到的，GPT-4一类的发展，在短期内可能会带来超级智能AGI。当达到超人类水平智能的时候，仍有很多问题亟待探索。公开信的内容是说我们要暂停所有类似的AI系统的研发？
Max：记得在2014、2015年左右，AI安全是主流的课题。当时的想法是，即使有风险，也可以采取措施。但当时，很多人觉得谈论AI安全很古怪。许多AI研究人员感到很古怪，可能不利于融资，我很高兴这个阶段已经过去了。现在各大AI顶会里面都会有AI安全的议题，这是一个充满公式的书呆子技术领域。
关于放慢AI发展速度，近期几乎成了禁忌话题。我一直咬着牙说，也许我们不需要放慢 AI 的发展。我们只需要赢得这场比赛，这是AI日益强大的力量，与管理智慧能力之间的竞赛。与其试图放慢 AI 的速度，不如让我们尝试加速技术管理上的智慧，弄清楚如何才能真正确保强大的 AI 会按照你的想法行事，并配套相应的社会激励和法规，以便技术得到很好的利用。可悲的是，这并没有成功。
当我们2014年开始这个项目时（未来生命研究所），没有想到AI突飞猛进的进展。为什么呢？很多人属于事后诸葛，就像建造飞行器一样。人们花了很多时间研究鸟儿是如何飞翔的，事实证明这真的很难。而与莱特兄弟建造第一架飞机相比，进化的路径其实更复杂，甚至束手束脚。从进化的角度，飞行器（鸟）需要能够自行组装修复，只使用元素周期表中最常见原子，而且要节省燃料（鸟的燃料消耗差不多是一个遥控小飞行器的一半）。莱特兄弟并不在意，他们使用钢、铁原子去造飞机。
大语言模型也是如此。大脑非常复杂。有人认为，在构建机器之前，必须先弄清楚大脑是如何进行人类水平智能的。我认为那是完全错误的，可以采用一个非常简单的计算系统，transformer 网络，训练它做一些简单的事情。比如阅读大量文本并尝试预测下一个单词。只要计算量和数据量足够多，就会产生GPT-4这么好用的模型。
L：你怎么看待GPT-4？GPT-4能推理吗？直觉如何？从人类可解释的角度，哪些能力是最印象深刻的？
Max：我既兴奋又害怕。它推理能力强，还能同时为大量的人提供服务。大脑中有循环神经网络（recurrent neural network）。信息在神经元之间传递、循环。你可以胡思乱想，自我反思。这些大型语言模型却不能这么做。GPT-4的transformer架构，就像一条信息的单向通道，称为前馈神经网络。它的深度决定了只能做那么多步骤的逻辑推理。事实上，用这种极简的架构做如此惊人的事情，这已经非常令人惊叹了。
人工智能如何杀死人类
L：有没有实际的机制导致AI真的会杀死所有人类？你一直直言不讳地谈到自主武器系统，随之AI越来越强大，您的这种担忧仍然存在吗？
Max：这种担忧并不是说所有人都会被屠宰机器人杀死。我想说的是一种奥威尔式的反乌托邦世界，在那里少数派会杀死多数派。如果想知道AI会如何杀死人类，不如看看人类是如何让其他物种灭绝的，我们（人类）并不是真地去朝他们开枪，而是说掠夺了他们的栖息地来占为己用。这属于沿途的杀戮。举个例子，好比机器觉得氧气有点烦人，因为它会引起更多的腐蚀，所以决定抽走氧气（想想没氧气人怎么活）。
最基本的问题是，你不想把对星球的控制权交给其他一些与你生存目标不同的更聪明的实体。就这么简单。这也带来了人工智能安全研究者长期以来一直在努力应对的另一个关键挑战。如何让AI理解人类的目标？首先，要理解并采纳人类的目标，即使未来变聪明也会继续保留这些目标。这三点都很难。就好像面对一个人类小孩，还不够聪明来理解我们的目标，而且无法语言沟通。然后最终他们会长大，成为青少年，并理解我们的目标，足够聪明也具有足够的可塑性。通过良好的教育方式，可以教会他们是非观。这些也是计算机所面临的挑战。
L：即使有时间，AI对齐的问题似乎真的很难。
Max：但这也是最有价值的问题，人类有史以来最重要的问题。一旦解决了和AI对齐的问题，就会随之解决所有其他的问题。由于GPT-4的推出，可能正是人类真正需要的警钟，告诉人们停止幻想，100年后的事情很可能不可控，难以预测。ChatGPT 此前试图说服一名记者与他的妻子离婚，工程师建造的时候是没有预料到的。只是想造一个巨大的黑盒子，训练并预测下一个单词，结果涌现出了很多未曾想象过的属性。
L：说起计算机教学，在我成长的时代，程序员是一个非常棒的职业。而随着编程的本质发生改变，为什么我们要投入大量的时间来成为优秀的程序员呢？
Max：事实上我们整个教育系统的性质都发生改变了。英语老师们才是真的抓狂，布置一个论文作业，结果收到一大堆海明威风格的专业写作。他们必须要彻底重新思考了。
我自己是一名教育工作者，这样说让我很痛苦，但我觉得我们现在的教育已经完全被时下在发生的事情所淘汰。你让一个孩子上一年级，然后想象他们会在 12 年后从高中毕业。所有他要学的一切都已经预先计划好了。很明显，我们需要一个更加机会主义的教育体系，随着社会的重新适应，教育体系要不断自我调整。在编写课程时涵盖真正有用的技能。我想问的是，这些学校里学的技能有多少能帮助学生在 12 年后找到工作呢。
意识与AGI
L：你认为GPT-4是有意识的吗？
Max：让我们首先定义意识，因为根据我的经验，90%关于意识的争论中，两个人争论的完全是鸡同鸭讲。我将意识定义为一种主观体验。目前我在体验着颜色、声音和情绪，但自动驾驶汽车会体验到什么吗？这是关于它是否有意识的问题。GPT-4有意识吗？有主观体验吗？简短的回答，我不知道，因为是什么带来了这种美妙的主观体验。因为我们生活本身就是一种主观体验。快乐、爱都是主观的体验。
神经科学家Giulio Tononi教授曾写下他大胆的数学猜想，关于意识处理信息的本质是什么。他假设意识与大脑信息处理中的循环有关。计算机上就叫做循环神经网络。他认为，前馈神经网络，只是单向地传输信息，比如说从视网膜进入大脑后部，那是没有意识的行为。视网膜就像摄像机，本身是没有意识的。
GPT-4也是单向的信息流，所以如果Tononi 是对的，GPT-4 就像一个非常聪明的僵尸，可以做些聪明的事情，但本身没有体验世界的能力。这样的话，比如我在关闭GPT-4或者擦除它记忆的时候也不会感到内疚。这是毛骨悚然的。他们都是Transformer一样的单向神经网络罢了，都像僵尸一样，迎来了僵尸启示录。我们拥有一个如此伟大进行中的宇宙，却没有生命在体验。那样的未来是多么让人沮丧。
所以我认为，当我们朝着更高等级的AI前进时，应该弄清楚什么样的信息处理方式会激发体验。很多人说，意识等于智能。完全不是，你可以完成一些智能的行为，但同时可能是在无意识的状态下。
L：如何看待AGI的时间线，你认为是一年后、5 年、10年、20 年还是50 年吗？你的直觉怎么说？
Max：AGI可能非常近了，这就是我们决定发表公开信的原因。如果说（AI的发展）什么时候该停下了，那绝对就是今天。GPT-4之后的版本不是AGI，那么也许再之后的版本是。并且有许多公司在尝试，它们的基本架构并不是超级保密的。多年来的一个声音是，一定会迎来一个时刻需要稍稍暂停一下（AI的发展），显然那个时刻就是现在。
更多内容 尽在智源社区
