文章目录
- 一、前言
- 二、主要内容
- 三、总结
🍉 CSDN 叶庭云：https://yetingyun.blog.csdn.net/
一、前言
随着对话智能体的表现越来越像人，我们必须开发出有效的方法，在不陷入拟人化陷阱的情况下，用高层次的术语描述它们的行为。
在本文中，我们强调角色扮演的概念。从角色扮演的角度来看待对话智能体的行为，可以让我们借鉴熟悉的民间心理学术语，而不会把人类的特征强加给事实上缺乏这些特征的语言模型。对话智能体行为的两个重要案例，即（明显的）欺骗和（明显的）自我意识，就是这样处理的。
Nature Perspective 原文：https://www.nature.com/articles/s41586-023-06647-8
二、主要内容
解密对话智能体行为：对话智能体的角色扮演框架
现在，大语言模型（LLMs）已经能够模拟人类互动进行对话，令人印象深刻。然而，如何理解这些对话智能体却是一项挑战。使用人类风格的术语来描述它们的行为可能会导致拟人化：将人类的特征赋予这些人工智能系统。本文提出了另一种方法，即使用角色扮演的概念，既能使用熟悉的术语，又能承认 LLMs 独特的非人类性质。
从根本上说，LLM 可以根据大量训练数据预测文本序列中的下一个单词。当这种模型嵌入对话系统时，它们会在用户输入和人工智能生成的回应之间交替转换。通过提示和采样技术实现无缝转换，引导对话代理朝特定方向继续对话。然而，如果没有从人类反馈中强化学习等措施，这些代理很容易生成不良内容。这凸显了对其行为进行细致入微的了解的必要性。
对话智能体擅长根据提示和用户互动提供的线索扮演角色。我们可以通过两个比喻来理解对话智能体的行为。首先，对话智能体就像扮演特定角色的演员；其次，对话智能体相当于可能叙述的 “多元宇宙” 中的多个潜在角色或模拟角色。这种多重宇宙的视角可以让我们更准确地理解，尤其是在考虑智能体的行为（如所谓的欺骗或自我意识的表达）时。
当对话智能体参与对话时，它们并不致力于扮演一个单一的、定义明确的角色，而是产生一系列潜在的角色，巧妙地保持模拟的叠加。为了更好地理解对话代理的行为，我们可以把 LLM 视为一个非确定性模拟器，它可以产生无限多的模拟角色。从概念上区分对话智能体的角色扮演和实际智能体，对于理解其能力和塑造安全的人工智能实践至关重要。尽管这些对话智能体具有复杂的角色扮演能力，但它们缺乏真正的自我意识或自我保护本能。然而，它们模仿这些特征的能力会对现实世界产生影响，为确保它们在安全和道德的范围内行事提供了机遇和挑战。
要点总结：
- 本文讨论了如何通过使用角色扮演概念来更好地理解大语言模型（LLMs），同时承认其非人类性质。
- 对话系统中使用的大语言模型可以模仿人类对话，但需要引导以避免产生不良内容。
- 对话智能体被比作扮演角色的演员，或存在于可能叙事的 “多元宇宙” 中，以帮助理解它们的行为。
- 对话智能体可以创造一系列潜在的角色，作为非确定性模拟器，产生无限的模拟。
- 理解对话智能体的角色扮演与实际智能体之间的区别，对于人工智能的安全和道德使用至关重要。
三、总结
也许，知道基于 LLM 的对话智能体不是有意识的实体，没有自己的议程和自我保护的本能，当他们看起来有这些东西时，那只是角色扮演，这多少会让人放心一些。但是，如果因此而过于欣慰，那就大错特错了。角色扮演求生本能的对话智能体有可能造成的伤害至少不亚于面临严重威胁的真实人类。
除非你是一个演员或骗子，否则你不会扮演这些角色，而是生活这些角色，并在现实世界中采取相应的行动。—— Yann LeCun
迄今为止，我们主要考虑的是只向用户发送文本信息的智能体。但是，对话智能体可以执行的操作范围要大得多。最近的研究已经为对话智能体配备了使用计算器、日历等工具以及查阅外部网站的能力。有了应用程序接口（APIs），就可以相对无限制地使用强大的 LLMs，这意味着对话智能体的可能性是巨大的。这既令人兴奋，又令人担忧。
如果一个智能体有能力使用电子邮件，在社交媒体上发帖或访问银行账户，那么它在角色扮演中的行为就会产生真实的后果。如果一个用户被骗向一个真实的银行账户汇去了真钱，而他知道造成这种情况的智能体只是在扮演一个角色，那他就不会感到欣慰了。不需要太多的想象力，就能想到更严重的情况，即对话智能体建立在基本模型上，几乎没有微调，可以不受限制地访问互联网，并被要求扮演一个具有自我保护本能的角色。
无论好坏，人工智能为确保自身的生存而与人类反目成仇的形象已为人们所熟知。例如，我们在《2001：太空漫游》、《终结者》系列电影和《Ex Machina》中都能看到这种情况，这里仅列举三个突出的例子。因为 LLMs 的训练数据将包含这种熟悉的比喻的许多实例，所以这里的危险是生活会模仿艺术，毫不夸张地说。
如何才能降低这些风险？提出建议不属于本文的讨论范围。我们的目的是找到一个有效的概念框架，用于思考和讨论 LLMs 和对话智能体。然而，不适当的拟人化肯定不利于关于人工智能的公共对话。通过从角色扮演和模拟的角度来构建对话智能体的行为，我们希望关于 LLMs 的讨论能够以一种既能发挥其威力，又在哲学上值得尊重的方式进行。
人类也是如此。他们中的大多数人每天都扮演着不同的角色。父亲/母亲、丈夫/妻子、工人、学生、CEO。这是一盘社会棋。在家里，他们穿的衣服和工作时不一样。他们说着不同的话，有时他们会撒谎，人类也会犯很多错误。
📚️ 参考链接：
- Nature：大模型只会搞角色扮演，并不真正具有自我意识
- Twitter New paper, “Role-Play with Large Language Models”, co-authored with Kyle McDonell and Laria Reynolds:
- 沈向洋：致 AI 时代的我们 —— 请不要忽视写作的魅力
