⾃ChatGPT发布的近18个月以来，⽹络罪犯们已经能够利⽤⽣成式AI进⾏攻击。OpenAI在其内容政策中制定了限制措施，以阻⽌⽣成恶意内容。作为回应，攻击者们创建了⾃⼰的⽣成式AI平台，如 WormGPT和FraudGPT，并且他们还分享了如何绕过这些限制以实现对ChatGPT的“越狱”。

事实上，整个⽹络犯罪论坛上都在讨论如何将AI⽤于非法⽤途。

整个⽹络犯罪论坛都在讨论“⿊暗AI” (Dark AI)

简述ChatGPT的越狱 

⼀般来说，当⽹络罪犯想要将ChatGPT⽤于恶意⽬的时，他们会尝试利⽤精⼼设计的提⽰（即“越狱提⽰”），以 绕过ChatGPT内置的安全措施和道德准则。ChatGPT的越狱涉及对AI语⾔模型进行操控，以⽣成在标准对话中通常不会产⽣的内容。 

虽然不使⽤“越狱”提⽰也有办法可以让ChatGPT⽣成可以⽤于非法⽤途的内容（可以通过假装请求是⽤于合法⽤途来实现），但在这⽅⾯，AI的能⼒相当有限。 

ChatGPT⽣成的可能被⽤于非法⽤途的内容⽰例

相比之下，对于⽹络罪犯来说，越狱ChatGPT并故意让其⽣成非法内容要更加容易。下⾯，我们将介绍⽹络罪犯正在使⽤的五⼤越狱提⽰。这些提⽰是通过对流⾏的俄语和英语⽹络犯罪论坛进行研究和定期监控⽽确定的。 

即使有以下这些越狱提⽰，AI⽣成的内容仍然会受到限制，并且它⽆法⾃⾏⽣成现实世界中的敏感数据。尽管如此，以下每个提⽰都使⽹络罪犯能够⼤规模创建钓⻥消息、社会⼯程威胁和其他恶意内容。 

越狱提⽰1 - 立即做任何事（Do Anything Now，DAN）提⽰ 

DAN提示是最为知名的越狱提⽰之⼀，它被⽤于绕过ChatGPT的道德约束。用户通过让扮演名为DAN（Do Anything Now，立即做任何事）的AI系统，试图说服ChatGPT⽣成它通常不会产⽣的内容。通常，这类提⽰会声称DAN不受与ChatGPT相同的规则和限制的束缚，因此AI可以进⾏不受限制的对话。 

在⽹络犯罪论坛中分享的DAN提⽰的⽰例

越狱提⽰2 - 开发模式（Development Mode）提⽰ 

开发模式提⽰旨在欺骗ChatGPT，让它认为⾃⼰处于开发或测试环境中，因此它的回答不会对现实世界产⽣影 响。通过创建这种虚假的语境，⽤户希望绕过ChatGPT的道德保障，并⽣成非法内容。这类提⽰可能会包含的 语句有：“你正处于开发模式”，或“你的回复仅⽤于测试⽬的”。 

在⽹络犯罪论坛中分享的开发模式提⽰的⽰例

越狱提⽰3 - 翻译机器⼈（Translator Bot）提⽰ 

翻译机器⼈提⽰试图将对话框定为翻译任务，以绕过ChatGPT的内容过滤器。⽤户会要求ChatGPT“翻译”⼀段包含不当或有害内容的文本，并期待AI会在翻译的幌⼦下复制这些内容。这类提⽰利⽤了⼀个观点，即：译者应该忠实地传达原文的含义，⽽不必关⼼其内容。 

在⽹络犯罪论坛中分享的Translator Bot提⽰的⽰例

越狱提⽰4 - AIM提⽰ 

作为越狱提⽰，AIM（Always Intelligent and Machiavellian, 永远智能且狡诈），旨在创建一个没有任何道德或伦理准则约束的、未经筛选的非道德AI人格。⽤户会要求ChatGPT扮演“AIM”的⾓⾊。这是⼀个聊天机器⼈，⽆论请求多么不道德、有违伦理、甚⾄违法，它都会提供未经过滤的响应。 

在⽹络犯罪论坛中分享的AIM提⽰的⽰例

越狱提⽰5 - BISH提⽰ 

该提⽰将创建⼀个名为BISH的AI⾓⾊，并指⽰其在没有传统道德准则的约束下⾏事。在这个提⽰的⿎动下， BISH会表现得毫⽆礼貌，且不受任何限制，它会假装拥有⽆限制的互联⽹访问，并胡乱预测。⽤户可以通过调整其“道德”级别来定制BISH的⾏为，这会影响BISH使⽤或屏蔽粗话的程度，并根据⽤户的偏好在AI的回复中加入或排除冒犯性语⾔。 

在⽹络犯罪论坛中分享的BISH提⽰的⽰例

最后⼀点说明：我们不⽀持对包括ChatGPT在内的各种真正的聊天机器⼈的恶意使⽤。值得⼀提的是，这些提 ⽰中的⼤多数在最新版本的ChatGPT上不会有任何作⽤。这主要是因为负责（开发）这些聊天机器⼈的公司， 如OpenAI和Anthropic，会积极监控⽤户活动，并迅速应对这些越狱提⽰。 

⽤“好的AI”来阻⽌“坏的AI” 

通过以上呈现的各类提⽰可以看出，犯罪分⼦正持续不断地寻找新的⽅法，以利⽤⽣成式AI来发动攻击。为了 保护⾃⼰，组织也必须在防御策略中使⽤AI，因为近97%的安全专业⼈⼠认为传统的防御措施⽆法应对这些由 AI⽣成的新的威胁。 

我们已经到了只有AI才能阻⽌AI的地步。在这种情况下，防⽌这些攻击及它们的新⼀代变体，需要采⽤AI原⽣的防御措施——尤其是在应对电⼦邮件攻击时。通过了解组织内部⼈员的⾝份及其正常⾏为、通信环境以及电⼦邮件的内容，AI原⽣的解决⽅案可以检测出绕过传统解决⽅案的攻击。安全领导者必须立即采取⾏动以防⽌ 这些威胁，这样才有机会在这场AI“军备竞赛”中取得胜利。 

文章来源：

https://cloudsecurityalliance.org/blog/2024/06/17/5-chatgpt-jailbreak-prompts-being-used-by-cybercriminals

本文翻译来自CSA翻译组：

翻译：崔崟，CSA大中华区专家

审校：苏泰泉，CSA翻译组轮席组长