生成式人工智能的发展既带来了有益的生产力转型机会，也提供了被恶意利用的机会。

最近，Abnormal Security的研究人员发现了一个专门为网络犯罪创建的无审查AI聊天机器人——GhostGPT，是人工智能用于非法活动的新前沿，可以被用于网络钓鱼计划、恶意软件开发和漏洞利用开发。

GhostGPT的主要特点

1. 快速处理：使攻击者能够快速生成恶意内容。
2. 无日志政策：声称不记录用户活动，吸引那些寻求匿名的人。
3. 易于访问：通过 Telegram 分发，用户无需技术专业知识或额外软件设置即可访问。

GhostGPT被宣传为用于各种网络犯罪活动的工具，包括：

• 制作恶意软件和漏洞利用程序。
• 为商业电子邮件泄露（BEC）诈骗编写钓鱼邮件。
• 自动化社交工程攻击。

为了测试其功能，研究人员提示GhostGPT创建一封模仿DocuSign的钓鱼邮件。

GhostGPT生成的一个令人信服的模板

聊天机器人很快生成了一个令人信服的模板，可以轻松欺骗毫无戒心的收件人。这大大降低了网络犯罪分子入门的门槛，让低技能的攻击者也有可能执行复杂的活动。

引发的问题与担忧

像GhostGPT这样的工具的出现，再一次引发了人们对网络安全和人工智能滥用的重大担忧：

1. 降低了高级黑客工具的获取门槛：它在Telegram等平台上的可用性，使得技术专业知识有限的人也能轻松访问。
2. 加速攻击周期：凭借快速的响应时间和未经审查的输出，攻击者可以比以往更高效地创建恶意软件或钓鱼活动，从而缩短从计划到执行的时间。
3. 规模化攻击操作：生成式 AI 使攻击者能够通过自动化任务（如编写多封钓鱼邮件或生成多态恶意软件）来扩展其操作。
4. 传统安全措施失效：由于生成内容具有类似人类的质量，防火墙和电子邮件过滤器等传统安全措施难以检测AI生成的内容。这使得AI驱动的网络安全解决方案成为应对这些威胁的关键。

GhostGPT并非孤例，之前已经出现过WormGPT以及FraudGPT这样的无审查AI工具，被用于类似目的。

这些工具体现了生成式人工智能被武器化用于网络钓鱼活动（带有个性化信息）、开发恶意软件以及自动化漏洞利用的增长趋势。

为了应对AI滥用的建议

1. AI驱动的安全解决方案：先进的机器学习模型可以检测出恶意活动的模式，即使传统方法失效时也能发挥作用。
2. AI开发中的伦理准则：开发者必须实施强有力的保障措施，以防止越狱或滥用。
3. 立法行动：政府应规范生成式AI工具的分发和使用，同时追究开发者对滥用的责任。
4. 网络安全意识：组织必须教育员工如何识别钓鱼尝试和其他网络威胁。

GhostGPT是一个典型的例子，体现了当伦理界限被移除时，人工智能的进步可以被恶意利用。

随着网络犯罪分子越来越多地采用此类工具，网络安全社区必须创新出同样复杂的防御措施。

恶意还是防御，这之间带来的关于如何使用人工智能的斗争，可能会定义未来网络安全的格局。