研究表明，ChatGPT等功能强大AI工具已经被用于网络攻击者实施犯罪活动，例如开发恶意软件和生成钓鱼邮件等。如果人们的密码从数据库泄露或被破坏，那么网络攻击者采用AI密码破解器猜出密码是概率几乎是100%，其中50%以上会在60秒内被破解。

即便没有ChatGPT和生成式AI的火爆应用，人工智能（AI）技术的应用安全威胁都已经开始显现。安全研究人员表示，在AI技术快速应用发展过程中，其安全性也面临诸多挑战。为了防范AI技术大规模应用的安全风险，企业需要打赢一场“双线战争”，不仅需要能够阻止对抗性AI攻击对已部署的AI模型所构成的威胁，而且还要面对攻击者利用AI技术发起各种类型的新攻击。

1. AI投毒攻击

攻击者可以操纵（毒化）AI模型的一小部分输入数据，以破坏其训练数据集和准确性。最常见的投毒形式是后门投毒，即使极少一部分训练数据受到影响。在很长时间里，AI模型仍然可以继续给出高度准确的结果，直到它在接触特定的触发器时被“激活”而功能失灵。“AI模型投毒”会严重威胁到AI应用的完整性和安全性。因此，大型语言模型（LLM）需要接受风险和安全研究人员的严格审查，以探索反馈循环和AI偏见等问题如何使AI输出不可靠。

2. 武器化的AI模型

AI技术的研究与创新需要高度的团队协作和迭代开发，因此会涉及大量的共享，包括数据共享和模型共享，这可能会给AI供应链带来重大风险。研究人员最新发现了一种AI攻击的新模式，攻击者首先劫持了公共代码库上的合法AI模型，再将恶意代码嵌入到这些预训练的AI模型中，对其进行恶意制作，一旦用户重新加载了这些被修改的AI模型，攻击者就可以实施勒索攻击等非法活动。

3. 数据隐私攻击

围绕AI的一些最大风险实际上是数据安全和数据隐私威胁。如果AI模型没有建立足够的隐私措施，攻击者就有可能破坏用于训练这些模型数据的机密性。对于个人来说，了解企业如何使用人工智能、人工智能的功能及其对数据的影响将变得非常重要。同样地，攻击者可能会试图使用恶意软件窃取包含信用卡号码或社会安全号码等个人信息的敏感数据集。企业组织必须定期进行安全审计，并在人工智能开发的所有阶段实施强有力的数据保护实践。隐私风险可能发生在数据生命周期的任何阶段，因此为所有利益相关者制定统一的隐私安全策略非常重要。

4. 模型窃取攻击

攻击者从AI技术的应用部署中窃取的不仅仅是数据，还可以通过各种类型的攻击手段破解AI模型的运行原理。当然，攻击者可能采取的最直接方法，就是通过网络钓鱼或密码攻击侵入源代码存储库，直接窃取AI模型的实现代码。此外，研究人员也探索了可能被攻击者使用的AI模型提取攻击，在这种攻击方式中，攻击者会通过反复测试模型的输入和输出，来观察模型的反应，并总结AI模型的数据分析行为和处理方式。

5. 海绵攻击

在不久前举办的RSAC大会上，特别讨论了未来几年企业组织要重点关注的AI风险和弹性问题。其中，研究人员提出了一种名为“海绵攻击”（Sponge Attack）的新型AI攻击。在这种攻击类型中，攻击者可以通过特别制作的恶意数据输入来耗尽AI模型的计算资源，从而对AI模型实施拒绝服务（DoS）攻击。攻击者会首先在神经网络中获取AI模型的运行参数，然后利用这些参数让模型进行大量的计算，直至使AI系统瘫痪。

6. 提示注入

在软件开发者领域，有一句格言是“永远不要相信用户输入”。否则的话，可能会引发SQL注入和跨站点脚本等攻击。随着生成式AI的盛行，组织也将不得不担心提示注入问题。提示注入是指在生成式AI中使用恶意制作的输入，以诱导出不正确、不准确甚至具有破坏性的模型反应。当开发人员将ChatGPT和其他大型语言模型（LLM）整合到他们的应用程序中时，这些恶意的提示就会被AI模型处理，并触发一些不安全的行为动作，比如向网站发布欺诈内容，或者制作可能包含非法的或煽动性信息的电子邮件。

7. 逃逸攻击

逃逸攻击（Evasion attack）是目前最典型的对抗性AI攻击之一，攻击者会在不改变目标机器学习系统的情况下，通过构造特定输入样本以完成欺骗目标系统的攻击。例如，攻击者可以修改一个恶意软件样本的非关键特征，使得它被一个反病毒系统判定为良性样本，从而绕过检测。攻击者为实施逃逸攻击而特意构造的样本通常被称为“对抗样本”。只要一个AI模型在判别机制方面存在不足，攻击者就有可能构造对抗样本用以欺骗AI模型。

8. AI生成的网络钓鱼

恶意行为者不仅会继续探索AI的缺陷，同时也在利用AI技术来提升现有攻击手段的有效性。研究人员发现，攻击者大量使用像ChatGPT这样的生成式AI技术来自动创建网络钓鱼电子邮件。研究数据显示，自从ChatGPT正式发布以来，网络钓鱼攻击的数量和成功率都有所增加。这一攻击方式已被网络安全研究与培训机构SANS列为“2023年最危险的5大网络攻击”。

9. Deepfake BEC骗局

ChatGPT的横空出世，将深度伪造攻击威胁从理论研究转变到实际攻击中。尽管模仿公司高级管理人员的欺诈行为目前还并不常见，但它们已被真实的应用到BEC欺诈中。组织应该努力提高安全意识，帮助所有员工了解语音和视频等AI生成的数字化内容比以往任何时候都更容易和真实，这会使得冒充CEO或其他高管变得非常容易，加剧了本已在增长的BEC威胁。

10. AI生成的恶意软件

安全研究人员发现，今天的攻击者开始越来越多地依靠生成式AI能来帮助他们制作恶意软件，并快速发现目标系统中的漏洞，从而加速和扩大攻击规模，甚至比他们使用其他自动化技术所做的还要多。这也是SANS列举的“2023年最危险的5大网络攻击”中的另一大威胁。在RSAC 2023大会上，SANS漏洞研究人员Steven Sims展示了即使是非专业性的犯罪分子也开始尝试利用ChatGPT生成勒索软件代码，并已经在特定代码段中发现了由ChatGPT自动生成的零日漏洞。