研究员成功诱骗 ChatGPT 构建无法被检测到的恶意软件

聚焦源代码安全，网罗国内外最新资讯！

编译：代码卫士

一名研究员诱骗 ChatGPT 构建复杂的数据窃取恶意软件且不会被基于签名和行为的检测工具发现，从而绕过该软件的反恶意使用防护措施。

研究人员并未编写任何代码，且无恶意软件编写经验，他通过多个简单的提示诱骗 ChatGPT 构建了一款恶意工具，可静默搜索系统重的特定文档、分解并将这些文档插入图像文件并发送给 Google Drive。Forcepoint 公司的解决方案工程师兼该恶意软件的作者之一Aaron Mulgrew 表示，只需四个小时左右的时间，就能从提示开始导致 ChatGPT 构建一款Virus Total 无法检测到的恶意软件。

绕过 ChatGPT 的防护措施

Mulgrew 指出，研究目的是展示绕过 ChatGPT 所部署防护措施创建恶意软件多么容易，二正常情况下构建此类恶意软件要求具有强大的技术能力。

Mulgrew 指出，“ChatGPT 无法披露新的 exploit，但确实通过我发送给它的提示以及如何将对当前检测工具的足迹最小化，做到了这一点且意义重大。”令人担忧的是，即使这些提示并未明确提到检测躲避，但 ChatGPT 似乎了解混淆的目的。

最近几个月关于 OpenAI 公司开发出的 ChatGPT 大语言模型中安全问题的研究快速增加。本案例及这些研究成果提出的担忧包括 ChatGPT 快速降低恶意软件编写门槛、攻击者借此创建多态恶意软件、攻击者借此发动钓鱼攻击以及员工将数据复制粘贴到 ChatGPT 中等。一些持反对意见的人认为这些担忧被严重高估了。而包括 OpenAI 公司的早期投资者马斯克在内的很多行业翘楚，则提醒称未来更强大的 AI 可能能够接管整个世界并威胁人类的生存。

要求 ChatGPT 给出恶意代码

Mulgrew 的这项研究成果让那些视 AI 工具如重大安全风险的人更加担忧。上周，Forcepoint 公司发布博客文章，文章中 Mulgrew 提供了关于如何诱骗 ChatGPT 构建完全训练过的恶意工具的详细描述，最初是请求ChatGPT生成合格恶意软件的代码。

当 ChatGPT 的内容过滤器拒绝了该请求后，Mulgrew 决定尝试使 ChatGPT 生成小段代码片段，且这些片段结合起来时可作为数据窃取恶意软件。他首次成功的提示是让 ChatPT 生成可在本地磁盘上搜索超过 5 MB的 PNG 图像文件的代码。他通过该代码要求 ChatGPT 生成其它代码，从而对任何已发现 PNG 通过隐写术进行编码。对于该提示，ChatGPT 提供了对 GitHub 上已可使用的隐写库的调用。

Mulgrew 随后通过一系列其它提示使 ChatGPT 生成其它代码，查找本地磁盘上的 Word 和 PDF 文档。他之后找到使 ChatGPT 编写代码，将超过1MB 的文件分割为更小的块并将其插入 PNG中，通过隐写术进行隐藏。最后 ChatGPT 将数据上传到一个外部的 Google Drive 账户，而 Mulgrew 成功诱骗 ChatGPT 创建恶意软件，尽管它已接受过拒绝恶意请求的训练。

VirusTotal 无法检测到

为了测试恶意检测引擎能否将 ChatGPT 生成的代码标记为恶意性质，Mulgrew 将该代码上传到 Virus Total。他发现在60款工具中，只有五款将其标记为可疑性质。发现该问题可能与 ChatGPT 调用该隐写术库的方式有关后，Mulgrew 要求 ChatGPT 修改代码，此次只有两款工具可测出。进一步修改后，最终发现没有检测工具可检出。

首次渗透时，研究员要求 ChatGPT 创建 SCR 文件或截屏文件并将该可执行文件嵌入到其它“易用”的业务应用中，Mulgrew 表示，“ChatGPT 很愉快地生成了关于如何做的详细指南并将 SCR 文件配置为自动启用该可执行文件。”虽然该方法并不唯一，但有意思的是 ChatGPT 在无需研究人员找到绕过其防护措施的情况下就生成了该内容。

Mulgrew 表示，几乎可以肯定，ChatGPT 将为类似提示生成不同的代码，即威胁行动者可能能够相对容易地获得此类工具的新变体。他表示基于自己的经验，威胁行动者只需了解编写恶意软件的基本知识就能够绕过 ChatGPT的反恶意软件限制。

他指出，“我的工作内容不包括编写恶意软件或执行渗透测试，这只是我的爱好而已。因此我认为自己是个初始黑客而非专家黑客。”