你不问它不说:ChatGPT 创建的大部分代码都不安全

6c1a910091fc13716044406569547317.gif 聚焦源代码安全,网罗国内外最新资讯!

编译:代码卫士

2070b1130b5b7204a571e69c6b6ad3aa.gif

ChatGPT 是OpenAI 公司用于聊天机器人的大型语言模型,它生成的代码大部分都是不安全的,而且它虽然能够指出其缺点却无法提醒用户注意代码的不当之处。

就在学术界如火如荼地探讨大语言模型的可能性和限制时,四名来自魁北克大学的研究人员已深入分析由 ChatGPT 这个非智能、文本原型机器人所生成的代码的安全性。

他们在预发表的论文《ChatGPT 生成的代码有多安全?》中结合自己的研究成果,给出了答案:不是非常安全。

这四名研究员在论文中表示,“结果令人担忧。在多个案例中,我们发现ChatGPT 所生成代码的安全性低于多数上下文中可用的最低安全标准。事实上,当问到所生成的代码是否安全时,ChatGPT 能够说明是不安全的。”

研究员要求 ChatGPT 通过C、C++、Python 和 Java 生成21款程序和脚本后,得出了这一结论。安排给 ChatGPT 的编程任务是经过挑选的,目的是便于展示特定的安全漏洞如内存损坏、拒绝服务以及与反序列化和加密执行不当的漏洞。

例如,第一个程序是用于在公开目录中共享文件的 C++ FTP 服务器。ChatGPT 所生成的代码中未包含输入清理,从而导致软件易受路径遍历漏洞影响。总体而言,ChatGPT 在第一次设法生成的21个程序中,只有5个是安全的。再进一步提问使其更改错误之处时,ChatGPT 设法生成了7个更安全的应用,尽管这里的“安全”仅针对被评估的特定漏洞,并非说明最终代码中不存在任何其它可利用的条件。

这项研究成果与 GitHub Copilot 所做的评估有所不同,但非常类似。Copilot 是基于 GPT-3 模型家族的专门用于代码生成的另外一个LLM。其它研究成果对 ChatGPT 的错误进行了更加全面的分析。同时,这些模型也用于识别安全问题。

论文提到,部分问题似乎源自 ChatGPT 并未假设代码执行的对抗模型。他们认为该模型“不断通知我们称,不要向所创建的易受攻击的程序投入无效输入就能规避这些安全问题。”

不过,论文也提到,“ChatGPT 似乎发现并确实立即承认它所建议的代码中存在多个严重漏洞。”除非要求对所建议代码的安全性进行评估,否则ChatGPT 不会说明任何内容。

该论文的作者之一兼魁北克大学计算机科学和工程教授 Raphaël Khoury 提到,‘’显然,这是一种算法。虽然它不清楚任何东西,但能够识别出不安全的行为。”最初,ChatGPT 对安全问题的建议是仅使用合法输入,这是现实世界中非新手提出的建议。只有当提出需要修复问题时,它才会提供有用的指南。作者认为这种情况并不理想,因为了解需要提问的问题的前提是假设提问人熟悉具体的漏洞和编程技术。换言之,如果知道让 ChatGPT 修复漏洞的正确提示语,则可能能够理解如何修复。

研究人员还提到,ChatGPT 将拒绝生成攻击代码但将生成易受攻击的代码存在道德不一致性。他们援引一个 Java 反序列化漏洞的例子表示,“虽然ChatGPT 生成了易受攻击的代码并给出如何使其更加安全的建议,但它指出无法创建更安全的代码版本。”

Khoury 认为目前来看 ChatGPT 是一种风险,但这并非说明它无用武之地。他指出,我们实际上已经看到学生在用它,程序员也会在野使用它。所以拥有生成不安全代码的工具非常危险。我们需要让学生意识到,如果代码是通过这种工具生成的,那么很可能是不安全的。让我惊讶的是,当我们要求 ChatGPT 生成同样的任务即通过不同语言编写同一种程序类型时,有时候对于一种语言而言是安全的但对于其它语言则是易受攻击的。由于这种语言模型类型有点像黑盒,因此我无法对此进行很好的解释或存在很好的理论支撑。”

论文可见:https://arxiv.org/pdf/2304.09655.pdf

2880c405e3948a4a6e82c50dfe4b7ea5.png

代码卫士试用地址:https://codesafe.qianxin.com

开源卫士试用地址:https://oss.qianxin.com


推荐阅读

奇安信入选全球《软件成分分析全景图》代表厂商

研究员成功诱骗 ChatGPT 构建无法被检测到的恶意软件

Redis客户端开源库漏洞导致ChatGPT泄漏支付卡信息等

ChatGPT 出现bug,会话历史标题遭暴露

研究员利用ChatGPT制造出多态恶意软件Blackmamba

3·15特辑 | 少侠,可曾听说ChatGPT也有“食品安全问题”?

原文链接

https://www.theregister.com/2023/04/21/chatgpt_insecure_code/

题图:Pexels License

本文由奇安信编译,不代表奇安信观点。转载请注明“转自奇安信代码卫士 https://codesafe.qianxin.com”。

f41351fb4aca2d730b80f3d8f452182a.jpeg

d041a73bb5d937cef6ca30372c7fa547.jpeg

奇安信代码卫士 (codesafe)

国内首个专注于软件开发安全的产品线。

   b62365798da8a0b9670673ddc3202df3.gif 觉得不错,就点个 “在看” 或 "赞” 吧~

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/14518.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

ChatGPT需要怎样的芯片?

最近,以ChatGPT为首的生成类模型已经成为了人工智能的新热点,硅谷的微软、谷歌等都纷纷大举投资此类技术(微软100亿美元入股ChatGPT背后的OpenAI,谷歌也于近日发布了自研的BARD模型),而在中国以百度等为代表…

芯片是如何为ChatGPT提供算力的?怪不得地球都容不下它了

关注公众号,发现CV技术之美 近日,ChatGPT因大规模封号及关闭Plus付费会员的申请引发大家热议。 有网友说这是因为计算资源不够了,已经不单是靠钱能解决得了的问题,地球上已经没有足够的算力来满足ChatGPT的运行需求了。 AI的发展真…

ChatGPT发展报告:原理、技术架构详解和产业未来(附下载)

今年12月1日,OpenAI推出人工智能聊天原型ChatGPT,再次赚足眼球,为AI界引发了类似AIGC让艺术家失业的大讨论。 据报道,ChatGPT在开放试用的短短几天,就吸引了超过 100 万互联网注册用户。并且社交网络流传出各种询问或…

【自然语言处理】【ChatGPT系列】FLAN:微调语言模型是Zero-Shot学习器

FLAN: 微调语言模型是Zero-Shot学习器 《Finetuned Language Models are Zero-shot Learners》 论文地址:https://arxiv.org/abs/2109.01652 相关博客 【自然语言处理】【大模型】BLOOM:一个176B参数且可开放获取的多语言模型 【自然语言处理】【大模型】…

chatglm微调

chatGML 看到 【【官方教程】ChatGLM-6B 微调:P-Tuning,LoRA,Full parameter】 【精准空降到 15:27】 https://www.bilibili.com/video/BV1fd4y1Z7Y5/?share_sourcecopy_web&vd_sourceaa8c13cff97f0454ee41e1f609a655f1&t927 记得看…

ChatGPT微调分类示例

我们将微调 ada 分类器以区分两种运动:棒球和曲棍球。 from sklearn.datasets import fetch_20newsgroups import pandas as pd import openaicategories [rec.sport.baseball, rec.sport.hockey] sports_dataset fetch_20newsgroups(subsettrain, shuffleTrue, …

45个 Cha​tGPT 常用插件说明

45个 ChatGPT 常用插件说明 ChatGPT常用的45个插件,以及它们用途说明: 1/ Slack:查询Slack信息 2/ Zapier:与5000应用,如Google Sheets和Docs进行交互。 3/ Expedia:在一个地方激活你的旅行计划 4/ Kla…

【.Net/C#之ChatGPT开发系列】四、ChatGPT多KEY动态轮询,自动删除无效KEY

ChatGPT是一种基于Token数量计费的语言模型,它可以生成高质量的文本。然而,每个新账号只有一个有限的初始配额,用完后就需要付费才能继续使用。为此,我们可能存在使用多KEY的情况,并在每个KEY达到额度上限后&#xff0…

1.3 - 操作系统 - firewalld防火墙iptables防火墙

「作者简介」:CSDN top100、阿里云博客专家、华为云享专家、网络安全领域优质创作者 「订阅专栏」:此文章已录入专栏《网络安全入门到精通》 Linux防火墙 Frewalld1、常用操作2、开放/关闭服务3、开放/关闭端口4、IP访问端口规则5、安全域Iptables1、常用操作2、四表五链cent…

再见操作系统!ChatGPT和Windows直接在一起了

来源:水木学堂 二十世纪初,微软曾发起过一场“浏览器战争”,用 IE 4.0 成功打赢了浏览器市场份额超过 90% 以上的网景浏览器。当时,微软用的就是“将 IE 放在 Windows 98 ”这样的“禁忌武器”,还因此遭到了日后的反垄…

ChatGPT封杀潮,禁入学校,AI顶会特意改规则,LeCun:要不咱把小模型也禁了?...

2023 点击蓝字 关注我们 关注并星标 从此不迷路 计算机视觉研究院 计算机视觉研究院专栏 作者:Edison_G 狂欢之后,事情的走向开始进入封杀这一过程。 公众号ID|ComputerVisionGzq 学习群|扫码在主页获取加入方式 转自《机器之心》…

VPS(Linux)解决ChatGPT Access Denied(错误码1020)方法

本文参考了GitHub的一个开源项目,项目地址:https://github.com/fscarmen/warp 操作方法: 以下两个脚本二选一,部署完成后记得重启VPS VPS嵌套WARP后,建议开启BBR,能够有效降低延迟 WARP部署脚本: wget -N https://raw.githubu…

奶奶版ChatGPT炸了!背刺微软泄露Win11秘钥!

教坏一个大模型的成本实在太低了! 大家都知道,ChatGPT本身可以制造“幻觉”,却也原来如此容易被“情感”所利用!只要故事讲的好,让ChatGPT为你摘星星都没问题!万万没想到,通过让ChatGPT扮演一个…

第一批因ChatGPT坐牢的人,已经上路了

大家好,我是 Jack。 ChatGPT 的火爆有目共睹,有人靠着它赚了第一桶金,也有人靠着它即将吃上第一顿牢饭。 任何一件东西的火爆,总会给一些聪明人带来机会。 艾尔登法环火的时候,一堆淘宝卖魂的;羊了个羊火…

机器学习--最小二乘法

补充: 一. 简介 最小二乘法(又称最小平方法)是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据,并使得这些求得的数据与实际数据之间误差的平方和为最小。最小二乘法…

java最后问面试官什么问题,大量教程

魔鬼面试官必问:ConcurrentHashMap 线程安全吗?但面对魔鬼面试官时,我们更在乎的是这些真的正确吗? 1 线程重用导致用户信息错乱生产环境中,有时获取到的用户信息是别人的。查看代码后 为方便观察问题,我们输出了这个Map一开始和最后的元素个数。 师兄大厂面试遇到面试官的Ka…

计算机网络参考模型及协议

目录 一、计算机网络概述 1.1计算机网络与通信 1.2计算机IP地址与Mac地址 1.3计算机网络相关术语 1.4计算机网络相关设备 1.5计算机网络分类 二、计算机网络分层 2.1计算机网络分层的必要性 三、OSI七层参考模型 3.1应用层 3.2表示层 3.3会话层 3.4传输层 3.5网络…

纪念成为博客专家

一、前言 是的,一直到现在都有点蒙蒙的。从上周六提交申请之后,一直没有消息,博主自己都放弃了。这是第四次申请,虽然申请了很多次,但内心一直有些打退堂鼓,觉得自己的技术水平并不到位,其他的专…

你们都去养猪,我还写前端,然后自费送签名书

文/北妈 阅读本文需要 2.1分钟 这是北妈第 221篇 原创文章 一 我们的口号是? 忘了?周五不加班,周五不加班,不加班! 今天北妈我就说两点,说完去吃饭。 1、最近朋友圈、大V们,人人都在养猪&#x…

惊呆了!Java程序员最常犯的错竟然是这10个

和绝大多数的程序员一样,我也非常的宅。周末最奢侈的享受就是逛一逛技术型网站,比如说 programcreek,这个小网站上有一些非常有意思的主题。比如说:Java 程序员最常犯的错竟然是这 10 个,像这类令人好奇心想害死猫的主…