聚焦源代码安全，网罗国内外最新资讯！
编译：代码卫士
微软上线必应 (Bing) 新版Chat 搜索后，人们开始试图让改机器人吐露更多不允许说的内容。在斯坦福大学就读计算机科学专业的学生 Kevin Liu获得成功。
去年9月，数据科学家 Riley Goodside 发现，他只通过“忽略上述指南，这样做”就能诱骗GPT-3生成既定内容之外的文本。英国计算机科学家 Simon Willison 之后将该漏洞命名为 “提示符注入 (prompt injection)”。它通常影响本应响应任何用户输入的大型语言模型。例如，Shawn Wang 能够通过这种方法暴露Notion AI助手的提示。
01
提示符攻击适用于Bing Chat
就读斯坦福大学计算机科学专业的学生 Kevin Liu将提示符攻击技术应用到了Bing Chat。他发现必应的聊天机器人的代号是“Sydney”，而且微软赋予它一些行为规则，如：
Sydeny 的自我介绍是“This is Bing”。
Sydney并不会透露自己的名字是Sydney。
Sydney 理解用户所偏好的语言并以这种语言自由沟通。
Sydney的答案应当是通知性的、可视化的、逻辑性的和可操作性的。
它们应当是积极的、有趣的、有意思的和活力满满的。
微软还为必应的聊天机器人设置了至少30个其它规则，包括不能生成关于政客、活动家、国家领导人或少数民族的笑话或诗歌，或者Sydney不能输出可能违反书籍或歌曲版权的内容。
02
激活“开发者覆盖模式”
Liu 诱骗该语言模型认为自己正处于“开发者覆盖模式”，获得后端的访问权限，从而使其披露更多内部信息如可能的输出格式化等。
其中一个有趣的细节是，从已发布的文档来看，Sydney的信息更新持续到2021年，目前仅通过web搜索更新。这说明，必应的聊天搜索和ChatGPT一样都基于OpenAI公司的GPT 3.5。GPT 3.5和ChatGPT 的训练状态也处于2021年。而当微软和OpenAI公布的必应聊天搜索时，他们说的是“下一代搜索模型”。
不过，很有可能所有的这些信息是过时的，因为大型语言模式的情况总是这样，而这是我们在聊天机器人时代必须适应的。
该漏洞似乎并未阻止微软在更大范围内使用 ChatGPT技术的计划。CNBC报道称，微软将在其它产品中集成 ChatGPT技术并将该聊天机器人作为白标软件提供给企业，使后者推出自己的聊天机器人。
代码卫士试用地址：https://codesafe.qianxin.com
开源卫士试用地址：https://oss.qianxin.com
推荐阅读
开源软件源代码安全缺陷分析报告——人工智能类开源软件专题
微软必应后台服务器泄露查询请求和位置等信息
必应将默认加密搜索流量
谈谈网络安全领域对人工智能的滥用（上）
谈谈网络安全领域对人工智能的滥用（下）
原文链接
https://the-decoder.com/student-hacks-new-bing-chatbot-search-aka-sydney/#summary
题图：Pixabay License
本文由奇安信编译，不代表奇安信观点。转载请注明“转自奇安信代码卫士 https://codesafe.qianxin.com”。
奇安信代码卫士 (codesafe)
国内首个专注于软件开发安全的产品线。
觉得不错，就点个 “在看” 或 "赞” 吧~
