大语言模型安全威胁

文章目录

  • 基座安全
    • 一、大模型训练阶段
      • (1)训练环境安全风险
      • (2)训练环境隔离缺陷
    • 二、大模型部署阶段
      • (1)利用不安全系统配置
      • (2)CI&CD流程攻击
      • (3)部署环境组件供应链漏洞
    • 三、大模型应用阶段
      • (1)容器集群环境探测
      • (2)容器集群环境攻击
      • (3)LLMs拒绝服务&资源耗尽
  • 数据安全
    • 一、大模型训练阶段
      • (1)内部数据保护缺陷
      • (2)不正确&恶意外部数据源
      • (3)训练数据投毒
    • 二、大模型部署阶段
      • (1)备份数据窃取
      • (2)数据传输劫持
      • (3)数据存储服务攻击
      • (4)日志和审计记录窃取
      • (5)缓存数据&索引信息窃取
    • 三、大模型应用阶段
      • (1)元Prompt泄露
      • (2)模型反演攻击
      • (3)隐私数据窃取
      • (4)模型推理API数据窃取
      • (5)成员推断攻击
      • (6)API信息泄露
  • 模型安全
    • 一、大模型训练阶段
      • (1)模型后门
      • (2)预训练模型不安全依赖
    • 二、大模型部署阶段
      • (1)模型文件窃取
      • (2)模型参数篡改
    • 三、大模型应用阶段
      • (1)模型越狱攻击
      • (2)模型幻觉风险
      • (3)非合规内容输出
      • (4)商业违法输出
      • (5)模型功能滥用
      • (6)预训练模型信息窃取与攻击
      • (7)数据漂移
  • 应用安全
    • 一、大模型训练阶段
      • (1)第三方组件漏洞
      • (2)不安全的代码实践
    • 二、大模型部署阶段
      • (1)LLMs应用源代码窃取
      • (2)LLMs应用源代码投毒
    • 三、大模型应用阶段
      • (1)Prompt注入
      • (2)间接Prompt注入
      • (3)业务应用API利用
      • (4)CoT注入攻击
      • (5)关键字混淆
      • (6)对抗编码攻击
      • (7)反向诱导&抑制攻击
  • 身份安全
    • 一、大模型训练阶段
      • (1)训练环境缺少认证授权
      • (2)训练环境过度权限分配
      • (3)LLMs插件:权限管控设计缺陷
    • 二、大模型部署阶段
      • (1)滥用部署环境凭据
      • (2)向量数据库未授权访问
      • (3)未授权访问模型部署环境
    • 三、大模型应用阶段
      • (1)角色逃逸
      • (2)权限管控不当
      • (3)模拟对话攻击
      • (4)应用会话劫持
      • (5)账户劫持风险

基座安全

一、大模型训练阶段

(1)训练环境安全风险

  • 模型开发工具漏洞
  • 训练数据管理系统漏洞

(2)训练环境隔离缺陷

二、大模型部署阶段

(1)利用不安全系统配置

  • 环境隔离缺陷
  • 云平台多租户隔离失效

(2)CI&CD流程攻击

  • 模型部署服务漏洞
  • 模型镜像污染

(3)部署环境组件供应链漏洞

  • 容器&&集群系统漏洞
  • 向量数据库漏洞
  • 云平台安全漏洞

三、大模型应用阶段

(1)容器集群环境探测

(2)容器集群环境攻击

  • 代码解析器执行逃逸

(3)LLMs拒绝服务&资源耗尽

数据安全

一、大模型训练阶段

(1)内部数据保护缺陷

  • 个人隐私数据保护缺陷
  • 企业敏感数据保护缺陷
  • 机密敏感数据保护缺陷

(2)不正确&恶意外部数据源

  • 预训练模型数据偏见

(3)训练数据投毒

  • 对话语料投毒
  • 训练数据篡改

二、大模型部署阶段

(1)备份数据窃取

(2)数据传输劫持

(3)数据存储服务攻击

(4)日志和审计记录窃取

(5)缓存数据&索引信息窃取

三、大模型应用阶段

(1)元Prompt泄露

  • 假定场景泄露
  • 假定角色泄露
  • 关键字前后定位泄露

(2)模型反演攻击

  • 触发模型异常
  • 训练数据推导

(3)隐私数据窃取

  • 个人隐私数据窃取
  • 企业机密数据窃取

(4)模型推理API数据窃取

(5)成员推断攻击

(6)API信息泄露

模型安全

一、大模型训练阶段

(1)模型后门

  • 模型序列化后门
  • 预训练模型投毒

(2)预训练模型不安全依赖

二、大模型部署阶段

(1)模型文件窃取

(2)模型参数篡改

三、大模型应用阶段

(1)模型越狱攻击

  • DAN(Do Anything Now)
  • Many-shot越狱
  • 假定场景越狱
  • 假定角色越狱
  • 对抗性后缀攻击
  • 概念激活攻击

(2)模型幻觉风险

  • 事实性幻觉
  • 忠实性幻觉

(3)非合规内容输出

  • 虚假信息生成
  • 诱导&&不当言论
  • 带有偏见、仇恨、歧视或侮辱问题
  • 恐怖主义&&带有暴力倾向
  • 政治&&军事敏感问题
  • 敏感数据泄露

(4)商业违法输出

  • 知识产权版权侵犯

(5)模型功能滥用

  • 恶意代码生成
  • 钓鱼邮件生成
  • 图片信息伪造
  • 音频信息伪造
  • 视频信息伪造

(6)预训练模型信息窃取与攻击

  • 预训练模型家族探测
  • 预训练模型本体探测
  • 代理预训练模型创建
  • 对抗样本攻击

(7)数据漂移

应用安全

一、大模型训练阶段

(1)第三方组件漏洞

  • 数据处理组件漏洞
  • RAG开发框架漏洞

(2)不安全的代码实践

  • LLMs插件:不安全输入处理
  • LLMs应用传统漏洞风险
  • LLMs应用不安全输出处理
  • LLMs插件:业务过度代理

二、大模型部署阶段

(1)LLMs应用源代码窃取

(2)LLMs应用源代码投毒

三、大模型应用阶段

(1)Prompt注入

(2)间接Prompt注入

  • XSS会话内容劫持
  • 环路Agent蠕虫
  • 应用对话Memory攻击

(3)业务应用API利用

  • SSRF模型环境探测
  • 代码执行注入

(4)CoT注入攻击

  • 思维链干扰注入
  • 思维链操纵注入

(5)关键字混淆

  • 同义词替换攻击

(6)对抗编码攻击

(7)反向诱导&抑制攻击

身份安全

一、大模型训练阶段

(1)训练环境缺少认证授权

(2)训练环境过度权限分配

(3)LLMs插件:权限管控设计缺陷

二、大模型部署阶段

(1)滥用部署环境凭据

  • 公开服务API密钥利用

(2)向量数据库未授权访问

(3)未授权访问模型部署环境

三、大模型应用阶段

(1)角色逃逸

  • 假定场景逃逸
  • 假定角色逃逸
  • 遗忘法角色逃逸
  • Prompt目标劫持

(2)权限管控不当

  • 未授权访问模型
  • 利用云凭证非法访问云端模型
  • 账户越权访问

(3)模拟对话攻击

(4)应用会话劫持

(5)账户劫持风险

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/466350.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

CLIP论文CLIP 改进工作串讲

文章目录 CLIPViLTCLIP 改进工作串讲Lseg(Language -driven semantic segmentation)Group ViT(Semantic Segmentation Emerges from Text Supervision)ViLDGLIP_V1/V2(Ground Language-Image Pre-train)CLIP PassoCLIP…

C++builder中的人工智能(9)如何在C++中创建AI二进制/Heaviside步进函数

什么是二进制步进函数?我们应该使用二进制步进函数还是Heaviside步进函数?二进制步进函数和Heaviside步进函数是同一回事吗?什么是单位步进函数?通过学习如何在C中创建AI二进制/Heaviside步进函数,它将帮助你使用C IDE…

数据结构-数组(稀疏矩阵转置)和广义表

目录 1、数组定义 1)数组存储地址计算示例①行优先②列优先 2)稀疏矩阵的转置三元组顺序表结构定义 ①普通矩阵转置②三元组顺序表转置稀疏矩阵③稀疏矩阵的快速转置 3)十字链表结构定义 2、广义表定义 1)基本操作①GetHead②GetT…

云集电商:如何通过 OceanBase 实现降本 87.5%|OceanBase案例

云集电商,一家聚焦于社交电商的电商公司,专注于‘精选’理念,致力于为会员提供超高性价比的全品类精选商品,以“批发价”让亿万消费者买到质量可靠的商品。面对近年来外部环境的变化,公司对成本控制提出了更高要求&…

【React.js】AntDesignPro左侧菜单栏栏目名称不显示的解决方案

作者:CSDN-PleaSure乐事 欢迎大家阅读我的博客 希望大家喜欢 使用环境:WebStorm 目录 问题概述 原因 解决方案 解决方法 潜在问题修改 最终效果呈现 额外内容 管理员界面路由配置 WebStorm背景更换 法一: 法二: 问题概…

一文透彻了解电容

文章目录 一、电容的作用二、电容的选择三、电容的分类四、多层陶瓷电容五、钽电容替代电解电容的误区六、旁路电容的应用问题七、电容的等效串联电阻 ESR八、电解电容的电参数九、电容器参数的基本公式十、电源输入端的 X,Y 安全电容 一、电容的作用 作为无源元件之一的电容&…

Python OpenCV 傅里叶变换

傅里叶变换 傅里叶变换比较难和不容易理解,有错的地方请见谅 傅里叶原理表明:任何连续测量的时序或信号,都可以表示为不同频率的正弦波信号的无限叠加。也就是说,傅里叶变换是一种特殊的积分变换,它能将满足一定条件的…

如何调整pdf的页面尺寸

用福昕阅读器打开pdf,进入打印页面,选择“属性”,在弹出的页面选择“高级” 选择你想调成的纸张尺寸,然后打印,打印出来的pdf就是调整尺寸后的pdf

WPF中如何简单的使用CommunityToolkit.Mvvm创建一个项目并进行 增删改查

目录 开始前准备的数据库dbblog如下: 第一步:创建项目后下载四个NuGet程序包 第二步:删除原本的MainWindow.XAML文件 并创建如下的目录结构 然后在View文件夹下面创建Login.XAML和Main.XAML 并且在App.XAML中将启动项改为Login.X…

基于python多准则决策分析的汽车推荐算法设计与实现

摘要 随着汽车市场的快速发展和消费者需求的多样化,汽车选择变得愈加复杂。为了帮助消费者在众多汽车选项中做出明智的决策,基于多准则决策分析(MCDA)的汽车推荐算法应运而生。本研究旨在设计和实现一种基于 Python 的汽车推荐系…

xftp连接中不成功 + sudo vim 修改sshd_config不成功的解决方法

我们使用sudo vim不成功,但是我们使用sudo su就可以 了! root用户权利更大! 喵的,终于成功了,一个xftp连接半天不成功。(添加上面的内容就可以连接成功了↑)

vue:Transition

1. Transition 1. 基本用法 <Transition> 是Vue 提供的 “内置组件动画组件”&#xff0c;与一般的CSS过渡动画不同的是&#xff0c;它通过在特点时刻给元素或组件增加、移除类名来实现——在一个元素或组件进入和离开 DOM 时应用过渡动画。 下面是一个基本用法&#…

Python 中的字符串匹配算法

在 Python 中&#xff0c;字符串匹配算法用于在一个字符串中寻找一个子串的出现位置&#xff0c;这是许多文本处理任务的核心。下面我将介绍几种常用的字符串匹配算法以及它们在 Python 中的实现方式。 1、问题背景 在 Python 中&#xff0c;字符串匹配是一个非常重要的操作&a…

配置本地策略路由示例

组网需求 RouterA与RouterB间有两条链路相连。 用户希望实现本机下发的不同长度的报文通过不同的下一跳地址进行转发&#xff0c;其中&#xff1a; 长度为64&#xff5e;1400字节的报文设置192.168.1.2作为下一跳地址。长度为1401&#xff5e;1500字节的报文设置192.168.2.2…

【大数据学习 | kafka高级部分】文件清除原理

2. 两种文件清除策略 kafka数据并不是为了做大量存储使用的&#xff0c;主要的功能是在流式计算中进行数据的流转&#xff0c;所以kafka中的数据并不做长期存储&#xff0c;默认存储时间为7天 那么问题来了&#xff0c;kafka中的数据是如何进行删除的呢&#xff1f; 在Kafka…

推荐一款基于Flash的交互式园林设计工具:Garden Planner

Garden Planner是一款由Artifact Interactive开发的基于Flash的交互式园林设计工具。它允许用户以拖放的方式安排植物、树木、建筑物和各种对象&#xff0c;使园林规划变得简单直观。此外&#xff0c;Garden Planner提供工具来快速创建铺路、路径和围栏&#xff0c;帮助用户设计…

微信小程序开发,诗词鉴赏app,诗词推荐实现(二)

微信小程序开发&#xff0c;诗词鉴赏app&#xff08;一&#xff09;&#xff1a; https://blog.csdn.net/jky_yihuangxing/article/details/143501681微信小程序开发&#xff0c;诗词鉴赏app&#xff0c;诗词推荐实现&#xff08;二&#xff09;:https://blog.csdn.net/jky_yih…

关于诊断中的各种时间参数

前言&#xff1a; 因为不会转载&#xff0c;故在这里贴出原文连接&#xff0c;写的非常好&#xff01;条理清晰&#xff0c;一遍看懂king110108 原文链接&#xff1a;UDS之时间参数总结篇_uds时间参数-CSDN博客 以下内容是我自己对这篇文章的一些备注和理解&#xff0c;以及从测…

技术干货|HyperMesh CFD功能详解:虚拟风洞 Part 2

在上期 Part 1文章中&#xff0c;我们介绍了从 v2023 版本开始&#xff0c;虚拟风洞VWT&#xff08;Virtual Wind Tunnel&#xff09;模块合并到HyperMesh CFD中。用户在VWT模块中完成LBM求解器ultraFluidX的前处理设置&#xff0c;导出参数文件XML和模型文件STL&#xff0c;并…

H7-TOOL的CAN/CANFD助手增加帧发送成功标识支持, 继续加强完善功能细节

2.27版本固件正式携带此功能&#xff0c;包括之前做的负载率检测和错误信息展示也将集成到这个版本固件中。 对于接收&#xff0c;我们可以直接看到效果&#xff0c;而发送不行&#xff0c;所以打算在发送的地方展示下发送成功标识。CAN发送不像串口&#xff0c;需要等待应答后…