联邦学习(FL)安全威胁

MPC、DP等:通过降低模型性能或系统效率为代价来确保隐私安全

一、FL安全问题

  • 训练过程中,联邦学习仍然存在模型更新过程中向第三方或中央服务器透露敏感信息的情况
  • FL协议设计存在漏洞,任一参与方可能获得全局参数并能控制这些参数的上传
  • 模型训练和预测阶段,恶意参与者可通过对模型输入输出值的恶意修改来窃取模型参数
  • 攻击者在梯度迭代环节能窃取训练数据
  • 恶意第三方可以从服务器的共享数据更新中恢复参与者的部分数据

1.1 FL安全性要求(CIA模型):

  1. 机密性(confidentiality):指FL系统保证模型不会泄露相关敏感信息,要求系统必须保证未得到授权的用户无法接触到系统中的私密信息, 既包括模型的训练数据, 也包括模型的架构、参数等信息
  2. 完整性(integrity):指FL系统在模型学习和推理预测过程中完全不受干扰,输出结果符合模型的典型性能,要求模型的预测结果不能偏离预期
  3. 可用性(availability):指FL可以被普遍使用,要求系统在面对异常输入甚至是恶意输入时仍能提供正常服务

        对应攻击方式:

  1. 机密性攻击:FL系统在模型学习或预测阶段泄露敏感信息,包括模型参数、模型结构、训练方式、训练数据。通常通过特定的方法窃取模型信息或通过某种手段恢复部分训练模型的数据,从而推断出用户的敏感数据
  2. 完整性攻击:对模型学习过程和推理预测过程的干扰,使模型的输出结构不符合预期性能
  3. 可用性攻击:利用FL系统中的软件漏洞对训练数据进行恶意操作,使模型无法得到正确更新,导致模型无法被正常使用。主要利用联邦学习系统的漏洞,采用数据投毒攻击和拜占庭攻击破坏联邦学习模型的可用性

二、机密性攻击

2.1 模型提取攻击

是一种通过重建相同或相似模型,将替代模型作为目标的攻击方法,在黑盒攻击条件下,攻击者试图窃取联邦学习模型的参数或超参数,尽可能完整地重建模型,或构建与目标模型相似的替代模型

两个角度进行:一是构建替代模型;二是从目标模型中恢复信息 

构建替代模型:重点是创建与测试集的精度相匹配的模型 

从目标模型中恢复信息:提出窃取机器学习分类器参数的攻击,具体就是攻击BigML和 Amazon机器在线学习模型(即功能映射模型和决策树模型),并提取出和在线学习模型几乎相同的模型

2.2 模型反转攻击

利用机器学习系统提供的API获取模型的初步信息,并利用这些初步信息对模型进行逆向分析.当成功实施模型反转攻击时,模型反转攻击生成的类成员类似于被攻击模型训练时的输入类

实现:通过从已完成的模型中获取训练集信息来推测目标模型的某些数据,其中,从逆向攻击中推断出的训练集信息可以是训练集的成员信息,也可以是训练集的某些统计特征

目标:恢复敏感特征或完整的数据样本

成员推理攻击 

成员推理攻击:攻击者利用目标数据点d^{*}和模型h_{\theta }\left ( x \right )的访问权限,试图推断d^{*} ∈X,X为私有训练数据

分类:

        主动攻击:攻击者可以篡改联邦学习模型训练协议,实现对其他学习参与者的攻击

        被动攻击:攻击者观察更新后的模型参数,并在不改变任何本地或全局协作训练过程的情况下推断d^{*}是否为私有训练数据

攻击者的目的:构建一个攻击模型,该模型可以识别目标模型行为中的这些差异,并利用它们来区分目标模型的成员和非成员

成员推理的目的:推断特定样本是否属于参与学习的一方或两方的私有训练数据

成员推理攻击方法

  1. 影子模型的成员推理攻击
  2. 独立于数据模型的成员推理攻击
  3. 仅带标签的成员推理攻击
  4. 针对生成网络的成员推理攻击

属性推理攻击 

属性推理攻击:攻击者试图提取未明确编码为特征或与学习任务无关的数据集属性,这些属性独立于联邦学习模型特征.该类攻击可以获得更多关于训练数据的信息,攻击者基于这些信息构建与联邦学习模型类似的模型

属性推理的目的:从模型中提取无意中学到的信息,与训练任务无关

属性推理攻击用于FL系统的限制条件:

  1. 属性推理攻击需要辅助数据,这些辅助数据有时是难以获取的
  2. 对于联邦学习参与者的数量,实验一般是在20~30个成员条件下进行,实际应用中可能会达到几百个
  3. 部分属性信息本身不可分离,此时属性推理攻击会失效
  4. 无法推理出属性信息的来源
  5. 属性推理攻击依赖上下文环境
  6. 攻击者需要持有推理出的部分数据来实施攻击

2.3 重构攻击

侧重于重构出实际数据以及可能属于训练集敏感特征的典型类 

目标:重构部分或全部训练样本及标签

生成对抗网络攻击

构建的只是类的个例,而不是构建实际的训练输入数据.当且仅当特殊情况下所有类成员都相似时,生成对抗网络攻击构建的个例才和训练集数据相似

生成对抗网络:主要由生成网络和鉴别网络两部分组成,生成网络尽可能生成图像去欺骗鉴别网络,鉴别网络的作用是区分生成网络生成的图像,生成网络和鉴别网络构成了动态“博弈过程”

限制条件:

  1. 被攻击方参与训练的每轮数据必须有相似的数据分布
  2. 实际攻击过程中,模型更新必须加入随机噪声
  3. 并不十分适合处理类似文本数据的以离散形式存在的数据
  4. 相比训练变分自动编码和像素循环神经网络模型,训练一个生成对抗网络并不稳定
  5. 需要一定规模的计算资源

变分自动编码攻击

是生成模型的一种,该方法的实质是结合深度模型和静态推理将高阶数据映射到低维空间

实现原理:通过变分自动编码中的编码器生成置信度的分布区间,为每个隐藏变量生成一个确定值,并通过抽样得到全新的数据

优势:生成对抗网络无法通过编码和解码过程实现对重构图片和原始图片差异的直接比较,变分自动编码则可以实现对攻击获得的重构图片和原始图片的直接比较

缺陷:不使用对抗网络,产生的图片会比较模糊

        解决:通过改进变分自动编码方法设计了自省变分自动编码方法(IntroVAE)

梯度信息泄露攻击

通过多次迭代获得训练输入数据和标签

特点:可以恢复像素级精度的原始图像和匹配符号级的原始文本

存在问题:

  1. 在收敛方面有诸多困难
  2. 难以连续识别出基本的正确标签
  3. 模型中的池化层会显著降低效果
  4. 需要已知模型中参数的分布,且仅适用于具有平均分布初始化的模型,不能恢复正态分布和已经训练好的模型参数

三、完整性攻击

模型在推理阶段训练阶段最容易受到完整性攻击,模型的完整性一旦被破坏,模型的预测结果就会发生偏离

  • 推理阶段:对抗攻击
  • 训练阶段:模型投毒攻击

3.1 对抗攻击

利用不同类各个实例之间的边界生成使模型错误分类的输入样本,利用深度学习的缺点破坏识别系统的方法,即通过对识别对象进行肉眼不可见的特殊改动来使模型识别出错,在模型的推理和预测阶段,通过在原始数据中加入精心设计的微扰,攻击者可以获得对抗样本,从而欺骗深度学习模型使其给出高信度的误判

逃逸攻击:是对抗攻击的一个分支,攻击者可以在不改变目标机器学习系统的情况下,通过构造特定的输入样本来欺骗目标系统

数据中毒:攻击者在输入模型的数据中加入大量质量很差甚至错误的数据,扰乱数据集中数据的分布,从而破坏模型

常见问题:模型在预测阶段做出错误的判断,虽然错误分类不会直接侵犯联邦学习参与者
的隐私数据,但会导致模型的准确性和可用性受到影响

3.2 模型投毒攻击

主要指攻击者在全局聚合过程中通过发送错误的参数或破坏模型来扰乱联邦学习过程

通过控制学习参与者传递给服务器的更新参数,影响整个学习过程模型参数走向和降低模型的收敛速度,甚至破坏训练模型的正确性,影响联邦学习模型的性能

有目标攻击:针对某一分类样本的攻击

非目标(泛化)攻击:实现的是对所有样本的错误分类,并不只针对某一分类样本

联邦学习中,数据投毒攻击没有将数据发送到服务器,模型投毒攻击则因将数据发送到服务器而需要复杂的技术和较高的计算资源,其综合效果比数据投毒攻击更有效

3.3 后门攻击

通过故意改变决策边界使某些输入被错误分类,攻击者能够在模型中插入隐藏的后门,并在预测阶段通过触发简单的后门触发器完成恶意攻击,其危害性较大

四、可用性攻击        

4.1 数据投毒攻击

指攻击者污染了训练集中的样本,不改变目标ML系统情况下,构造特定的输入样本来欺骗系统完成攻击

直接攻击:攻击者通过提供假传感器数据的方式锁定目标节点,直接向目标节点注入经恶意修改的有毒数据

间接攻击:攻击者不向任一目标节点注入有毒数据的条件下,利用设备间的通信协议缺陷等漏洞,通过向其他节点注入有毒数据来间接影响目标节点

混合攻击:直接攻击和间接攻击的结合,即攻击者既可以直接向目标节点也可以间接向目标节点注入有毒数据

4.2 拜占庭攻击

指攻击者控制多个授权节点,任意干扰或破坏网络.主要实现方法是使数据包延迟或无法送达而导致系统错误

攻击者的目标:是在训练阶段破坏学习过程的完整性,通过多次迭代积累的偏差,使学习到的全局模型与攻击前的模型之间的差异变得明显,从而使模型无法正常使用。归根到底,攻击者的目的是使用拜占庭攻击来控制和改变整个联邦学习模型的局部模型参数,提高全局模型的测试错误率,最终破坏联邦学习系统的可用性

五、攻击方法问题分析

5.1 联邦学习主要攻击方法缺点和不足

 

5.2 破坏联邦学习CIA模型的攻击方法存在的问题

  1. 现有攻击方法是研究人员在不同条件下提出的,研究中数据集、目标模型和威胁模型差异较
    大,虽然攻击方法可行,但其有效性仍取决于实际应用场景
  2. 目前大多数攻击方法都是基于联邦学习而不是协作学习,大多数研究人员只考虑了联邦平均算法(FedAvg),忽略了联邦学习中添加的其他保护机制
  3. 现有大部分攻击方法都是被移植到联邦学习中的,没有针对联邦学习框架的特定聚合算法或特征攻击

六、未来研究方向

提高攻击效果和提高联邦学习安全性

  • 纵向和迁移联邦学习隐私保护:现有攻击方法都是针对横向联邦学习场景,对纵向联邦学习和迁移联邦学习的研究相对较少,这可能是联邦学习遭受攻击的一个重点方面,也是未来联邦学习研究的一个重要方向
  • 通用攻击方法:无论是横向还是纵向联邦学习场景,都应致力于研究一种通用的攻击方法。目前的攻击方法使用条件相对苛刻,难以满足需求
  • 投毒攻击:由于投毒攻击的实施方式比较灵活,且不容易被传统安全检测方法检测到,因而可以将投毒攻击和其他攻击组成混合攻击方法,以达到更好的攻击效果
  • 后门检测:现有针对联邦学习的攻击方法都是移植实现的攻击方法,未来可以针对这些方法研究联邦学习后门的检测方法
  • 鲁棒性:通过对各种攻击方法原理的掌握,未来可以在提高联邦学习鲁棒性和有效对抗攻击方面做一些深入的研究工作

参考文献:

[1]王坤庆,刘婧,李晨,赵语杭,吕浩然,李鹏,刘炳莹.联邦学习安全威胁综述[J].信息安全研究,2022,8(03):223-234.

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/56745.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

如何准备CKAD和CKA认证?

在准备 CNCF 的 CKAD 或 CKA 认证时,会有很多疑问,首先出现哪个考试,参考哪些资源,避免哪些常见错误等。尤其是如果您没有以前的知识或新手- 根据 Kubernetes 的经验,这可能是一个艰难的处境。InfraCloud 强烈鼓励工程…

朝鲜APT组织使用带后门IDA软件攻击安全研究人员

2021年初,朝鲜APT组织Lazarus通过养推特大V账号,配合定制开发的恶意软件0day漏洞针对安全研究人员进行了一系列的网络攻击活动,详细可见:通过社交媒体针对安全研究人员的社会工程学攻击活动。 而就在2021年11月10日,国…

chatgpt自己杜撰答案(sometimes)?

当我想通过filebeat将mysql表的内容同步到ELK系统中时,我向chatgpt询问时: 在我根据上述回答完成配置文件后启动filebeat后报错如下: ERRORinstance/beat.go:916Exiting: Error while initializing input: Error creating input. No such i…

智能聊天功能——语音聊天篇

如今大部分人都面临着来自生活各方面的压力,时常感到焦虑、孤独,有的甚至患上了抑郁症等心理疾病,他们无法排解,甚至找不到人来诉苦,本系统提供了语音对话功能。 在用户无聊的时候,可以唤醒“依米”&#x…

转【Latex】Texstudio英文拼写错误检查功能出问题的解决方法

【Latex】Texstudio英文拼写错误检查功能出问题的解决方法 2018年03月23日 22:54:49 阅读数:685 问题描述 最近用latex(编辑器为Texstudio)写论文,相比于本科时常用的word,各种方便,唯一不爽的是texstu…

英文论文纠错:

Grammarly:官网下载,拉到底部product的office版本,下载后安装,word中会多一个插件,就像这样 基本上免费的功能就够用了,它会识别全文,然后给出你可能存在的问题

GPT专业应用:生成百度搜索创意

正文共 1017 字,阅读大约需要 4 分钟 数字营销人员必备技巧,您将在4分钟后获得以下超能力: 生成百度搜索创意 Beezy评级 :B级 *经过简单的寻找, 大部分人能立刻掌握。主要节省时间。 推荐人 | nanako 编辑者 | Linda…

惊!ChatGPT处理文章仅需一秒钟,提取大纲、重写不在话下!

前言 在上篇文章中,我们实现了批量抓取到微信公众号文章的链接地址,那么这篇文章将继续为大家介绍,如何根据链接爬取到文章内容,并且利用chantGPT对文章进行处理。 爬取文章内容 我们已经有了很多文章的链接,这些链…

程序员做自媒体,到底是怎样一种体验?这几个大佬公众号彻底告诉你

人与人之间的差异,很多时候在于认知,说起大厂的程序员,一般技术是会好些,一方面原因能进大厂的程序员大部分学历、专业都过硬,另一方面也是最主要的,他们也会不断利用大的平台学习总结,触类旁通…

自媒体多平台发布怎么做?2022年高级自媒体人都这么玩

现在许多小伙伴开始做自媒体都是在一些自媒体视频或者博主的介绍下才认识到做自媒体可以给自己带来收益,刚刚做得时候可能只会弄一两个账号,发现收益也不高,便不想去做相关的事情了,的确现在做自媒体的人太多了,无论是…

做自媒体月入几万?博主们都在用的几个自媒体工具

为什么新手做自媒体行业月入只有几十块钱,而那些自由博主做自媒体却月入几万呢?想知道你和他们的差距吗?如果是你做了一个月甚至更久的时间不见效果,那就试试博主们都在用的几个工具和网站,或许就能改变你目前的一个现…

玩转自媒体,你需要这样做

文/Fdaxiong大熊 (分享个人经验,帮助新人快速了解自媒体平台) 自媒体平台有那些?1.微信公众号,2.今日头条,3.一点资讯,4.企鹅平台,6.百家号,7.大鱼号,8.搜狐号…

怎么做自媒体?从这几步做起

新手怎么做自媒体,自媒体新手要从这几步做起,新手怎么做自媒体,现在互联网的发展越来越迅速,做自媒体的人越来越多,走在路上随手可见拍视频的人,身边靠写文章挣钱的人,一大把。小到几岁的小孩&a…

批改网作文提交时分析不出来_小学生作文写作从哪些方面提高呢?

小学生在写作学习的前期就会对优秀的和满分作文进行借鉴和赏析从而就会模仿他们的写作方法还有个别的描写语句段落了,其实这是小学生作文学习的一种方法,学生们应该利用好引用抄作文的方法还有就是要明白其中的道理还有意义了。我也是老师,作…

批改网作文素材

句型:too…to

韩语暑假作文批改(蓝书完结)

积累好句 ㄹ 수 있도록 하는 것이 중요하다 ....를 통해 어제보다 진보한 내일을 만들 수 있는 힘이 생기기 때문이다: 使能。。很重要,因为通过。。是力量 66届 填空: 别人对别人说-->动词라고..:命令句间接引语 小作文:…

批改网作文提交时分析不出来_人物专访 I 苗晋:我的生活都为“批改作文”而让路...

提起新东方名师,我们往往想到的是那些亢奋激情、金句不断,在讲台上引发学生爆笑的老师们。但你可能不知道,英联邦还有这样的一支“学术范儿”队伍。他们是德高望重的知识分子,在教学上刻苦钻研,精益求精,在…

计算机专业的考研英语作文,2019计算机考研英语作文复习得分攻略

►常下手、要批改 这里我所谓的常下手,是因为很多同学复习过程中注重积累而忽视真正动手演习。同样还是因为写作是输出活动,它要求我们呈现给考官的不是一个结果而是一个过程,仅仅看到知道并理解是不够的,还要会运用那些词汇、句法…

无敌了,用Python给英语老师开发了个英语作文批改的神器(支持小学到雅思)

除了老师和家长,它也可以批改作业 最近一个家长退群的故事在某博上了热搜。故事中老师和家长的矛盾由批改作业集中爆发,至于孰是孰非,还是交给吃瓜群众去评价吧,作为一个技术工作者,我突发奇想,是否以后能…

计算机批改程序,计算机能批改作文吗?

在现代学校,使用计算机阅卷,并非是什么新鲜事物,目前还大多只限于选择题。但是大家有否想过,计算机阅卷可否用于作文或者填空题等类型呢?在美国,哈佛和麻省理工合办的EdX在线学习平台,向全球提供…