论文阅读:Deep Leakage From Gradients

论文名字

Deep Leakage From Gradients

来源

顶会 NeurIPS

年份

2019.12

作者

Ligeng Zhu  Zhijian Liu  Song Han

核心点

主要研究梯度泄露问题,使用比以往方法更强的攻击方法,恢复图像是像素级的,恢复文本是符号级的匹配。提出有效的解决方法是梯度裁剪。

阅读日期

2020.12.13

影响因子

 

页数

11

引用数

 

内容总结

文章主要解决的问题及解决方案:

 

文章的主要工作:

①提出一种优化算法,可以在几个迭代中获取训练输入和标签。算法的主要思路是:假设虚拟输入和标签,计算虚拟梯度,优化虚拟梯度与真实梯度之间的距离,通过匹配梯度使得虚拟数据靠近原始数据。

②提出三种保护数据策略:梯度扰动、低精度、梯度压缩。

③文章的主要贡献:i)DLG算法是第一个实现证明有可能从公开共享的梯度中获得私人训练数据;ii)DLG只需要梯度,就可以显示像素精确的图像和符号匹配的文本。而传统的方法通常需要额外的信息来攻击,并且只产生部分属性或合成替代;iii)为了防止重要数据的潜在泄漏,分析了各种设置下的攻击难点,并讨论了几种针对攻击的防御策略。

④标准的分布式训练的计算梯度:

更新权重:

⑤DLG算法实现如图:

DLG算法流程:i)输入为可微的机器学习模型Fx,W(因为该算法需要算梯度的梯度),W:权重参数,∇W:通过训练数据计算得到的梯度;ii)初始化虚拟输入和标签;iii)计算虚拟梯度;iv)计算虚拟梯度与真实梯度的差值平方(作为损失函数);v)根据差值平方,反向传播,更新虚拟输入,使其计算后的梯度能与真实梯度匹配。

⑥实验结果如图3,DLG在MNIST,CIFAR-100,SVHN和LFW数据集中的图像恢复情况。可以看出DLG算法可以还原整个图像。

⑦为了解决当batchsize大于1时,算法失效的情况,文中对算法1的第六行进行修改:

并使用修改后的算法进行实验,结果如表1和图4所示。

⑧文中对原有模型进行了两处修改:i)将ReLU换成Sigmoid;ii)删除步长(因为文中算法要求模型是二次可微的)

⑨DLG算法的缺点:i)当batchsize过大的时候,无法进行攻击;ii)当输入图像过大的时候,无法进行攻击;iii)当网络越深的时候,无法进行攻击。(我的理解是权重w的变化差异太大)

⑩防御策略:i)给梯度增加噪声,如图7所示,噪声在10的-4次方时,不能防御梯度泄露;噪声在10的-3次方时,虽然有一定人工干扰,但是还是会泄露;噪声在10的-2次方时,会影响模型精度。(显著)。从图7a和7b的比较中可以看出防御效果取决于方差大小,与噪声类型关系不大。ii)图7c显示,两种半精度方法不能保护训练数据。iii)图7d显示,剪枝率大于20%,可以起到保护隐私的作用(作者没有实验证明影响精度问题,引用了前人的工作)。

(11)文中给出用密码学方法的局限性:1、安全聚合要求梯度为整数,不适用于大多数的CNN,2、同态加密仅针对服务器的攻击。

 

文章内容:

 

实验结果:

 

 

 

附录:

 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/53223.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

论文阅读:Differentially Private Learning with Adaptive Clipping

论文名字 Differentially Private Learning with Adaptive Clipping 来源 年份 2019 作者 Galen Andrew, Om Thakkar, H. Brendan McMahan, Swaroop Ramaswamy 核心点 提出对更新的范数的自适应裁剪方法 阅读日期 2021.3.30 影响因子 页数 10 引用数 引用…

《An Ideal-Security Protocol for Order-Preserving Encoding》论文学习笔记

文章目录 《An Ideal-Security Protocol for Order-Preserving Encoding》论文学习笔记1.论文背景2.论文概述3.威胁模型4.mOPE的原理☆Tree construction☆Binary encoding☆Tree balancing☆平均开销☆旧的编码☆Mutable order-preserving encoding (mOPE) 《An Ideal-Securit…

论文阅读:DP-FL: a novel differentially private federated learning framework for the unbalanced data

论文名字 DP-FL: a novel differentially private federated learning framework for the unbalanced data 来源 World wide web (2020) 年份 2020 作者 Xixi Huang, Ye Ding, Zoe L. Jiang, Shuhan Qi, Xuan Wang, Qing Liao 核心点 针对unbalance data的DP的噪声的动…

数学建模英文论文写作001之Proposal开题

GG呕心沥血、浏览群书群论文总结了一系列数学建模英文写作好词好句,助你旗开得胜! 本次主要介绍论文的开题部分。论文开题的目的是清晰陈述问题并且描述为什么这个问题是重要的。写开题的时候,假想自己正在为了继续研究话题申请项目基金。你…

论文笔记——频率隐藏保序加密

论文标题:Frequency-Hiding Order-Preserving Encryption 原文作者:Florian Kerschbaum, Authors Info & Claims 原文链接:https://dl.acm.org/doi/abs/10.1145/2810103.2813629 发表会议:CCS 15: Proceedings …

论文阅读:Video Object Segmentation and Tracking A Survey

论文名字 Video Object Segmentation and Tracking A Survey 来源 arXiv 论文地址:http://arxiv.org/abs/1904.09172?contextcs.CV 年份 2019.4.26 作者 RUI YAO, GUOSHENG LIN, SHIXIONG XIA, JIAQI ZHAO, YONG ZHOU 核心点 对现有的VOST算法进行分…

「都是url惹的祸」(问题:小数点参数被截取|刷新页面找不到资源)

问题背景: 在开发的时候有个页面跳转的需求点并且需要带着五个参数飞过去,其中包含版本号(就是有小数点的数字,这也是遇到的一个问题一会聊一哈),本来触发完事件横跳过去没有问题,寻思着看一下N…

mysql用户名不存在_dedecms系统后台登陆提示用户名密码不存在

dedecms最近被曝有非常多的安全漏洞,最近有些用户反应后台管理员账号密码没有修改但无法正常登陆,提示用户名不存在,经研究发现是程序漏洞管理员被直接篡改,解决方案如下。 一、请先使用phpmyadmin登陆mysql管理,虚拟主…

桂林三金,吃不到中药股红利

如果说,国货品牌崛起的大潮本质上是国家的崛起,而非货的崛起。那么,中药的一时火热,靠的也不是疗效,是文化自信。 文化自信改变不了中药的疗效,但可以提升消费者对中药的信心。片仔癀靠着独家秘方&#xf…

如何实现沉浸式旅游与非物质文化遗产的共同发展

中国非物质文化遗产资源丰富,是世界上非物质文化遗产数量最多的国家。丰富多样的资源为非物质文化遗产旅游业的建设提供了良好的基础。非物质文化遗产旅游是基于非物质文化遗产资源开发的文化旅游消费形式。文化资源包括各民族代代相传的传统文化表现形式。非物质文…

@河南省文旅厅 携手让非遗“活”起来!

太极拳申遗成功两周年之际 河南省文化和旅游厅联合百度智能云 打造的“太极拳一张图” 正式上线啦! 河南省是我国非物质文化遗产资源大省,此次推出的“太极拳一张图”正是河南省贯彻落实二十大精神,深入推进非遗数字化保护体系建设和传播推广…

小红书百万博主如何炼成?美妆博主专访

“在小红书上如何快速涨粉?”是大家长期以来的疑惑,为此我们找到了小红书美妆博主小颠儿kini,让我们看看他在成为百万博主的道路上都总结了哪些心得吧! 采访手记:截止到发稿,美妆博主小颠儿kini在小红书上的…

基于Java Web技术的动车购票系统

毕 业 设 计 中文题目基于Java Web技术的动车购票系统英文题目Train ticket system based on Web JavaTechnology 毕业设计诚信声明书 本人郑重声明:在毕业设计工作中严格遵守学校有关规定,恪守学术规范;我所提交的毕业设计是本人在 指导教师…

什么是注意力机制?

Attention机制在近几年来在图像,自然语言处理等领域中都取得了重要的突破,被证明有益于提高模型的性能。 Attention机制本身也是符合人脑和人眼的感知机制,这次我们主要以计算机视觉领域为例,讲述Attention机制的原理&#xff0c…

深入理解注意力机制(Attention Mechanism)和Seq2Seq

学习本部分默认大家对RNN神经网络已经深入理解了,这是基础,同时理解什么是时间序列,尤其RNN的常用展开形式进行画图,这个必须理解了。 这篇文章整理有关注意力机制(Attention Mechanism )的知识&#xff0…

Attention注意力机制学习(一)------->SENet

目录 前言 论文 注意力机制 Squeeze-and-Excitation (SE) 模块 第一步Squeeze(Fsq) 第二步excitation(Fex) SE注意力机制应用于inception和ResNet 前言 在深度学习领域,CNN分类网络的发展对其它计算机视觉任务如目标检测和语义分割都起到至关重要的作用&…

Attention,Multi-head Attention--注意力,多头注意力详解

Attention 首先谈一谈attention。 注意力函数其实就是把一个query,一个key-value的集合映射成一个输出。其中query,key,value,output(Attention Value)都是向量。输出是values的加权求和,是qu…

1.注意力机制

提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档 参考:注意力机制 文章目录 前言一、注意力机制1.非参注意力池化层K(x-x~i~)的选择 2.参数化的注意力机制3.小结 二、注意力分数一维注意力分数拓展到高纬度1.加性…

注意力机制(Attention)

注意力机制分类 包括软注意力机制(Soft Attention)和硬注意力机制(Hard Attention)。 硬注意力机制指随机选择某个信息作为需要注意的目标,是一个随机过程,不方便用梯度反向传播计算。软注意力机制指在选…

Attention机制理解笔记(空间注意力+通道注意力+CBAM+BAM)

Attention机制理解笔记 声明Attention分类(主要SA和CA)spitial attentionchannel attentionSA CA(spitial attentionchannel attention)加强SACA理解 空间注意力机制和通道注意力机制解释attention机制Attention模型架构1.空间注意力模型(spatial attention)2.通道注意力机制3…