Adversarial Attacks against Face Recognition: A Comprehensive Study论文解读

     

一些专有名词缩写:automated border control (ABC) systems. 自动控制系统、面部识别(FR).面部识别、LBP(Local Binary Pattern,局部二值模式)

       面部识别(FR)已成为身份认证的主要生物识别技术,并广泛用于各类领域,如金融,军事,公共安全和日常生活。 典型的FR系统的最终目标是识别或验证来自数字图像或来自视频源的视频帧的人。 通常将FR描述为基于智能的人工生物测量应用,通过分析人的面部特征的模式,可以唯一地识别人。

本文件的主要贡献是:

1.对FR系统的对抗生成方法的研究进行了审查,提出了符合其取向的对应方法的说明性分类,并比较了这些关于取向和属性的方法。

2.回顾了针对FR系统的新对抗示例检测方法,对所提出的算法进行了分类,并展示了这种分类的描述性分类。

3.根据四个主要问题解决了针对对抗样本的FR模型的主要挑战和潜在解决方案:对抗样本的特殊性,FR模型的不稳定性,偏离人类视觉系统和图像不可知的扰动生成。

        本文的其余部分按以下方式组织:第二节介绍了FR技术,架构和数据库的背景。 在第三节中,我们描述了在FR课程背景下与对抗攻击和防御相关的标准术语,描述了攻击属性,解释了实验标准,并讨论了生成攻击的先驱方法。 审查了旨在减少第四节中FR任务的对抗示例生成方法。 讨论了方法,并比较了基于方向和属性的方法。后几节为对应措施、当前挑战和潜在的未来研究方向的讨论。   

早期深FR模型,如DeepFace,FaceNet和DeepID。
术语和定义:
1.对抗样本/图像:是故意改变(例如,通过添加噪音)版本的清晰图像到机器学习(ML)模型,作为FR模型。
2.对抗训练:是一个使用对抗性图像与清晰图像一起训练的过程。
3.对抗:是根据案例研究创建对抗样本或样本本身的替代品。
4.威胁模型:是关于攻击者目标,攻击战略,攻击系统知识以及使用有关目标模型的输入数据/系统组件的能力的模型。
5.  Dodging attack是生成一个对抗样本使其无法被识别,比如face verification中,让不一样的两人识别为同一个人。
6. Evasion attack新产生的对抗样本只存在测试集中,算法将在未被污染的训练集上训练。攻击者的目标是让对抗样本影响原来训练好的算法在测试集的表现。
7. Impersonation attack是产生一个对抗样本,使其被识别为某一个特定的实体,从而避免人脸系统的验证。
8. Poisoning attack 新产生的对抗样本将被用于新算法的训练,形象地来说,攻击者对算法的训练集进行投毒,从而影响训练好的算法在未被污染的测试集上面的表现。
借鉴计算机安全研究的方法,我们可以根据攻击者掌握的信息,对攻击方法进行另一个维度的分类:

1 白盒攻击(White Box Attack):攻击者掌握对方系统的所有信息,包括使用何种方法,算法输出结果,计算中的梯度等等。这种场景是指当攻击者完全攻入目标系统的时候;

2 黑盒攻击(Black Box Attack):攻击者只能查询到有限的攻击结果,对目标系统的机制完全不了解。这种攻击难度最大,对与防御方的危害也最大。

根据攻击的特殊性,将深FR系统中的威胁模型归类为两大类型:

Targeted attack 减少了错误预测对抗样本的特定标签的模型。 在FR或生物测量系统中,这是由非人格化的杰出人物实现的。

2 Non-targeted attack预测对抗的样本无关紧要,因为结果不是正确的标签。 在FR/生物测量系统中,通过面部填充使其复杂化。 非目标攻击更容易实施,因为它有更多的冲击和空间改变输出。

根据实施的范围,扰动可能被归类为以下几种类型:

1 Image-specific perturbations可以根据输入图像明确生成。普遍干扰

2 Universal perturbations能够以很高的概率在任意图像上欺骗给定模型。请注意,普遍性是指扰动的性质是“图像不可知论”,而不是具有良好的可转移性。

数据集: LFW,CASIA-WebFace,MegaFace,VGGFace2和CelebA是评估FR系统对抗攻击的最广泛使用的图像分类数据集。
对抗攻击方法有以下几种属性:
1 对抗能力  2 特异性  3 可转移性  4 扰动类型
生成对抗样本的几种方法:

1 Box-constrained L-BFGS

       Szegedy 等人首次证明了可以通过对图像添加小量的人类察觉不到的扰动误导神经网络做出误分类。他们首先尝试求解让神经网络做出误分类的最小扰动的方程。但由于问题的复杂度太高,他们转而求解简化后的问题,即寻找最小的损失函数添加项,使得神经网络做出误分类,这就将问题转化成了凸优化过程。

2 Fast Gradient Sign Method (FGSM)

       Szegedy 等人发现可以通过对抗训练提高深度神经网络的鲁棒性,从而提升防御对抗样本攻击的能力。GoodFellow 等人开发了一种能有效计算对抗扰动的方法。而求解对抗扰动的方法在原文中就被称为 FGSM。

       Kurakin 等人提出了 FGSM 的「one-step target class」的变体。通过用识别概率最小的类别(目标类别)代替对抗扰动中的类别变量,再将原始图像减去该扰动,原始图像就变成了对抗样本,并能输出目标类别。

3 Basic & Least-Likely-Class Iterative Methods

       one-step 方法通过一大步运算增大分类器的损失函数而进行图像扰动,因而可以直接将其扩展为通过多个小步增大损失函数的变体,从而我们得到 Basic Iterative Methods(BIM)。而该方法的变体和前述方法类似,通过用识别概率最小的类别(目标类别)代替对抗扰动中的类别变量,而得到 Least-Likely-Class Iterative Methods。

4 Jacobian-based Saliency Map Attack (JSMA)

       对抗攻击文献中通常使用的方法是限制扰动的 l_∞或 l_2 范数的值以使对抗样本中的扰动无法被人察觉。但 JSMA 提出了限制 l_0 范数的方法,即仅改变几个像素的值,而不是扰动整张图像。

5 One Pixel Attack

       这是一种极端的对抗攻击方法,仅改变图像中的一个像素值就可以实现对抗攻击。Su等人使用了差分进化算法,对每个像素进行迭代地修改生成子图像,并与母图像对比,根据选择标准保留攻击效果最好的子图像,实现对抗攻击。这种对抗攻击不需要知道网络参数或梯度的任何信息。

6 DeepFool

       Moosavi-Dezfooli 等人通过迭代计算的方法生成最小规范对抗扰动,将位于分类边界内的图像逐步推到边界外,直到出现错误分类。作者证明他们生成的扰动比 FGSM 更小,同时有相似的欺骗率。

7 Universal Adversarial Perturbations

       诸如 FGSM、ILCM、DeepFool 等方法只能生成单张图像的对抗扰动,而 Universal Adversarial Perturbations 能生成对任何图像实现攻击的扰动,这些扰动同样对人类是几乎不可见的。该论文中使用的方法和 DeepFool 相似,都是用对抗扰动将图像推出分类边界,不过同一个扰动针对的是所有的图像。虽然文中只针对单个网络 ResNet 进行攻击,但已证明这种扰动可以泛化到其它网络上。

8 Carlini and Wagner Attacks (C&W)

       Carlini 和 Wagner 提出了三种对抗攻击方法,通过限制 l_∞、l_2 和 l_0 范数使得扰动无法被察觉。实验证明 defensive distillation 完全无法防御这三种攻击。该算法生成的对抗扰动可以从 unsecured 的网络迁移到 secured 的网络上,从而实现黑箱攻击。

       下图中描述了现有的对抗性实例生成技术对FR系统的一般分类。这些技术主要分为四类,即面向(1)CNN模型;面向(2) 物理攻击;面向  (3) 去标识化;和面向  (4)几何。

不同对抗性攻击生成算法的方向比较如下表所示

对抗能力和特异性属性的不同对抗性攻击的比较如下表所示

       考虑到对抗性示例生成技术的特异性,上表表示大多数攻击方法既是有针对性的,也是非有针对性的。因此,实际上考虑了关于这个属性的泛化。

       随着制作对抗样本的新方法的提出,研究也针对对抗对手,以减轻对手对目标深度网络性能的影响。因此,已经定义了几种防御策略,以提高有风险的FR模型的安全性。

       防御战略的目标一般可分为以下几个部分:

Model architecture preservation(模型架构保存):是构建任何对抗样本的防御技术时考虑的主要考虑因素。为了达到这个目标,应该对模型体系结构进行最小的改动。

2 Accuracy maintenance(精度维护):是考虑保持分类输出几乎不受影响的主要因素。

3 Model speed conservation(模型速度保持):是在大数据集上部署防御技术的测试过程中不应该受到影响的另一个因素。

       防御策略:

       一般来说,对抗攻击的防御策略可以分为三类:(1) 在学习过程中改变训练,例如,在训练数据中注入对抗性样本或在整个测试过程中加入改变的输入,(2) 改变网络,例如,通过改变层数、子网络、损失和激活函数,(3)通过外部网络补充主模型,以便关联以对未可见的样本进行分类。第一类方法中的方法与学习模型无关。然而,另外两类则直接处理NNs本身。“改变”网络和通过外部网络“补充”网络之间的区别在于,前者在训练过程中改变了原始的深度网络架构/参数。同时,后者保持了原始模型的完整,并在测试中将外部模型连接到一起。

针对防御FR系统抵御对抗性攻击的对抗性检测方法的一般分类:

对抗样本检测方法如下表所示:

挑战和讨论:

       虽然在FR领域已经提出和开发了几种对抗样本生成方法和防御策略,但仍需要解决各种问题和挑战。大致分为四组:

1 对抗样本的具体化/规范:研究人员已经提出了几种图像、人脸和特征级的对抗样本生成方法来欺骗FR系统;然而,这些方法对于构建一个广义的对抗实例具有挑战性,只能在某些评估指标中取得良好的性能。这些评估指标主要分为三类:生成对抗样本的成功率,FR模型的鲁棒性,以及攻击的特定属性,如扰动量和可转移性的程度。简单地解释,一个攻击的成功率,被称为最直接和最有效的评估标准,与扰动的大小成反比。FR模型的鲁棒性与分类精度有关。FR模型的设计越好,它就越不容易受到对抗样本的影响。关于攻击的属性,对原始样本的太小的扰动很难构建对抗样本,而太大的扰动很容易被人类的眼睛区分出来。因此,应该实现在构建对抗样本和人类视觉系统之间的平衡。另一方面,在一定的扰动范围内,敌实例的转移率与敌扰动的大小成正比,即原样本的扰动越大,构造的敌样本的转移率越高。考虑到这些事实,在原始图像上需要考虑的扰动量,以及模型架构的设计变得至关重要。

2 FR模型的不稳定性:虽然深度学习FR系统的引入带来了好处,但它增加了这类系统的攻击面。例如,实施基于图像失真的对抗攻击,与应用基于非深度学习的商业现成匹配器相比,观察到的基于深度学习的系统的性能遭受了巨大的损失。因此,人们强烈主张只集成那些能够抵御逃避的架构。前一段已经表达了需要建立稳健的模型来增加对抗性例子的概括性,以及其他影响因素。然而,这一义务被单独强调,以强调它在采取步骤产生更多黑箱攻击时的重要性。在这种情况下,将对开发更稳健的FR模型提出安全担忧。

3 与人类视觉系统的偏差:对视觉系统的对抗攻击利用了这样一个事实,即系统对人类对图像的微小变化很敏感。开发算法,使图像更与人类相似,这将是一个好主意。特别是,那些根据图像的属性而不是根据其像素的强度对图像进行分类的方法可能会变得更加实用。这种方法可以训练分类器识别视觉外观的存在,如性别、种族、年龄和头发颜色,并提取和比较对姿势、光照、表达和其他成像条件不敏感的面部图像的高级视觉特征或特征。

4 图像不可知性的扰动产生:现有的对抗样本生成方法被显著地证明是图像不可知的,并且强烈注意到缺乏针对FR模型的普遍扰动生成。FR模型同时攻击不同目标面的能力将是产生普遍扰动的副产品,这是在这方面进行的许多研究中所关注的一个基本问题。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/52167.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【论文阅读】A statistical analysis based recommender model for heart disease patients

模型主要分为了两个部分 第一个部分是HD_PM 主要是做预测的 第二个部分是SAbHD_RM 主要是做推荐的。 我们主要是对心脏病进行一个疾病预测(四选一),然后进行建议的匹配,这个建议来源于专家建立的知识库。 模型大概分为以下几个部…

《论文阅读》Emotional Chatting Machine: Emotional Conversation Generation with Internal and External Memor

Emotional Chatting Machine: Emotional Conversation Generation with Internal and External Memory 问题提出该问题面临的挑战本文创新点本文难题收获开源代码论文类别:情感对话生成 对话轮次:单轮 本文带来Hao Zhou, Minlie Huang, Tianyang Zhang, Xiaoyan Zhu, Bing …

【论文阅读】A survey on adversarial attacks and defences

文章目录 引入机器学习和对抗模型的一些定义The attack surfaceThe adversarial capabilities训练阶段的能力测试阶段的能力白盒攻击黑盒攻击 Adversarial goals EXPLORATORY ATTACKS探索性攻击Model inversion attack模型反演攻击Model extraction using APIsInference attack…

情感支撑对话论文最近进展 Emotion Support Conversation

这一篇博客主要分析一下,目前在情感支撑,也就是心理咨询这个场景下面相关论文的一些最新情况,论文的链接以及主要的思想。后续会具体的来介绍每一篇文章的动机,方案,实验结果。 1、Esconv: Towards Emoti…

分享品牌取名的4个好用技巧,AI免费生成品牌名称工具

品牌名称在现代商业中起着至关重要的作用,一个好的品牌名称不仅可以节省营销成本,还有可能对品牌的发展前景产生影响,那么究竟什么样的品牌名称才算是好的呢?今天就给大家介绍4个品牌取名的小技巧,全是干货&#xff0c…

使用企业微信发送应用消息API实现消息推送

参考官方文档: 发送应用消息、调试工具、简易教程 先看完整代码及效果展示,然后具体分析 import requests import json# 1,获取access_token url "https://qyapi.weixin.qq.com/cgi-bin/gettoken?corpid{0}&corpsecret{1}".f…

微信企业号获取关注者信息示例

1、序言 接到个客户的需要,需要在微信企业号中,用户点击里面应用,去获取用户的信息。简单的制作了个demo,进行记录。 2、准备工作 1、首先,获取登录企业后台的权限,创建者把你加入到管理员组即可。 2、获取…

【微信公众号】关注消息回调

微信公众平台设置 1.【基本设置】回调url路径 2.公众号基础设置 3.代码体现 public function wxCallback(Request $request) { $app app(‘wechat.official_account.default’); $accessToken $app->access_token->getToken()[‘access_token’]; // //设置菜单 $…

LLMs:大型语言模型进化树结构图之模型(BERT-style/GPT-style)、数据(预训练数据/微调数据/测试数据)、NLP任务(五大任务+效率+可信度+基准指令调优+对齐)、三大类模型的使用

LLMs:大型语言模型进化树结构图之模型(BERT-style/GPT-style)、数据(预训练数据/微调数据/测试数据)、NLP任务(五大任务效率可信度基准指令调优对齐)、三大类模型的使用和限制(Encoder-only、Encoder-Decoder、Decoder-only) 目录 大型语言模型进化树结构图之模型(…

1024 鲲鹏开发者技术沙龙·福州站圆满收官!给程序员的福利你收到了吗?

10月24日,由华为技术有限公司与福建鲲鹏生态创新中心联合主办的“1024鲲鹏开发者技术沙龙”在福州顺利举行。 在沙龙上,来自福建鲲鹏生态创新中心运营总监宋宗佑为活动进行致辞,福建鲲鹏生态创新中心生态总监朱晓彤对鲲鹏生态创业中心进行介绍…

HighNewTech:18.11.07—第五届世界互联网大会—互联网届的奥斯卡大奖—15张PPT见证15项世界互联网领先科技成果

High&NewTech:18.11.07—第五届世界互联网大会—互联网届的奥斯卡大奖—15张PPT见证15项世界互联网领先科技成果 目录 现场图片 1、马化腾:微信小程序商业模式创新 2、阎力大:华为昇腾310芯片 3、井贤栋:蚂蚁金服自主可控…

2019,你不知道的大厂薪酬

https://www.toutiao.com/a6707464019306873347/ 本文原创首发于“青创联Young Star”公众号,转载请注明出处。 文 | T.K 田卡 编辑 | 晓彤 ▲ BAT三科技巨头创始人,图/IT时代周刊 香港媒体《世界日报》近日发了一篇题为《香港“打工皇帝”恐被腾讯刘炽…

AS 导入Eclipse项目报错:Error: java.lang.RuntimeException: Some file crunching failed, see logs for details

错误原因: AS对.9图的要求很严格,但是Eclipse会直接忽视.9图的错误. 解决方案: 打开Gradle Console 窗口查看是哪个.9图有问题.以及问题的原因. 问题原因通常是.9图没有制作好,或者是不应该是.9图却命名成.9图. 要么用AS自带的.9图编辑器修正一下图片,要么把…

马斯克被曝摆架子/ 朱晓彤卸任特斯拉中国法人/ 苹果M2Pro首发台积电3nm...今日更多新鲜事在此...

日报君 发自 凹非寺量子位 | 公众号 QbitAI 大家好!今天是12月28日星期三。 2022年最后一个打工周已过半。 今天科技圈都在关心什么新鲜事? 一起来看看。 微念与李子柒和解 12月27日,微念官方公号发布信息: 微念与李子柒在绵阳市中…

巴比特 | 元宇宙每日必读:生成式AI会对下一代互联网产生怎样的影响?GPT会成为AI时代的操作系统吗?元宇宙又该何去何从?...

摘要:据澎湃新闻报道,3月30日,在博鳌亚洲论坛2023年年会“下一代互联网”论坛上,腾讯集团高级执行副总裁汤道生认为,下一代互联网具有三大基本趋势,分别是AI驱动、全真互联网以及产业互联网;诺基…

2023智源大会议程公开 | 大模型新基建与智力运营论坛

6月9日,2023北京智源大会,将邀请这一领域的探索者、实践者、以及关心智能科学的每个人,共同拉开未来舞台的帷幕,你准备好了吗?与会知名嘉宾包括,图灵奖得主Yann LeCun、OpenAI创始人Sam Altman、图灵奖得主…

google cloud 自动续费或扣费问题处理-使用了其它功能.坑

近两个月老是收到google cloud的账单,肉疼,发现没有ES实例,之前没有留意其它的信息和扣费账单信息.导致多扣了两个月. 发现是自己可以之前玩了下google cloud的sql-mysql和外部IP地址等 没有及时删除导致,不知道是收费项目. 今天去google付款中心去核对了才发现是mysql实例产…

2020年apple developer如何续费

2020年apple developer如何续费 今年续费发现需要安装apple developer app完成身份认证后才能进行续费。 收到到期提醒 image.png 下载Apple Developer应用 完成身份验证 请注意,您可能需要把iphone或ipad升级到最新版,不然找不到这个应用 完成验证后&…