源自：电子与信息学报

作者：刘伟权  郑世均  郭宇  王程

注：若出现无法显示完全的情况，可 V  搜索“人工智能技术与咨询”查看完整文章

摘 要

当前，人工智能系统在诸多领域都取得了巨大的成功，其中深度学习技术发挥了关键作用。然而，尽管深度神经网络具有强大的推理识别能力，但是依然容易受到对抗样本的攻击，表现出了脆弱性。对抗样本是经过特殊设计的输入数据，能够攻击并误导深度学习模型的输出。随着激光雷达等3维传感器的快速发展，使用深度学习技术解决3维领域的各种智能任务也越来越受到重视。采用深度学习技术处理3维点云数据的人工智能系统的安全性和鲁棒性至关重要，如基于深度学习的自动驾驶3维目标检测与识别技术。为了分析3维点云对抗样本对深度神经网络的攻击方式，揭示3维对抗样本对深度神经网络的干扰机制，该文总结了基于3维点云深度神经网络模型的对抗攻击方法的研究进展。首先，介绍了对抗攻击的基本原理和实现方法，然后，总结并分析了3维点云的数字域对抗攻击和物理域对抗攻击，最后，讨论了3维点云对抗攻击面临的挑战和未来的研究方向。

关键词

对抗攻击 / 深度学习 / 3维点云 / 对抗样本 

1.   引言

近年来，随着计算能力的快速提升，深度学习技术取得了显著的发展，其有效地解决了诸多的2维和3维领域的智能任务，在分类任务[1,2]、语义分割[3,4]、目标检测与识别[5,6]等方面取得了令人瞩目的成就。基于深度学习技术的人工智能系统，例如自动驾驶系统，直接依赖于神经网络模型的性能。然而，以往的研究[7,8]发现，深度神经网络模型容易受到对抗样本的恶意攻击，从而导致模型产生错误的识别结果。对抗样本是经过特殊设计的输入数据，能够攻击并误导深度学习模型的输出。这种对抗攻击往往是人类通过视觉无法察觉的，攻击者通过对良性样本进行细微的扰动可以生成高质量的对抗样本。此外，除了存在于数字域和仿真域中的对抗攻击研究之外，随着人工智能系统在生活中的普及，在物理世界中也存在着相应的对抗样本，这对以深度学习技术为基础的人工智能应用系统造成了重大的安全隐患[9]。如果神经网络模型受到对抗样本的攻击，人工智能系统的识别与跟踪等功能将无法正常工作，将对系统的实际应用产生巨大的安全风险。原始点云和对抗点云示例如图1所示，灰色的点表示目标物体原始未移动过的点，红色的点表示按照某种特定攻击手段移动过的点。

图 1  原始点云和对抗点云示例

攻击者通过对良性样本添加人类视觉难以察觉的噪声，生成的样本能够导致神经网络模型产生错误的预测结果，生成的样本称为对抗样本，这种现象称为对抗攻击。通常，对抗攻击可以简单地分为两大类：白盒攻击和黑盒攻击。在白盒攻击过程中，攻击者可以获取神经网络模型的所有信息，包括网络模型的结构和参数，输入和输出结果等。在黑盒攻击过程中，攻击者只能依靠查询方式，获取网络模型在某一输入的条件下对应的输出结果，在整个攻击过程中，网络模型的结构和参数对攻击者不可见。

对抗攻击最早在图像中应用，Szegedy等人[7]首次发现了对抗样本能够导致神经网络模型产生错误的分类结果。随着3维深度网络模型的发展，研究者借鉴图像对抗攻击方法并扩展至3维点云。因此，在近年来3维点云对抗攻击研究取得了显著的成果。例如基于梯度符号的攻击[10]、基于Carlini和Wagner(C&W)的3维对抗攻击(图1中的AL-Adv方法)[11]、基于频率域的攻击[12]、基于生成对抗网络GAN的攻击[13]等。

在3维网络模型中，训练和测试的样本往往都是良性的，这也导致了模型在识别对抗样本时容易出错。因此，把生成的对抗样本加入训练数据集中，使得模型训练时也同时学习对抗样本。这种对抗训练方式可以有效应对对抗样本的攻击，从而增强网络模型的鲁棒性。此外，由于对抗样本会对深度神经网络模型产生严重的安全隐患，这将阻碍深度神经网络模型在现实世界中的实际部署与应用。因此，基于深度学习技术的人工智能系统的鲁棒性和安全性引起了更多的关注，尤其是人工智能系统在现实世界中的应用，例如自动驾驶、军事目标伪装等实际应用。

本文总结并分析了基于3维点云目标识别对抗攻击的最前沿研究成果。该文余下的章节内容安排如下：第2节介绍对抗攻击的基本理论知识；第3节详细介绍数字域的3维点云对抗攻击方法；第4节详细介绍物理域的3维点云对抗攻击方法；第5节讨论本文作者对3维对抗攻击领域的见解；第6节对本文进行总结。

2.   对抗攻击的基本理论

2.1   图像对抗攻击方法

在图像对抗攻击方面，研究人员深入探索了如何寻找对抗样本，并取得了丰富的成果。Szegedy等人[7]发现图像分类模型中的对抗样本会误导预测结果，提出了一种基于LP范数优化的对抗样本生成方法。随后，研究人员提出了许多经典的对抗攻击方法，主要分为白盒攻击和黑盒攻击两大类。例如，快速梯度符号法(Fast Gradient Sign Method, FGSM)是一种经典的梯度攻击方法，它沿着对抗性损失函数的梯度方向生成对抗样本。Kurakin等人[14]迭代地执行FGSM方法，并裁剪每次迭代生成的对抗样本，使其保持在有效范围内。Dong等人[15]在迭代FGSM方法的过程中引入动量来更新对抗样例，生成的对抗样本具有更强的迁移能力。

2.2   3维点云深度神经网络模型

随着3维数据的采集方式更加便捷，以及3维点云的广泛应用，3维神经网络模型的鲁棒性和安全性受到更多的关注。3维点云是3维数据的一种重要表示形式，它包含了物体表面的点的3维(3D)坐标信息，广泛应用于各个领域，如目标分类、目标识别与跟踪、目标分割等视觉任务。由于点云数据是无序的，深度学习技术直接应用于点云变得困难。PointNet[16]是首个直接处理原始点云的神经网络模型，它直接提取原始点云中的点集特征，实现了目标分类和语义分割任务，取得了良好的性能。虽然PointNet网络解决了点云无序性的问题，但是没有考虑到点云的局部特征。为此，PointNet++[17]将点集划分为不同的区域，然后使用特征提取器提取不同区域的局部特征，使得模型具有更强的特征提取能力和泛化能力。DGCNN[18]是一种能够使用卷积网络的3维模型，它能够有效地提取点云的局部领域特征，建立点与点之间的拓扑关系，并且实现了一种动态更新的图模型。这些3维点云分类模型是3维对抗攻击研究的主要网络模型。

在真实世界的对抗攻击中，通常是通过欺骗3维目标检测模型来实现攻击。3维点云目标检测模型主要可以分为1阶段和2阶段两种类型。1阶段的3维目标检测模型主要包括PointPillars[19], 3DSSD[20]和SA-SSD[21]等。例如，PointPillars是一种基于点和体素的3维网络模型，它将输入点云在x-y坐标系上划分为不同的网格，建立起簇柱，然后使用PointNet[16]网络进行特征提取。2阶段的3维目标检测模型包括CenterPoint[22], PVRCNN[23]和PV-RCNN++[24]等。CenterPoint第1阶段使用关键点检测器检测目标物体的检测框中心，并对检测框的尺寸、方向和速度进行回归。第2阶段则设计了一种记忆细化模块，用于对第1阶段产生的检测框使用额外的点特征来细化。

2.3   对抗攻击的定义和符号

根据目标物体是否被攻击为特定的类别，对抗攻击可以分为目标攻击和无目标攻击。在目标攻击中，生成的对抗样本使得神经网络模型错误地预测为指定的类别。无目标攻击中，只要求对抗样本成功攻击神经网络模型使其预测错误，且对抗样本的类别和原始样本的类别不同即可。

对于无目标攻击，假设3维神经网络模型为f ，对于一个包含n 个点的点云x∈Rn×3 ，它的真实标签是y ，网络模型𝑓能够正确预测点云x ，即f(x)=y 。攻击者的目标是寻找到一个点云x′ ，使得神经网络模型f 的预测结果出错，即f(x′)≠y 。此外，在生成x′ 的过程中，应该尽可能地保证原始点云x 和x′ 之间足够相似。这样的点云x′ 称为对抗样本，可以表示为

其中，D表示原始点云x 和对抗点云x′ 之间的扰动指标，例如距离指标。通过最小化指标 D 迫使生成的对抗点云更加接近原始点云。D 的值越小说明原始点云 x 和对抗点云x′ 之间越相似，在视觉上更加难以区分。

2.4   3维点云对抗攻击的评价指标

对抗攻击的目标是生成高质量的对抗样本，评价生成的对抗样本的指标通常包括攻击成功率、距离指标、生成对抗样本时扰动的点的数量，对抗样本的迁移能力等，详细描述如下：

攻击成功率。攻击成功率衡量了对抗样本对网络模型的攻击能力。攻击成功率越高说明对抗样本对网络模型的危害越大。对抗攻击总是追求生成攻击成功率高的对抗样本。

距离指标。距离指标衡量了原始点云和对抗点云之间的相似程度，常用的距离指标主要包括L2 距离、Chamfer距离、Hausdorff距离。生成的对抗样本的距离指标越小，表示其不可感知性越好，人类视觉越难以察觉。反之，距离指标越大，生成的对抗样本的不可感知性越差，容易产生明显的离群点，不但会产生明显的视觉差异，还容易使用统计学方法进行防御。

对于一个n 维向量w=(w1,w2,⋯,wn)，其L2 距离的定义可以表示为

通常，Chamfer距离和Hausdorff距离的计算方法分别可以表示为

其中，x 为原始点云，n 是该点云的点的数量。x′ 表示对抗点云，n′ 表示该点云的点的数量。

扰动的点的数量。被扰动的点的数量衡量了生成对抗样本的生成代价，也称为扰动代价。在对抗攻击过程中，扰动更少的点，使生成对抗样本以保证更低的生成代价。在生成具有相同的攻击能力的对抗样本时，扰动的点的数量越少表示生成对抗样本的生成代价越低，同时表明了对抗样本生成算法更优秀。

迁移能力。对抗样本的迁移能力是指基于某一特定神经网络模型生成对抗样本，并使用这些对抗样本攻击其他神经网络模型的攻击成功率。迁移能力表示了对抗样本对于不同神经网络模型的攻击泛化能力。

对于3维点云，攻击成功率和不可感知性是生成对抗点云的主要衡量指标。攻击者往往期望在扰动最少的点的数量情况下，生成具有更高攻击成功率和更好不可感知性的对抗样本，同时保证对抗样本具有更好的迁移能力。现有的对抗攻击方法总是能获得较高的攻击成功率，但是由于3维点云的结构复杂性，在对抗攻击过程中通常综合考虑和平衡多个评价指标以获得高质量的对抗样本。例如，距离指标和攻击成功率之间存在权衡，因为随着距离度量值的减小，对抗攻击可能难以获得更高的攻击成功率；相反，如果距离度量值增大，神经网络模型可能更容易受到对抗攻击。在多个评价指标之间寻找适当的平衡是一项具有挑战性的任务。

2.5   3维点云对抗攻击的数据集

用于对抗攻击实验的常用数据集主要包括两类，第1类是用于3维点云分类的数据集，例如ModelNet40[25], ShapeNet Part[26], ScanObjectNN[27]，该类数据集针对3维网络模型分类。其中数据集ModelNet40和ShapeNet是在合成物体上通过采样方式获得点云数据，这些点云分布均匀且无噪声污染。ScanObjectNN则是在真实场景下使用激光雷达采集的物体的点云，包含物体本身和背景，数据真实且较为复杂。第2类是用于3维点云目标识别的数据集，例如KITTI[28], NuScenes[29], Waymo[30]，这些数据集都是在真实场景下使用激光雷达采集的大规模点云数据集，采集环境主要为城市街区，数据量大且环境复杂。各个数据集的类型和特点如表1所示。

表 1  3维点云对抗攻击的数据集   

3.   数字域对抗攻击

目前，对抗性样本的研究主要聚焦于图像领域，但是近年来，随着3维数据例如点云的广泛应用，3维对抗样本也成为一个热门研究课题。在3维领域，数字域的对抗攻击是主要的研究方向。图2展示了数字域3维点云对抗攻击示例，其通过将原始点云数据的特定点(蓝色点)扰动至新的位置(棕色点)实现对抗。目前，主流的部分3维点云对抗攻击方法是在2维图像对抗攻击方法上扩展而来的。由于3维点云数据和2维图像存在明显的差别，将基于图像的对抗攻击方法扩展到3维点云总是面临着挑战。此外，有些3维对抗攻击方法是针对点云数据而设计的，它们更加适合点云和3维网络模型的特性。数字域对抗攻击通常针对3维点云分类模型，并在数据集ModelNet40[25], ShapeNet Part[26]和ScanObjectNN[27]等上进行性能评价。本节总结和分析了常见的数字域的3维点云对抗攻击方法，将这些方法大致划分为如下几类：(1) 基于梯度信息的对抗攻击；(2) 基于优化方法的对抗攻击；(3) 最小生成代价的对抗攻击；(4) 基于图谱域的对抗攻击；(5) 其他类型的对抗攻击。每种类别的3维点云对抗攻击方法的描述和实现细节具体如下。

图 2  数字域3维点云对抗攻击示例图[12]

3.1   基于梯度信息的对抗攻击

使用梯度信息实现对网络模型的对抗攻击是现有方法的主要实现方式。快速梯度符号(Fast Gradient Sign Method, FGSM)攻击是Goodfellow等人[31]提出的一种图像对抗攻击方法，该方法沿着对抗损失函数的梯度方向更新可以快速生成对抗样本，是对抗攻击领域的一种典型方法。快速梯度符号攻击可以表示为

其中，x 表示原始样本，其标签类别为y , x′ 为生成的对抗样本。sign 为符号函数，ε 为扰动大小，J(θ,x,y)是对抗损失函数，θ 表示神经网络模型的参数。快速梯度符号是典型的一步攻击方法，通过不断在对抗损失函数的梯度方向迭代更新的方法称为迭代快速梯度符号(Iterative Fast Gradient Sign Method, IFGSM)法。

基于快速梯度符号的思想，研究者将其扩展到了3维点云对抗攻击，并取得了良好的应用成果。例如，Liu等人[10]将快速梯度符号扩展至3维点云，并在不同的维度上限制扰动大小进而提高对抗样本的不可感知性。然后在3维点云分类模型上对生成的对抗样本进行了性能验证，同时利用防御算法检验对抗样本的攻击性能。Yang等人[32]开发了一种灵活的3维点云扰动方案，共包括3种攻击方法。主要攻击方法是逐点的梯度攻击方法，对抗点云是由每个点上的微小扰动产生的，取得了很高的成功率，但由于在每个点上都增加了扰动，在实际应用中是很难实现的。此外，在攻击过程中使用Chamfer距离作为约束条件保证了生成的对抗样本具有更好的几何特性。

投影梯度下降(Projected Gradient Descent, PGD)[33]方法作为2维图像中最具有代表性的攻击方法，研究者将该方法扩展到了3维点云的对抗攻击领域。通常，迭代快速梯度符号(IFGSM)也被认为是一种投影梯度下降方法。Liu 等人[34]探索了两种类型的攻击，一种是涉及点分布的不可感知性的分布攻击，另一种是涉及点云形状变形的形状攻击。其中分布攻击也是一种投影梯度下降方法，该方法使用Hausdorff距离作为距离约束生成对抗样本。Ma 等人[35]提出了一种基于联合梯度的对抗攻击方法(Joint Gradient Based Attack, JGBA)，将使用统计异常值去除(Statistical Outlier Removal, SOR)防御算法处理后的对抗样本的损失也加入目标函数并调整了正则项，以期在不产生明显离群点的前提下，将对抗样本和经过处理的对抗样本同时逼近分类器的决策边界。由于统计异常值去除方法引入了一个不可微的优化问题，Ma 等人[35]通过引入统计异常值去除方法的线性逼近以克服这个问题，并成功地计算了联合梯度。该对抗攻击方法在突破统计异常值去除和防御算法的多项测评中都取得了当时的最好效果。

利用梯度信息计算点云中每个点对3维网络模型的预测结果的重要程度，可以建立点云的显著图。显著图也是实现3维对抗攻击的一种重要工具，其中越显著的点表示了对模型预测结果越重要，这种显著点也称为关键点。Zheng等人[36]使用梯度信息计算点云的关键点和关键子集，以建立点云显著图。该方法为每个点分配一个得分，反映其对模型识别损失的贡献，这些显著值明确地解释了哪些点是模型识别的关键。此外，显著值高的点组合成为关键子集。基于显著图，Zheng等人[36]实现了关键点删除和关键子集删除两种攻击方法，给点云对抗攻击提供了重要的思路。由于点的删除操作是不可微的，其将要删除的点移动到点云质心以近似点删除操作。

3.2   基于优化方法的对抗攻击

将对抗样本生成当作一个优化问题，通过设计目标函数，使用扰动约束，以找到最小的扰动，获得更高攻击成功率和更好不可感知性的对抗样本。这种对抗攻击方法对3维对抗学习的发展非常具有启发性。Carlini和Wagner [37]在图像对抗攻击中提出了一种基于优化的对抗攻击方法C&W，该方法通过优化对抗损失，使用不同的距离约束，如L0范数约束、L1范数约束和L∞范数约束生成不同的对抗样本。Xiang 等人[38]首次对3维点云上的对抗攻击做了广泛的研究，并将C&W攻击方法扩展到了3维点云对抗攻击。作者探索了点扰动、增加对抗点、增加点簇和增加物体4种不同攻击方式，并提出了针对点云距离、点云特征、扰动程度等共计6种不同的度量。该对抗攻击方法在未做防御措施的PointNet上的多个测试中达到了97%甚至100%的成功率。该工作揭示了3维点云领域中深度神经网络的脆弱性并为后来的工作提供了基线。

Wen等人[39]指出，由于人类对3D形状的感知和对2D图形的感知存在差异，直接扩展图像对抗攻击中使用正则项约束扰动大小的方法并不能保证对抗样本达到不被感知的目的。因此，其设计了一种局部曲率一致性的度量，从几何感知的角度来刻画点云的相似性，提出基于几何感知的攻击方法GeoA3，该方法生成的对抗点云具有良好的表面几何性质，难以被人类视觉感知。此外，他们还进一步设计了Geo+A3使生成的对抗点云可以抵御常见的防御算法。Tsai 等人[40]首次将点云对抗攻击应用到现实世界中。他们设计了一种k近邻(k-NearestNeighbor, kNN) 距离的度量指标来评估生成的对抗样本的表面光滑性，通过在目标函数中引入这一设计以减少离群点的存在，即可以绕过点移除防御算法又便于曲面重建。实验证明通过 3D 打印曲面得到的对抗物体仍具有较好的对抗性。Zheng等人[11]使用Chamfer距离和Hausdorff距离来约束对抗点云的生成，并应用C&W算法优化对抗损失，在扰动少量的点的情况下，能够生成高攻击成功率和不可感知的对抗点云。

3.3   最小生成代价的对抗攻击

对抗攻击方法往往能够有效攻击神经网络模型，取得高攻击成功率，并使用相应的损失约束用于提升对抗样本的不可感知性。然而，大多数的对抗攻击方法并没有考虑对抗样本的生成代价，而是更多地关注攻击成功率和不可感知性。因此，如何在最小生成代价下生成更高攻击成功率和不可感知性的对抗样本引起了研究者的兴趣。例如，Kim等人[41]提出了一个统一的对抗点云生成公式，适用两种不同的攻击策略，包括扰动点攻击，增加对抗点的攻击。该方法通过攻击3维点云分类模型以生成对抗样本，同时考虑对抗样本的不可感知性并确保最小程度的点的操作。该方法为了保持最小的生成代价，在对抗损失中增加了操作的点的数量约束项。同时，使用Chamfer距离和Hausdorff距离作为不可感知的约束项，促使对抗样本和原始样本之间的相似性。该方法在合成数据和真实数据上都验证了该最小代价的对抗攻击方法的有效性。

Arya等人[42]通过限制可扰动点的数量和扰动程度来控制对抗样本的生成代价。但该限制使得寻找最优解变得更加困难，因此他们提出了一种学习率调度算法以避免陷入局部最大值，让学习率随着迭代次数增加而降低。这种可变步长攻击可以通过少量的迭代来实现成功的攻击，并具有快速完成难以察觉的攻击的能力。Zhao等人[43]提出的微动攻击(Nudge attack)放宽了对扰动程度的限制，探讨了无限制的可扰动点的数量的干扰能力。该方法改变整个输入点云中的几个点甚至单个点，在生成目标对抗点云和非目标对抗点云方面都是有效的。作者提出了基于梯度和基于决策的两种对抗攻击方法，展示了它们在白盒和灰盒场景中的有效性。同时，该方法具有良好的可迁移性，有在黑盒场景下应用的潜力。Yang等人[32]提出了一种添加点的对抗攻击方法，通过Chamfer距离控制增加点与原始点云之间的距离，同时使用硬边界约束控制添加的点的数量。该方法在每次迭代时保持原始点云不动，让增加的点在原始点云的表面移动。

Tan等人[44]基于神经网络可解释性理论提出了两种对抗攻击方法，分别是单点攻击和临界点移动攻击。作者使用神经网络可解释性方法构建3维点云的显著图，并对显著图进行排序，选择贡献值最大的前n个点作为临界点。单点攻击则选择贡献值最大的一个点，通过迭代优化的方式移动该点实现攻击。临界点移动攻击从攻击点的数量为1开始，根据点的贡献值依次选择贡献值大的点加入攻击的点的集合，直到攻击成功或者全局攻击失败。该方法扰动最少的点完成了对网络模型的对抗攻击，但是生成的对抗点云会存在比较明显的离群点。Shi 等人[45]提出的形状先验指导攻击(Shape Prior Guided Attack, SPGA)是一种结合形状先验引导和稀疏扰动的攻击方法，为了利用稀疏化带来的潜在加速能力，作者提出一种快速优化算法FOFA 来优化这类任务，因此该方法在生成代价和生成时间上都具有较大优势。

然而，现有的对抗攻击方法总是通过扰动整个点云来获得3维对抗性样本，这忽略了对抗样本在物理世界中的可实现性。为此，Zheng等人[11]提出了一种显著区域的对抗攻击方法用于生成对抗点云，这是3维点云领域首次实现的基于局部区域的对抗攻击方法。该方法基于博弈论思想提取点云的显著区域，用以衡量不同的区域对模型预测结果的重要程度，实现模型的脆弱性分析。然后，其提出了一种基于优化的梯度攻击算法，实现对显著区域的对抗性攻击。实验结果表明，在攻击点云的相同区域时，该方法通过扰动更少的点可以获得更高的攻击成功率和更好的不可感知性。此外，由于是针对局部区域的对抗攻击，该方法生成的对抗点云在物理世界中具有一定的可实现性。

3.4   基于图谱域的对抗攻击

目前大部分3维点云对抗攻击方法生成的对抗点云具有较弱的迁移能力，且易于防御。部分研究表明，在频率域完成对抗攻击可以提高对抗样本的迁移能力，并且对对抗防御算法更具鲁棒性。基于频率域的对抗攻击逐渐受到研究者的关注，为3维对抗攻击提供了一种新颖的视角。

Liu等人[46]提出了一种新的频率域的3维点云对抗攻击方法，该方法主要聚焦于低频分量来生成对抗样本。具体地，该方法将整个点云的对抗损失与其低频分量相结合，对点云的低频分量进行优化。实验结果证明，基于低频分量生成的对抗点云具有更强的迁移能力，同时在不同的对抗防御算法下具有更好的鲁棒性。虽然这种方法生成的对抗点云不会产生明显的离群点，但是其几何形状容易扭曲变形。Liu等人[47]认为现有的对抗攻击方法对3维点云的数据空间进行逐点扰动，可能会忽略几何特征。因此提出了一种基于图谱域的3维点云扰动攻击方法。该方法使用图傅里叶变换(Graph Fourier Transformation, GFT)自适应地将点的坐标变换到谱域上，并使用可学习的图谱滤波器在谱域中进行扰动攻击。考虑到低频分量主要影响3维物体的基本形状，该方法进一步引入低频约束来限制难以察觉的高频分量的扰动，生成的对抗样本可以良好地保留几何特征，且具有高攻击成功率。Hu等人[12]提出了一种新的点云攻击范式，即图谱域攻击(Graph Spectral Domain Attacks, GSDA)，通过扰动图谱域中对应于不同几何结构的变换系数来生成对抗样本，如图3所示。该方法首先通过图傅里叶变换自适应地将点的坐标变换到图谱域，然后提出了一种基于能量约束损失函数的可学习的图傅里叶变换系数的扰动方法。最后通过图傅里叶逆变换(Inverse Graph Fourier Transform, IGFT)将扰动后的频谱表示变换回数据域生成对抗点云。这种方法有效地证明了对抗点云的不可感知性和攻击性能以及对三网络模型的鲁棒性。

图 3  图谱域的3维点云对抗攻击[12]

Tao等人[48]使用了一种更有挑战性的对抗攻击方式，即基于决策的黑盒攻击，这种攻击方式只允许攻击者查询神经网络模型并返回预测标签。为此，作者提出了一种新的对抗攻击方式，即3维硬标签攻击(3DHacker)，该方法在只有类标签知识的情况下使用决策边界算法来生成对抗样本。为了构建类感知模型决策边界，3DHacker首先在谱域中随机融合两个不同类别的点云，生成具有高度不可感知性的中间样本，然后通过二分搜索将其投影到决策边界上。为了限制最终扰动的大小，3DHacker进一步引入了一种迭代优化策略，将中间样本沿着决策边界移动，以产生具有最小扰动的对抗点云。该方法是首次在3维点云上实现基于决策的黑盒攻击，为后续的研究提供了思路。

3.5   其他类型的对抗攻击

通常，在3维点云的数字域对抗攻击方法中常用的攻击方式是在原始点云上通过扰动点[38]、增加独立的点或者聚类以及物体[38]、删除点[36]。除了以上讨论的对抗攻击方法，还包括一些其他类型的攻击方法。例如Huang等人[49]认为3维点云是一种高度结构化的数据，难以使用简单的约束来限制扰动。因此，该方法(图1中的SI-Adv方法)通过坐标系转换将原始点云变换到新的坐标系下，攻击时在切平面内限制点的移动。此外，该方法会在新的坐标系下使用梯度来寻找最佳的攻击方向并构建一个点云的显著性图。Liu等人[50]从两个角度研究了3维点云对抗攻击，提出了一种难以察觉的迁移攻击(Imperceptible Transfer Attack, ITA)。首先是不可感知性角度，对抗扰动方式是约束被扰动的点沿着其邻域表面的法向量移动，以保持原始点云的几何属性。其次是对抗迁移角度，该迁移攻击方法引入了一个可学习的变换模型，并将其集成到白盒目标模型中，以对抗学习的方式生成最有攻击性的对抗样本，这使得当对抗样本迁移到未知黑盒模型时仍能起到对抗作用。

Hamdi等人[51]针对对抗样本在网络模型之间的迁移能力不足的问题，提出了一种数据驱动的3维对抗攻击方法。为此，作者开发了一种新的点云攻击方法AdvPC，该方法引入了一种数据对抗损失，生成的对抗样本保持了高度迁移能力。Zhou等人[13]提出了基于生成模型的3维点云对抗攻击方法，首先提取输入点云的层次特征，然后使用标签编码器将指定的标签信息合并到多个中间特征中。最后，将编码后的特征输入坐标重构解码器生成目标对抗样本。该方法不仅运行速度快而且生成的对抗样本具有高攻击成功率，同时能够避免产生明显的离群点。Tang等人[52]提出了一种3维点云法线攻击方法，该方法设计了一个形变引导模块将扰动限制在法线方向，这样使用微小的扰动就可以使点云的形状发生改变。同时，设计了一个曲率感知模块将扰动更多地集中在曲率较大的区域，因此法线方向的扰动就可以隐藏在曲率大的区域中。实验证明该方法在成功率和执行效率方面都达到了最优结果。

4.   物理域对抗攻击

目前，在3维点云领域，数字域对抗攻击是主要的研究方向，对物理世界的对抗攻击研究较少。现实世界中的对抗性攻击总体上可以分为3种类型，(1)基于真实场景中扫描的点云数据实施对抗攻击；(2)真实世界中的物理可实现对抗攻击。

(1)基于真实场景中扫描的点云数据实施对抗性攻击。该类型的物理域对抗攻击主要是基于真实场景的大规模3维点云数据集，例如KITTI[28],NuScenes[29]和Waymo[30]等，聚焦于欺骗与误导3维点云目标检测模型的识别结果。例如Tu等人[53]提出了一种对抗性攻击方法，以生成不同几何形状的对抗性物体。将这些对抗性物体放置在汽车点云的顶部可以欺骗激光雷达，导致3维目标识别模型无法检测到汽车。此外，作者认为攻击者可以3D打印对抗性物体网格并将其放置在任何车辆上，使其“隐形”，而无需事先了解现场情况。这种攻击会持续导致目标车辆消失，严重阻碍自动驾驶系统的下游任务，如图4所示。同样的，Abdelfattah等人[54]针对在自动驾驶系统中使用的两种多模态感知系统：独立使用每个模态的模型和同时使用多个模态的模型，提出了一种通用的、物理上可实现的对抗性攻击，并研究和对比了它们各自的攻击漏洞。该方法使用一个具有特定形状和纹理的单一对抗性物体放在一辆汽车的顶部，使得这辆汽车无法被检测识别。在KITTI基准上进行评估时，所提出的攻击方法可以使汽车在超过50%的时间内成功地逃避目标识别模型的检测。

图 4  道路场景下的物理域对抗攻击[53]

(2)真实世界中的物理可实现对抗攻击。该类型的物理域对抗攻击更关注在真实世界中对抗样本的可实现性。目前真实世界的物理可实现对抗攻击总体上有两种实现方式，第一种物理可实现方式是通过数字仿真生成攻击成功率高的高质量对抗样例，然后利用3D打印技术重建现实世界中的对抗性物体。例如，Wen等人[39]首先使用基于几何感知约束的对抗攻击方法生成对抗点云，并将对抗点云转换为网格表示形式。然后利用3D打印技术打印网格物体，即可在现实世界中构建真实的对抗物体。最后，将打印出来的对抗物体重新扫描成点云，以测试对抗物体表面形状对3维网络模型的识别性能。考虑到3维物体的几何特性和物理变换的不变性，Miao 等人[55]提出了一种ε 等距攻击方法，在物理世界中生成自然且鲁棒的3维对抗样本。作者从理论上证明了高斯曲率曲率可以提供一个充分条件以保证两个表面是ε𝜀等距的，通过将高斯曲率引入正则项可以使得生成的物体更为自然。另外，为了使生成的对抗物在不同的物理变换下保持对抗性，作者进一步提出了 MaxOT 算法主动搜索危害性最大的变换，增强对抗物体对物理变换的鲁棒性。在真实世界中的对抗攻击实验表明，该攻击方法生成的对抗样本通过3D打印后物体表面光滑自然，可以被扫描仪正确扫描，保持对抗效果。

Cao等人[9]研究了面向多传感器的自动驾驶系统的安全问题，并将对抗攻击当作一种优化问题。为此，作者提出了一种新的攻击方法MSF-ADV，以生成能够误导自动驾驶系统的物理可实现的、具有对抗性的3D打印物体，如图5所示。在真实世界中使用产业级的自动驾驶系统对攻击算法进行了评估，实现了超过90%的成功率，同时具有隐身性、鲁棒性、可迁移性和物理世界可实现性。在仿真实验中，攻击算法使得车辆撞击到障碍物的概率高达到100%。Yang等人[56]针对深度学习模型实现对抗攻击，通过生成物理世界中可制造的3维物体，当激光雷达扫描到这种物体时会创建对抗点云，然后误导深度神经网络模型。为了能够在物理世界中重构对抗点云，需要在数字域生成对抗点云时建立其对应的网格表示，然后再使用3D打印技术打印这些网格物体。该对抗攻击算法在数字域和物理域都是有效的，且适用于黑盒攻击和白盒攻击。作者在室内场景和室外路边场景进行了测试，证明了对抗物体对商业自动驾驶系统的影响，尤其是路边的对抗性物体会迫使自动驾驶系统做出异常决策，包括突然刹车和不规则变道。

图 5  面向自动驾驶系统的对抗攻击[9]

第2种物理可实现方式是在现实世界中直接攻击激光雷达传感器使其失效。通过对激光雷达传感器实施攻击是真实世界中实现对抗攻击的一种重要途径。例如，对于自动驾驶中的激光雷达预测感知，Zhu等人[57]研究了一种更为简单直接的方法来实现有效的对抗攻击，该方法具有更高的灵活性和良好的隐蔽性。具体地，该方法能够在现实世界中寻找具体的攻击位置，在这些攻击位置放置任何具有反射表面的物体，例如商用无人机，能够让目标物体对激光雷达感知系统不可见，如图6所示。在真实世界中只需要使用两架商用无人机就可以轻松执行所提出的攻击，而且攻击成功率高达90%以上。该方法也是首次研究了对抗位置对激光雷达感知模型行为的影响，首次研究了如何使用具有反射表面的任意物体攻击激光雷达感知系统，以及首次在物理世界中使用商用无人机攻击激光雷达感知系统。

图 6  基于真实场景对抗位置的对抗攻击[51]

Cao等人[58]认为现有的基于激光雷达的自动驾驶系统的攻击主要目的在于降低自动驾驶目标检测模型的置信度，从而导致障碍物误检。作者研究了如何利用基于激光的欺骗技术，在传感器层面选择性地去除真实目标的激光雷达点云数据，然后将其用作自动驾驶感知的输入。作者提出了一种物理移除攻击(Physical Removal Attacks, PRA)通过攻击自动驾驶系统的激光雷达传感器，隐藏目标并欺骗自动驾驶汽车的目标探测器。该研究证明了这些关键的激光雷达信息的消除会导致自动驾驶目标识别器无法识别和定位目标物体，从而导致自动驾驶汽车做出危险的决策。Cao等人[59] 对自动驾驶汽车中基于激光雷达的感知进行了安全研究。他们将对机器学习模型的攻击视为一种优化任务，并对此任务设计了输入扰动函数和目标函数的建模方法。他们还发现了使用优化方法直接解决问题的固有局限性，并设计了一种将优化和全局采样相结合的算法，有效提高了攻击成功率。Sun等人[60]探索了基于LiDAR感知架构的一般漏洞，并发现LiDAR点云中的遮挡模式能够使自动驾驶汽车容易受到攻击。随后，他们基于已识别的漏洞构建了一个黑盒攻击，针对目标模型成功实施了基于LiDAR传感器的对抗攻击。

5.   思考与展望

在3维点云对抗攻击领域，大多数研究者重点关注数字域的对抗攻击算法的设计，目标是生成攻击成功率高和不可感知性好的对抗点云，以及提升对抗点云的迁移能力和降低其生成代价。然而，对于3维深度神经网络模型本身的脆弱性分析的工作较少，使用可解释性方法来辅助实现对抗攻击是一种有效的途径。同时，大多数的对抗攻击方法都是在数据域实现的攻击，这种方法有时难以在攻击成功率、不可感知性和迁移能力等方面取得较好的平衡，而在光谱域的攻击模式给未来数字域点云对抗攻击提供了一种新的思路。此外，数字域的对抗攻击几乎没有考虑到物理可实现性。

由于对抗样本对深度学习模型具有较大的威胁，能够严重影响自动驾驶等应用的人工智能系统的现实部署。因此，物理域的对抗攻击是一个具有重要意义且挑战巨大的研究课题。目前在物理可实现方面的研究成果较少，主要是依靠对抗攻击算法仿真生成对抗样本并使用3D打印技术在现实世界中重构对抗物体，以及直接攻击激光雷达传感器来实现。现有的对抗攻击方法使用的物理可实现手段较为单一，如何寻找更有效的物理可实现手段是未来研究的重要方向。

6.   结束语

本文总结并分析了3维点云对抗攻击的相关研究成果，包括数字域对抗攻击和物理域对抗攻击两个方面。本文将3维点云对抗攻击方法进行了分类并总结。数字域作为目前点云对抗攻击的主要研究领域，主要针对3维点云分类模型实现攻击。物理域对抗攻击则聚焦于3维点云目标识别模型，且更关注真实世界的对抗攻击的可实现性。现有的物理可实现对抗攻击方法较少且攻击手段较为单一，是未来需要重点研究的领域。通过数字域的对抗攻击研究为物理域对抗攻击的可实现性提供了理论基础。此外，本文也对数字域和物理域的对抗攻击发表了评论，为后续的研究提供了思路。

声明:公众号转载的文章及图片出于非商业性的教育和科研目的供大家参考和探讨，并不意味着支持其观点或证实其内容的真实性。版权归原作者所有，如转载稿涉及版权等问题，请立即联系我们删除。

注：若出现无法显示完全的情况，可 V  搜索“人工智能技术与咨询”查看完整文章