3D异常检测论文笔记 | Shape-Guided Dual-Memory Learning for 3D Anomaly Detection

文章目录

  • 摘要
  • 一、介绍
  • 三、方法
    • 3.1. 形状引导专家学习
    • 3.2. Shape-Guided推理

摘要

我们提出了一个形状引导的专家学习框架来解决无监督的三维异常检测问题。我们的方法是建立在两个专门的专家模型的有效性和他们的协同从颜色和形状模态定位异常区域。第一个专家利用几何信息通过对局部形状周围的隐式距离场建模来探测三维结构异常。第二个专家考虑与第一个专家相关联的二维RGB特征来识别局部形状上的颜色外观不规则性。我们使用两位专家从无异常的训练样本中构建双记忆库,并进行形状引导推理以查明测试样本中的缺陷。由于每个点的3D表示和互补模式的有效融合方案,我们的方法有效地在MVTec 3DAD数据集上实现了最先进的性能,具有更好的召回率和更低的误报率,这在实际应用中是首选的

一、介绍

无监督异常检测和定位在制造业和医疗保健中有许多应用。以往的方法主要是利用颜色信息来识别输入图像中的缺陷和异常区域。虽然在大多数情况下,颜色信息通常足以用于定位异常,但也有研究表明,当充分利用3D几何信息时,可以有助于实现更好的性能(Horwitz & Hoshen, 2022)。

我们的工作旨在解决最近发布的MVTec 3D- ad数据集上的3D异常检测和定位问题。我们提出形状引导双存储器学习将颜色和几何信息结合起来,提高异常定位精度,降低计算和存储成本。图1说明了我们的方法在从不同模态精确定位缺陷方面的互补优势。
在这里插入图片描述
异常检测的性能通常通过每区域重叠(PRO) (Bergmann等,2021)和相应的连续增加异常阈值的假阳性率来评估。最常见的设置是报告PRO曲线下的面积(AU-PRO)集成到假阳性率为30%(即集成极限为0.3)。然而,在实际应用中,30%的假阳性率可能太大,因此无法精确定位缺陷。为了解决这个问题,我们设计了一种方法,在非常小的集成限制下追求更高的AU-PRO。我们的方法使用神经隐式函数(nif)通过带符号距离场来表示局部形状,就像当前3D重建方法所做的那样(Jiang等人,2020;Takikawa等,2021;Ma等人,2021;2022;Li et al ., 2022)。将点云样本划分为nif表示的局部补丁,使我们能够在方向变化的情况下建模复杂形状的3D物体。本地带符号距离字段还支持细粒度的逐点异常预测。因此,我们的方法在MVTec 3D- ad基准上实现了最先进的AU-PRO,即使在非常小的集成限制下,这对于以前的2D和3D异常检测方法来说是相当具有挑战性的。

我们将这项工作的贡献总结如下:

  1. 提出了一种有效的形状引导方法整合了颜色和几何的互补形式。我们的方法需要更少的内存使用并促进更快的推理。
  2. 我们提出了第一个使用符号距离场的神经隐式函数来表示三维异常检测的局部形状的工作。有利的是,我们可以将复杂结构的三维点云建模到每个点的细粒度级别。
  3. 我们的方法在MVTec 3D-AD数据集上实现了最先进的性能,特别是在小集成限制下,这意味着在实际应用中更好的召回率和更低的误报率。

三、方法

与2D设置不同,用于3D异常检测的训练数据(例如MVTec 3DAD)以两种不同的模式连接呈现,包括像素RGB值和点向3D坐标。为了充分利用两种表示形式的互补效果,我们设计了一种形状引导的外观重建方案,有效地连接了两种信息流,提高了异常预测和定位的准确性。

3.1. 形状引导专家学习

该方法基于两种专业专家模型的有效性及其协同作用,更好地解决了三维异常检测的任务。第一个专家利用3D信息来探测形状几何中可能存在的异常,第二个专家考虑RGB信息来挑出任何外观不规则(在颜色方面)。接下来,我们将描述这两个专家模型是如何发展和关联的。

形状专家。 利用点坐标的可用性,我们考虑设计一个三维形状异常专家检测的重点是学习局部几何表示。我们想局部表示的特征可以双倍。首先,缺陷或异常部件通常发生在局部而不是全局。其次,学习点云的局部表示的公式趋向于更具可扩展性和效率。

如图2所示,我们利用PointNet (Qi et al ., 2017)和Neural Implicit Function (NIF) (Ma et al ., 2022)这两个现有模型,用于点云应用来探索3D形状信息。具体来说,我们首先将一个完整的点云划分为三维小块,并进行局部表征学习。对于每个产生的补丁,我们采样500个点,并应用PointNet来获得其特征向量,表示为f,它编码相应的局部几何形状。现在让NIF模型为φ。为了训练用于异常检测的φ,我们遵循(Ma et al ., 2021)中的技术对底层3D补丁表面附近的一组查询点Q = {Q}进行采样,并将这些查询与PointNet特征f一起传递给NIF模型以预测它们的带符号距离{s}。我们将预测查询点q∈q相对于局部曲面的带符号距离s的过程表示为
在这里插入图片描述
除了输入q之外,预测结果s取决于PointNet的补丁特征向量f。(1)中的每一对{ϕ,f}构成一个有符号距离函数(SDF),可用于测量点云的局部表面几何形状。由于NIF ϕ对所有patch都是通用的,并且与类别无关,在完成形状专家的学习后,我们只需要将所有的patch特征向量{f}存储到SDF内存库中,表示为MS,以隐式编码所有“正常”的局部表示。

外观专家。 构建外观专家的目标是创建一个形状引导的记忆库MA,可以用来重建“正常”的RGB特征。

我们考虑点云与其2D RGB图像的配对关系,如图3所示。学习了形状专家之后,我们可以检查SDF与其相应的RGB特征之间的映射。对于每个SDF,我们追溯其在3D接受场中的500个采样点(即PointNet的输入),然后计算它们的2D坐标以检索相应的RGB特征。为了增强其在颜色外观上的表示能力,在特征映射上将二维对应统一扩展两个像素,以包含更多的RGB特征。(参见图4。)在我们的实现中,每个SDF将对应大约40到60个RGB特征向量。这样,我们可以得到形状引导内存库MA,它包含与MS中sdf相同数量的sdf特定的RGB字典。

在这里插入图片描述
在这里插入图片描述

3.2. Shape-Guided推理

使用双存储库MS和MA,我们准备执行推理以检测测试样本x是否包括异常/缺陷。(参见图5。)步骤如下。

  1. 使用PointNet获取所有补丁级sdf, x的{≈f}。
  2. 使用ResNet获取x的RGB特征图。那些与至少一个SDF相关的像素在2D RGB图像中被认为是前景。
  3. 对于{≈f}中的每个SDF,在MS中找到它的k1 = 10个最近邻,形成各自的字典,并通过稀疏表示得到它的近似值_ f。
  4. 对于x的每个patch,使用逐patch重构的f来计算带符号的距离,s = φ (q;{f),对于所有的3D点,{q},从它的感受野。
  5. 取到x所有patch的带符号距离的绝对值,形成最终的SDF分数图。
  6. 对于MS中用于计算步骤3的稀疏表示的所有相关sdf,在MA中对它们所有关联的RGB字典进行并集,形成一个形状引导的RGB字典,记为D。
  7. 对于步骤2中的每个前景RGB特征向量,从D -中找到其k2 = 5个最近邻,并获得其稀疏表示。由近似得到的l2距离形成最终的RGB分数图。
  8. 执行分数图对齐(将在后面描述),并在像素上取SDF和RGB响应的最大值作为相应的异常分数。

在这里插入图片描述
Score-map对齐。 通过最大池化融合SDF和RGB分数映射需要两者的值在一个可比较的范围内。由于异常样本在训练中不可用于估计适当的统计量,我们通过模拟25个随机选择的训练样本的推理并采用“离开自己”策略来模拟测试结果来克服这一困难。这将在测试步骤的最近邻搜索中排除查询本身的SDF和RGB特征。为了使两个结果分数分布一致,我们考虑映射y²→a × y + b,这样RGB分数分布的平均值±3 ×标准差将映射到它们的SDF对应项。由此产生的缩放和移动参数a和b可以很容易地用于参考,将RGB分数y校正为a x y + b。

最后,我们注意到,到目前为止,我们的公式描述的只是针对单一类别的3D异常检测。

然而,考虑到MVTec 3D-AD的十个对象类别是明显不同的,并且我们实现的分类器确实达到了100%的分类准确率,我们的方法本质上提供了一个统一的方法来处理MVTec 3D-AD上的异常检测。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/122816.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

机器学习笔记:node2vec(论文笔记:node2vec: Scalable Feature Learning for Networks)

2016 KDD 1 intro 利用graph上的节点相似性,对这些节点进行embedding 同质性:节点和其周围节点的embedding比较相似 蓝色节点和其周围的节点结构等价性 结构相近的点embedding相近 比如蓝色节点,都处于多个簇的连接处 2 随机游走 2.1 介绍…

『C语言进阶』指针进阶(一)

🔥博客主页: 小羊失眠啦 🔖系列专栏: C语言 🌥️每日语录:无论你怎么选,都难免会有遗憾。 ❤️感谢大家点赞👍收藏⭐评论✍️ 前言 在C语言初阶中,我们对指针有了一定的…

《机器人学一(Robotics(1))》_台大林沛群 第 5 周【机械手臂 轨迹规划】 Quiz 5

我又行了!🤣 求解的 位置 可能会有 变动,根据求得的A填写相应值即可。注意看题目。 coursera链接 文章目录 第1题 Cartesian space求解 题1-3 的 Python 代码 第2题第3题第4题 Joint space求解 题4-6 的 Python 代码 第5题第6题其它可参考代…

编写软件检测报告有哪些注意事项?软件检测报告获取

软件检测报告是指把测试的过程和结果写成文档,对发现的问题和缺陷进行分析,为纠正软件的存在的质量问题提供依据,同时为软件验收和交付打下基础。 一、编写软件检测报告的注意事项 1、报告的结构要合理和清晰。应该按照一定的逻辑顺序&…

解决 Spring Boot 与 springfox 的 NullPointerException 问题

🌷🍁 博主猫头虎(🐅🐾)带您 Go to New World✨🍁 🦄 博客首页——🐅🐾猫头虎的博客🎐 🐳 《面试题大全专栏》 🦕 文章图文…

MySQL误删数据 回滚

前言 生产环境数据库不允许删除表,可以将表修改成 XXX_to_delete 如果误删简单数据,可以考虑使用binlog恢复 一、查看命令 1.查看binlog是否开启 show variables like log_bin;切换到MySQL安装目录,查看mysqlbinlog日志文件 2.查看所有 binlog 日志…

Ansible学习笔记12

playbook: playbook(剧本):是ansible用于配置、部署和管理被控节点的剧本,用于Ansible操作的编排。 使用的是yaml格式,(saltstack、elk、docker、docker-compose、k8s都会使用到yaml格式。&am…

【c++ debug】cmake编译报错 No such file or directory

1. 报错:error while loading shared libraries: libprotoc.so.24: cannot open shared object file: No such file or directory 问题原因:找不到动态库 解决方法:添加动态库路径 export LD_LIBRARY_PATH$LD_LIBRARY_PATH:/your/protobuf/l…

【C语言】入门——结构体

目录 结构体 为什么有结构体? 1.结构体的声明 1.2结构体变量的访问和初始化 2.结构体成员的访问 结构体 struct 结构体类型 {//相关属性; }结构体变量; 结构体和数组不同,同一类型的数据的集合是数组; 结构体是多种类型的数据的集合&…

【Java Web】统一处理异常

一个异常处理的ControllerAdvice类。它用于处理Controller注解的控制器中发生的异常。 具体代码功能如下: 导入相关类和方法。声明一个Logger对象,用于日志记录。使用ExceptionHandler注解标记handleException方法,用于处理所有异常。 -嘛在…

C++——shared_ptr:make_shared的用处,与shared_ptr直接构造的区别

shared_ptr shared_ptr继承自__shared_ptr,其中有两个对象,一个是指向资源的指针,一个是控制块,指向一个引用计数对象。控制块中存储了强引用和弱引用的计数,强引用Uses代表shared_ptr对象的引用计数,弱引…

每日一题 1921. 消灭怪物的最大数量

难度:中等 思路: 已知速度和距离,可求时间必定先消灭时间最短的怪物求得时间数组排序,只要在第 i 秒时,time[i] > i ,那么就可以消灭第 i 个怪物 代码: class Solution:def eliminateMax…

Leetcode刷题笔记--Hot41-50

1--二叉树的层序遍历(102) 主要思路: 经典广度优先搜索,基于队列; 对于本题需要将同一层的节点放在一个数组中,因此遍历的时候需要用一个变量 nums 来记录当前层的节点数,即 nums 等于队列元素的…

存储过程报Illegal mix of collations错误的解决方法

CREATE PROCEDURE maxAgeStudent(IN _gender CHAR) BEGINDECLARE maxage INT DEFAULT 0;SELECT max(age) INTO maxage FROM student where gender _gender;SELECT * from student WHERE age maxage and gender _gender; END; 在调用的时候 call maxAgeStudent(1) 产生了报…

Linux之DNS域名解析服务

目录 Linux之DNS域名解析服务 概述 产生原因 作用 连接方式 因特网的域名结构 拓扑 分类 域名服务器类型 ​编辑 DNS域名解析过程 分类 解析图 搭建DNS域名解析服务器 概述 安装软件 bind服务中三个关键文件 主配置文件分析 一般需要修改三部分:…

核辐射检测仪电子测量方案

核辐射检测仪又名辐射检测仪,主要是安检、海关、实验室、金属探测公司等行业使用。但由于2023年8月24日排放核废水,导致海洋遭受核辐射污染,由于大海的净化能力有限,则会导致核废水有可能随着洋流的运动,会流至我国海域…

Python列表排序

介绍一个关于列表排序的sort方法,看下面的案例: """ 列表的sort方法来对列表进行自定义排序 """# 准备列表 my_list [["a", 33], ["b", 55], ["c", 11]]# 排序,基于带名函数 …

依赖导入失败场景和解决方案

在使用 Maven 构建项目时,可能会发生依赖项下载错误的情况,主要原因有以下几种: 下载依赖时出现网络故障或仓库服务器宕机等原因,导致无法连接至 Maven 仓库,从而无法下载依赖。 依赖项的版本号或配置文件中的版本号错…

c语言练习41:深入理解字符串函数strlen strcpy strcat

深入理解字符串函数strlen strcpy strcat 模拟实现&#xff1a;”strlen strcpy strcat strlen strcat: #define _CRT_SECURE_NO_WARNINGS #include<stdio.h> #include<assert.h> strlen 1.通过指针移动模拟 //int my_strlen(char* str) { // size_t c…

MySQL 枚举类型如何定义比较好 tinyint?enum?varchar?

enum介绍 先来介绍一下enum类型吧。 ENUM 是一个字符串对象&#xff0c;其值通常选自一个允许值列表中&#xff0c;该列表在表创建时的列规格说明中被明确地列举。&#xff08;建表的时候写到建表语句里&#xff09; 虽然表面是字符串值&#xff0c;但其内部是数字索引&…