A Multi-Head Reconstruction Network For Image Anomaly Detection创新点总结

创新点解析:Multi-Head Reconstruction Network (MRN) 与 Multi-Feature Aggregation (MFA)

1. Multi-Head Reconstruction Network (MRN)

传统重建方法的过程:

  1. 训练自动编码器或生成模型来重建正常样本的图像。
  2. 通过比较原始图像和重建图像来检测异常。
  3. 使用像素级的距离度量(如L2距离或结构相似性SSIM)来评估重建误差。

存在的问题:

传统重建方法往往过度依赖输入特征进行重建,导致无法识别输入中的潜在异常特征,从而错误地将异常区域重建为正常区域。

创新点:

为了解决这个问题,论文提出了Multi-Head Reconstruction Network (MRN),该网络通过增加输入特征并利用添加特征之间的差异来增强模型检测异常的能力。具体来说,MRN的不同头接收不同角度旋转的输入图像并重建这些图像。为了有效整合这些特征,论文提出了Multi-Path Attention Mechanism (MFA)。

结合图像:

在这里插入图片描述
图1 MRN架构

  • 从论文中的图1可以看到MRN的结构,它展示了如何通过不同角度的输入图像来增强特征提取,并使用MFA模块来整合这些特征。

在这里插入图片描述
图3 MVTec数据集上的定性示例,从左到右:输入图像、重建图像、异常图和地面真相。

  • 论文中的图3展示了定性结果,从中可以看到MRN如何在尝试 把异常区域完美的重建的时候,由于异常区域的特征与模型学习的正常特征不同,会导致在这些区域的重建不准确。这种不准确性正是我们检测异常区域的关键,因为通过比较原始图像和重建图像,我们可以识别出这些异常区域。

作用:

  • MFA模块通过在不同模型头之间整合特征,关注图像级特征而非以往的像素级、通道级和块级特征,从而有效地提取图像特征。

最终效果:

MRN在MVTec AD数据集上的异常检测和分割性能分别达到了98.5AUC和98.1AUC。

2. MFA模块的创新点

MFA模块的过程:

  1. MFA模块接收来自不同角度旋转的输入图像的特征。
  2. 通过1x1卷积操作处理输入,然后对这些特征进行投影和整合。
  3. 最后,将整合后的特征进行拼接,输出MFA模块的结果。

存在的问题:

以往的注意力机制关注像素级、通道级或块级特征,这些可能无法充分利用图像的整体信息来检测异常。

创新点:

MFA模块通过在不同角度重建的图像特征之间进行投影和整合,关注图像级特征,从而更有效地提取和整合图像特征。

结合图像:

在这里插入图片描述
图2 MFA模块的体系结构。

  • 从论文中的图2可以看到MFA模块的架构,它展示了如何通过不同角度的输入图像特征进行投影和整合。

作用:

  • MFA通过图像级操作使得特征提取更加有效,即使图像被旋转,异常区域仍然保持其异常特征,这些特征可以被MRN模型通过不同角度的观察和重建所识别。。

最终效果:

通过MFA模块的整合,MRN能够更准确地检测和定位异常,提高了异常检测的性能。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/451257.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

数据结构与算法 - 树 #数的概念 #二叉树 #堆 - 堆的实现/堆排序/TOP-K问题

文章目录 前言 一、树 (一)、概念 1、树的定义 (二)、树的定义 1、树为什么是递归定义的? 2、如何定义树(如何表达一棵树) 解决方案一:假设我们得知该树的度 解决方案二:顺序表 解决方案三:左孩子右兄弟表示法 二、二叉…

Linux Ubuntu dbus CAPI ---- #include<dbus.h>出现“无法打开源文件dbus/xxx.h“的问题

一、确保已安装dbus库和CAPI sudo apt-get install libdbus-1-dev 二、在c_cpp_properties.json的includePath中是否配置了dbus库依赖文件所在的路径 三、编译一个简单的dbus代码,在编译过程中只要出现.h文件找不到的情况,就使用下列命令找到.h文件路径…

Java集合常见知识总结(中)

Set Comparable 和 Comparator 的区别 Comparable 接口和 Comparator 接口都是 Java 中用于排序的接口,它们在实现类对象之间比较大小、排序等方面发挥了重要作用: Comparable 接口实际上是出自java.lang包 它有一个 compareTo(Object obj)方法用来排序…

【web】JDBC

项目连接数据库 右侧导航栏找到databsae 如果没有驱动,先下载驱动 填写数据库用户名密码 勾选对应的表即可 JDBC代码流程 1,配置信息 2,加载驱动 从MySQL Connector/J 5.1版本开始,推荐使用com.mysql.cj.jdbc.Driver这个新的驱动类。 3,链接数据库…

初识Linux · 重定向和缓冲区

目录 前言: 预备知识 缓冲区 重定向 前言: 其实有了文件2的预备知识,我们已经初步了解了文件描述符fd是什么,底层是如何运作的了,那么本文,我们通过文件描述符对重定向和缓冲区有一个更深层次的理解&a…

JVM(HotSpot):GC之垃圾标记阶段

文章目录 前言一、标记阶段算法1、引用计数法2、可达性分析算法(JVM使用) 二、4种引用1、 强引用2、软引用(SoftReference)3、弱引用(WeakHashMap)4、虚引用(PhantomReference) 三、代码案例1、 强引用2、软引用(SoftReference)3、弱引用(WeakHashMap) 前…

AI-Talk开发板之shell_xtts

一、说明 运行duomotai_ap sdk下的shell_xtts例程,测试语音合成以及SPK功能。 操作说明:开发指南 | 聆思文档中心 (listenai.com) 与处理器的信号连接: 二、工程 1、设备树 由于AI-Talk开发板与CSK6-MIX开发板有些管脚不一样,所…

主机加固是什么?又该如何实施呢?

MCK主机加固:企业数据安全的守护神 内核级安全加固:MCK主机加固采用基于操作系统内核级的安全加固技术,从根本上阻断了病毒和恶意软件的入侵路径,确保企业核心数据的安全。 智能防御机制:智能识别并预警潜在的安全威胁…

纯血鸿蒙!

纯血鸿蒙,这是哪个营销大师给起的名字啊! 纯血!象征着高贵、自信、自主、血性、英雄气概,都融入这纯血鸿蒙了! 鸿蒙本就是开天辟地,加上纯血,真是荡气回肠! 鸿蒙的推出背景 我们前…

数据结构(JAVA)包装类泛型

文章目录 包装类基本数据类型和对应的包装类装箱和拆箱面试题 泛型什么是泛型泛型的语法泛型类的使用泛型的使用裸类型(Raw Type) (仅需了解)擦除机制泛型的上界泛型方法 包装类 基本数据类型和对应的包装类 注意,除了int基本数据类型的包装…

机器学习核心:监督学习与无监督学习

个人主页:chian-ocean 文章专栏 监督学习与无监督学习:深度解析 机器学习是现代人工智能的核心支柱,已广泛应用于从数据挖掘到计算机视觉再到自然语言处理的诸多领域。作为机器学习最主要的两大类型,监督学习(Super…

LLM - 配置 ModelScope SWIFT 测试 Qwen2-VL 视频微调(LoRA) 教程(3)

欢迎关注我的CSDN:https://spike.blog.csdn.net/ 本文地址:https://spike.blog.csdn.net/article/details/142882496 免责声明:本文来源于个人知识与公开资料,仅用于学术交流,欢迎讨论,不支持转载。 SWIFT …

【Neo4j】- 轻松入门图数据库

文章目录 前言-场景一、Neo4j概述二、软件安装部署1.软件下载2.软件部署3.软件使用4.语法学习 总结 前言-场景 这里用大家都了解的关系数据与图数据据库对比着说,更加方便大家理解图数据库的作用 图形数据库和关系数据库均存储信息并表示数据之间的关系。但是,关系…

【Golang】Go语言web框架Gin响应客户端有哪些方式

✨✨ 欢迎大家来到景天科技苑✨✨ 🎈🎈 养成好习惯,先赞后看哦~🎈🎈 🏆 作者简介:景天科技苑 🏆《头衔》:大厂架构师,华为云开发者社区专家博主,…

Navigation2 算法流程

转自 https://zhuanlan.zhihu.com/p/405670882 此文仅作学习笔记 启动流程 在仿真环境中启动导航包的示例程序,执行nav2_bringup/bringup/launch/tb3_simulation_launch.py文件。ROS2的launch文件支持采用python语言来编写以支持更加复杂的功能,本文件…

个人用操作系统笔记(待补充)

文章目录 一、绪论二、Linux操作系统进程线程(进程内的基本调度单位)文件与设备文件权限文件系统文件连接(共享) 地址空间缺页中断 用户超级用户root(用户标识与组标识都是0) 重定向系统启动常用命令 OS研究…

【优选算法篇】踏入算法的深邃乐章:滑动窗口的极致探秘

文章目录 C 滑动窗口详解:进阶题解与思维分析前言第二章:进阶挑战2.1 水果成篮解法一:滑动窗口解法二:滑动窗口 数组模拟哈希表复杂度分析:图解分析:示例:滑动窗口执行过程图解: 详…

ARM嵌入式学习--第三天

ARM常用伪指令分析 ARM伪指令:为了方便程序员使用,编译器设计的指令,这个指令ARM核无法识别,需要编译器对它翻译成ARM核所识别的指令 -LDR R1,0xabcdef分析 总结: 编译器在编译的时候,将ldr r…

深入拆解TomcatJetty(一)

深入拆解Tomcat&Jetty(一) 专栏地址:https://time.geekbang.org/column/intro/100027701 1、Web容器是什么 早期的 Web 应用主要用于浏览新闻等静态页面,HTTP 服务器(比如 Apache、Nginx)向浏览器返…

008、相交链表

0、题目描述 相交链表 1、法1 嵌套循环,从listA的第一个节点开始与listB的每个节点比对,有相同的就返回这个节点。 时间复杂度是n^2 struct ListNode *getIntersectionNode(struct ListNode *headA, struct ListNode *headB) {struct ListNode* pa …