TSB - AD 解读 — 迈向可靠、透明的 TSAD 任务

目录

一  文章动机

二  TSAD 领域内的两类缺陷

三  数据集的构建

四  实验结果及结论


项目宣传链接:TSB-AD

代码链接: TheDatumOrg/TSB-AD: TSB-AD: Towards A Reliable Time-Series Anomaly Detection Benchmark

原作者解读:NeurIPS 2024 | 时序异常检测基准 TSB-AD - 知乎 

TSB - AD 与其他TSAD基准的全面对比:

一  文章动机

1. 长期以来,由于使用含缺陷的基准数据集、存在偏见的评估方法、不一致的基准实践,TSAD 领域面临诸多困扰;

2. Wu & Keogh 发起对 TSAD 数据集含缺陷的讨论:triviality, anomaly density, mislabeling, and
run-to-failure bias(异常标注琐碎、异常密度、标签错误、运行失败偏差);

3. UCR 数据集虽近期收到较多推崇,但仍存在重大缺陷:① 它忽视了某些时序异常区域;② 它通过 “人为引入” 时序异常;

4.  “everyone wants to do the model work instead of the data work”, resulting in limited new efforts to produce a large-scale, high-quality dataset.(典中典的问题)

5. 存在偏见的评估方法(尤其指:“点调整” 后的指标):随机分数、噪音输入、“嘈杂” 输入会造成“进步错觉”:(*此处补充 SimAD 的示意图进行说明,不属于原文内容)

6. “模型预处理” 及 “模型评测方式” 的不一致,也会造成不合理的 TSAD 模型质量评估;

7. 指标推荐:VUS - PR、VUS - ROC 等;

二  TSAD 领域内的两类缺陷

① 基准数据集的缺陷:

(a) 漏标、误标:数据集标注者被许可访问并接触 “额外的、未批露的数据”,因此 “不显著” 的时序异常标记是合理的;然而数据集内存在 “相似” 时序被赋予 “不同” 标签,则不合理;TSB - AD 对其进行修正;

(b) 偏差现象:Yahoo 数据集通常在数据末端标注异常,使结果不合理地倾向将末端数据点预测为异常的算法;UCR 数据集仅标注最显著的异常现象,忽略对潜在异常的标注,此外,单变量时序不符合真实世界场景;

(c) 可行性、实用性:为 “分类” 任务设计的数据集被不恰当用于 “异常检测”,仅仅简单地将少数类重新分类为 “异常”;然而,“少数类” 的占比超出了 “异常” 的占比,不切实际的异常比率违反 “异常不应频繁发生” 的基本原则,与异常检测器的设计原则相悖;

② 评估指标的缺陷:

(a) AUC - ROC 不适配针对 “不平衡分类任务” 的模型评估,AUC - PR 更优;

(b) 基于点的一系列评估指标,对 “靠前或滞后(lag)” 检测到异常的行为过分敏感,惩罚力度过大,不够合理;

(c) 点调整(PA)假设检测到异常段内的任何点都被视为检测到该段内的所有点。然而,该指标倾向于支持 “有噪声” 的预测,随机分数也有机会预测真实异常序列中的点,性能与SOTA相当。随机生成的预测在点调整下甚至优于SOTA方法;异常平均长度增加时,点调整后的F分数接近1。

三  数据集的构建

四  实验结果及结论

1. 各类模型在 "TSB - AD - U"(单变量)及 "TSB - AD - M"(多变量)数据集上的整体实验结果:

2. 对 各类“模型评测指标”  的评估实验:

3. 部分有价值的结论: 

1. 统计方法表现出稳健的性能,而神经网络方法并未表现出通常被认为的优势。然而,神经网络和基础模型在检测点异常以及处理多变量场景时仍展现了较大的潜力;
2. 简单的架构(如:CNN 和 LSTM)通常优于更复杂的设计(如:高级 Transformer 架构);
3. 基础模型在检测基于点的异常方面表现出色,但在处理序列异常时表现较弱,主要原因在于其预测机制仅基于有限的回溯窗口逐步估算新的值。当面对长序列异常时,受限的时间上下文往往导致性能下降和噪声较大的得分。此外,使用有缺陷的点调整技术(偏向这些噪声得分)进一步加剧了问题,导致进展的假象;
4. 时间序列基础模型的表现展现出极大潜力:它们在微调后不仅能取得良好表现,还在零样本能力上优于大多数现有的统计方法和神经网络方法。然而,基础模型的主要担忧是由于预训练数据规模庞大,可能导致数据污染,因此在实际部署时需谨慎;
5. 将大型语言模型(LLM)应用于时间序列异常检测的努力结果并不令人满意,表明该领域仍存在显著的研究空白;
6. 在表现最佳的方法中,Sub-PCA 和 KShapeAD 表现出色,尽管它们多年来一直被忽视为基本基线,且未在先前的广泛评估研究中被发现。CNN 和 OmniAnomaly 在多变量场景中的强劲表现 — 与之前的基准结果相反,当时 KMeansAD 被认为更优 — 表明多变量时间序列中的复杂场景需要更高的建模能力,通常超出统计方法的范围。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/35092.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Java 大视界 -- Java 大数据机器学习模型的对抗攻击与防御技术研究(137)

💖亲爱的朋友们,热烈欢迎来到 青云交的博客!能与诸位在此相逢,我倍感荣幸。在这飞速更迭的时代,我们都渴望一方心灵净土,而 我的博客 正是这样温暖的所在。这里为你呈上趣味与实用兼具的知识,也…

Python 鼠标轨迹算法 - 防止游戏检测

一.简介 鼠标轨迹算法是一种模拟人类鼠标操作的程序,它能够模拟出自然而真实的鼠标移动路径。 鼠标轨迹算法的底层实现采用C/C语言,原因在于C/C提供了高性能的执行能力和直接访问操作系统底层资源的能力。 鼠标轨迹算法具有以下优势: 模拟…

C++11 lambda表达式、包装器、Bind绑定

Hello!大家早上中午晚上好!!今天来复习C11三个新加的特性!! 一、lambda 表达式 1.1什么是lambda表达式? 语法:[捕捉列表](参数列表)->返回值{函数体}; …

计算机网络:(二)计算机网络在我国发展与网络类别与性能 (附带图谱更好对比理解)

计算机网络:(二)计算机网络在我国发展与网络类别和性能 前言一、计算机网络在我国的发展二、计算机网络的类别1. 计算机网络的定义2. 不同类别的计算机网络(1)按覆盖范围分类(2)按传输技术分类…

CoreData 调试警告:多个 NSEntityDescriptions 声明冲突的解决

概述 目前在苹果生态 App 的开发中,CoreData 数据库仍然是大部分中小应用的优先之选。不过,运行时 CoreData 常常产生各种“絮絮叨叨”的警告不禁让初学的秃头小码农们云里雾里。 这不,对于下面这一大段 CoreData 警告,大家是否一…

解决QT_Debug 调试信息不输出问题

方式1 &#xff1a;手动通过添加环境变量解决 ->使用命令&#xff1a; QT_LOGGING_TO_CONSOLE1 qtcreator启动 ->如若还未输出qDebug调试信息 则在程序中引<QLoggingCategory>包 #include <QLoggingCategory> ->在程序入口添加 QLoggingCategory::defa…

【CF】Day9——Codeforces Round 953 (Div. 2) BCD

B. New Bakery 题目&#xff1a; 思路&#xff1a; 被标签害了&#xff0c;用什么二分&#xff08; 很简单的思维题&#xff0c;首先如果a > b&#xff0c;那么全选a就行了&#xff0c;还搞啥活动 否则就选 b - a 天来搞活动&#xff0c;为什么&#xff1f; 首先如果我…

[MAVEN][经验总结]MAVEN_HOME和M2_HOME的配置建议

前言 MAVEN_HOME和M2_HOME都是maven的环境变量&#xff0c;要配置哪个&#xff0c;与maven版本有关&#xff0c;我在实操过程中遇到相关的问题&#xff0c;现记录如下。 MAVEN_HOME和M2_HOME的区别 MAVEN_HOME 和 M2_HOME 本质上是同一个作用的环境变量&#xff0c;它们的区…

力扣Hot100——169. 多数元素

解法1&#xff1a;使用HashMap 将nums数组映射到HashMap中&#xff0c;键为nums的值&#xff0c;值为nums中值的数量&#xff1b; 然后遍历哈希表&#xff0c;返回值最大的键 class Solution {private Map<Integer, Integer> countNums(int[] nums) {Map<Integer, Int…

EasyRTC嵌入式音视频通话SDK:微信生态支持、轻量化架构与跨平台兼容性(Linix/Windows/ARM/Android/iOS/LiteOS)

随着WebRTC技术的不断发展&#xff0c;实时音视频通信在各个领域的应用越来越广泛。EasyRTC嵌入式音视频通话SDK作为一款基于WebRTC技术的实时通信解决方案&#xff0c;凭借其强大的功能和灵活的集成能力&#xff0c;受到了越来越多开发者的关注。 一、系统架构设计 纯C语言开…

QuickAPI:一键将 Excel 数据转为数据库表

在开发和数据管理中&#xff0c;将 Excel 数据快速导入数据库是一项常见需求&#xff0c;但手动建表和导入的过程往往让人头疼。 QuickAPI 作为一款高效的统一数据服务平台&#xff0c;提供了一键将 Excel 数据转为数据库表的功能&#xff0c;极大简化了操作流程。本文将以技术…

【MySQL】多表查询(笛卡尔积现象,联合查询、内连接、左外连接、右外连接、子查询)-通过练习快速掌握法

在DQL的基础查询中&#xff0c;我们已经学过了多表查询的一种&#xff1a;联合查询&#xff08;union&#xff09;。本文我们将系统的讲解多表查询。 笛卡尔积现象 首先&#xff0c;我们想要查询emp表和stu表两个表&#xff0c;按照我们之前的知识栈&#xff0c;我们直接使用…

JavaScript如何做类型转换

一、类型转换 二、补充 console.log(1 "2" "2"); // 122 console.log(1 "2" "2"); // 32 console.log(1 -"1" "2"); // 02 console.log("1" "1" "2"); // 112 consol…

华为中小型企业项目案例

实验目的(1) 熟悉华为交换机和路由器的应用场景 (2) 掌握华为交换机和路由器的配置方法 实验拓扑实验拓扑如图所示。 华为中小型企业项目案例拓扑图 实验配置市场部和技术部的配置创建VLANLSW1的配置 [LSW1]vlan batch 10 20 [LSW1]q…

【PyTorch][chapter-35][MLA]

前言&#xff1a; MLA&#xff08;Multi-head Latent Attention&#xff0c;多头潜在注意力&#xff09;旨在提高推理效率和降低计算资源的消。MLA的核心思想在于通过信息转移来优化KV缓存的使用 MLA的技术特点主要包括&#xff1a; KV压缩与潜在变量&#xff1a;将键&#xff…

Spring Cloud 中的服务注册与发现: Eureka详解

1. 背景 1.1 问题描述 我们如果通过 RestTamplate 进行远程调用时&#xff0c;URL 是写死的&#xff0c;例如&#xff1a; String url "http://127.0.0.1:9090/product/" orderInfo.getProductId(); 当机器更换或者新增机器时&#xff0c;这个 URL 就需要相应地变…

微服务存在的问题及解决方案

微服务存在的问题及解决方案 1. 存在问题 1.1 接口拖慢 因为一个接口在并发时&#xff0c;正好执行时长又比较长&#xff0c;那么当前这个接口占用过多的 Tomcat 连接&#xff0c;导致其他接口无法即时获取到 Tomcat 连接来完成请求&#xff0c;导致接口拖慢&#xff0c;甚至…

centos 安装pip时报错 Cannot find a valid baseurl for repo: centos-sclo-rh/x86_64

centos 安装pip时报错 [rootindex-es app-ai]# yum update Loaded plugins: fastestmirror Repository centos-sclo-rh is listed more than once in the configuration Determining fastest mirrors Could not retrieve mirrorlist http://mirrorlist.centos.org?archx86_64…

解决图片转 ICO 图标难题,支持批量处理

还在为图片转 ICO 图标发愁吗&#xff1f;别担心&#xff0c;今天为大家带来一款超实用的工具 ——Any to Icon。它功能强大&#xff0c;可实现批量图片转 ICO 图标&#xff0c;轻松解决格式转换难题。更棒的是&#xff0c;这款工具极为小巧&#xff0c;无需安装&#xff0c;即…

MultiPost--多平台博客发布工具

网站介绍 一键发布内容到多个社交平台的浏览器插件&#xff0c;支持知乎、微博、小红书、抖音等主流平台&#xff0c;支持文字、图片、视频等内容形式. 地址 GitHub &#xff1a; https://github.com/leaper-one/MultiPost-Extension Chorme: https://chromewebstore.google.…