论文阅读:Dual-disentangled Deep Multiple Clustering

目录

摘要

引言

模型

实验

数据集

实验结果

结论


摘要

多重聚类近年来引起了广泛关注,因为它能够从不同的角度揭示数据的多种潜在结构。大多数多重聚类方法通常先通过控制特征之间的差异性来提取特征表示,然后使用传统的聚类方法(如 k-means)实现最终的多重聚类结果。然而,所学习的特征表示往往与实现明显聚类的最终目标相关性较弱。此外,这些特征通常不是专门为聚类目的而明确学习的。

为此,本文提出了一种新颖的双重解耦深度多重聚类方法(Dual-Disentangled Deep Multiple Clustering,简称 DDMC),通过学习解耦表示来解决上述问题。具体而言,DDMC 基于变分期望最大化(Variational Expectation-Maximization, EM)框架实现。在 E 步骤中,解耦学习模块利用粗粒度和细粒度的解耦表示,从数据中提取更加多样化的潜在因子。在 M 步骤中,聚类分配模块采用聚类目标函数增强聚类输出的效果。

我们的大量实验表明,DDMC 在七个常用任务中均显著优于当前最先进的方法。

引言

聚类是一种基于相似性对数据点进行分组的技术,由于大量无标签数据的日益普及,该领域得到了广泛研究。传统方法如 k-means、谱聚类和高斯混合模型依赖通用的手工特征,但这些特征并不总是适合特定任务。近年来,利用深度神经网络(DNN)的深度聚类算法显著提升了性能。然而,大多数算法仅生成单一的数据划分,而多重聚类算法旨在为不同应用生成多个划分,从而展现从数据集中发现多个不同聚类的能力(如图1所示)。

现有的多重聚类方法大致分为浅层模型和深度模型。对于浅层模型,COALA 基于已建立的聚类将对象作为约束以生成替代聚类;其他方法则依赖不同的特征子空间,例如,Hu 等人通过最大化不同特征子空间中的拉普拉斯特征值间隔发现多个聚类。近期研究中,研究人员开始使用深度学习生成多重聚类,例如,ENRC 结合自编码器和聚类目标函数生成替代聚类;iMClusts 利用深度自编码器的表示能力和多头注意力生成多个聚类;AugDMC 则通过数据增强学习用于多重聚类的不同表示。

尽管深度多重聚类方法取得了显著成果,但仍面临两大挑战。首先,学习到的表示与生成明显不同的聚类目标相关性较弱。这是因为聚类的多样性通常通过限制表示之间的重叠来间接实现,但这并不能确保特征表示的差异性与聚类多样性直接相关,可能导致冗余聚类。其次,大多数现有方法仅将学习到的表示输入传统聚类算法(如 k-means)以获得多个聚类,然而这些表示通常是在未考虑聚类目标的情况下学习的,从而削弱了最终的聚类结果。尽管一些方法(如 ENRC)试图优化聚类性能,但仍未取得令人满意的结果。

幸运的是,解耦表示学习致力于学习分离和揭示数据中潜在因子的因子化表示,可以有效支持多重聚类的多样性学习。例如,在图1中,数据对象至少具有两个不同的潜在因子(形状和颜色)。解耦表示学习能够将这些因子分离并编码为表示空间中独立且不同的潜在变量,从而使形状/颜色的潜在变量仅随着对象形状/颜色的变化而变化,而相对于其他因子保持不变。尽管解耦表示学习已取得显著成功,但目前尚无研究将其用于实现多重聚类。

然而,将解耦表示学习应用于多重聚类并非易事。首先,解耦表示学习尽管成功,但最初并非为多重聚类设计。因此,设计一个专门用于多重聚类的解耦表示学习框架至关重要。其次,需要确保聚类目标的有效性。现有的深度多重聚类方法主要强调在聚类级别捕获特征,而忽视了每个聚类内部的聚类级别有效性。

为此,本文提出了一种新颖的双重解耦深度多重聚类(Dual-Disentangled Deep Multiple Clustering,DDMC)方法,能够通过端到端的方法同时确保聚类级别和聚类内部级别的性能。具体而言,我们的解耦学习模块利用粗粒度和细粒度的解耦表示来学习更加多样的解耦表示,同时,我们的聚类分配模块旨在提升方法在聚类内部级别性能方面的有效性。我们将方法构建为变分期望最大化(EM)框架。在 E 步骤中,我们通过解码独特的解耦表示来揭示潜在的多重聚类,同时固定聚类分配组件。在 M 步骤中,利用 E 步骤中获得的解耦表示进行聚类分配学习。

本文的贡献可总结如下:

  • 提出了一种新颖的双重解耦深度多重聚类方法(DDMC),首次将解耦学习引入多重聚类。
  • 方法基于变分 EM 框架实现。在 E 步骤中,学习解耦表示以实现多重聚类;在 M 步骤中,优化聚类分配以增强聚类内部级别的性能。
  • 在七个常用任务上进行了广泛实验,结果证明了 DDMC 的优越性。

模型

为了同时学习用于不同聚类的表示并实现良好的聚类级别性能,我们在变分 EM 框架内结合了解耦表示学习和聚类分配学习,如图2所示。具体来说,给定一张图像 xi∈{xi},解耦多重聚类的目标是得到 K 个不同的图像表示 {zi1,…,ziK},通过实现粗粒度和细粒度的解耦来描述图像的各种特征。通过这种方式,这些图像可以被划分为 M 个不同的聚类,每个聚类反映原始图像的一个独特方面,其中 K 可以大于 M。这是因为现实世界中的数据可能包含的方面数量多于所需的聚类数量,而需要将所有方面解耦以获得所需的表示。

一张图像可能包含多个不同的方面,每个方面可以对应一个聚类视角。为了有效地揭示这些潜在特征,我们致力于通过数据增强实现粗粒度解耦。通过采用多种增强方法生成变体图像,每个变体图像反映原始图像的一个不同特征,从而突显其固有的多样性。

实验

数据集

实验结果

结论

在本文中,我们提出了一种新颖的双解耦深度多重聚类方法(DDMC),利用解耦表示实现多重聚类。DDMC通过粗粒度和细粒度解耦表示揭示并分离数据中的潜在因子。此外,它还引入了聚类分配模块,以进一步增强多重聚类在聚类级别性能上的有效性和鲁棒性。我们将该方法表述为一种变分期望最大化(Expectation-Maximization,EM)框架,并推导了细粒度解耦的证据下界(Evidence Lower Bound, ELBO)。

在七个基准数据集上的大量实验表明,DDMC在多重聚类性能以及每个单独聚类性能方面均达到了当前最先进水平。未来工作中,我们计划将该方法扩展到更复杂的数据类型和场景,例如多模态数据。此外,与基线方法相比,尽管性能得到了提升,所提方法的计算成本较高,因此提高效率将是另一个值得研究的方向。


模型的具体代码将在实验复现博文中详细描述。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/481506.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Kafka知识体系

一、认识Kafka 1. kafka适用场景 消息系统:kafka不仅具备传统的系统解耦、流量削峰、缓冲、异步通信、可扩展性、可恢复性等功能,还有其他消息系统难以实现的消息顺序消费及消息回溯功能。 存储系统:kafka把消息持久化到磁盘上&#xff0c…

项目切换Java21

目录 项目启动流程 遇到的问题 目前我们所有的项目都是Java8的,突然交接过来一个Java21的项目,项目启动耗时挺久,本篇记录下问题以及解决方案 项目启动流程 1. 下载Java21 2. 配置Java21 本机环境变量配置 确保path里有Java21路径 3. …

【算法day4】链表:应用拓展与快慢指针

题目引用 两两交换链表节点删除链表的倒数第n个节点链表相交环形链表 1.两两交换链表节点 给你一个链表,两两交换其中相邻的节点,并返回交换后链表的头节点。你必须在不修改节点内部的值的情况下完成本题(即,只能进行节点交换&am…

电机控制理论基础及其应用

电机控制理论是电气工程和自动化领域中的一个重要分支,它主要研究如何有效地控制电机的运行状态,包括速度、位置、扭矩等,以满足各种应用需求。电机控制理论的基础知识涵盖了电机的工作原理、数学模型、控制策略以及实现技术等方面。下面是一…

【每天一篇深度学习论文】(IEEE 2024)即插即用特征增强模块FEM

目录 论文介绍题目:论文地址: 创新点方法整体结构 即插即用模块作用消融实验结果即插即用模块代码 论文介绍 题目: FFCA-YOLO for Small Object Detection in Remote Sensing Images 论文地址: https://ieeexplore.ieee.org/d…

『 Linux 』数据链路层 - ARP协议及数据链路层周边问题

文章目录 ARP协议ARP欺骗RARP协议 DNS服务ICMP协议ping 命令正向代理服务器反向代理服务器 ARP协议 博客『 Linux 』数据链路层 - MAC帧/以太网帧中提到,当数据需要再数据链路层进行无网络传输时需要封装为MAC帧,而MAC帧的报文结构如下: 帧头部分存在两个字段分别为 “目的地址…

基于Java Springboot Vue3图书管理系统

一、作品包含 源码数据库设计文档万字全套环境和工具资源部署教程 二、项目技术 前端技术:Html、Css、Js、Vue3、Element-ui 数据库:MySQL 后端技术:Java、Spring Boot、MyBatis 三、运行环境 开发工具:IDEA 数据库&#x…

Google Cloud Dataproc 计算 EOD 余额

简介 Google Cloud Dataproc 是 Google Cloud Platform (GCP) 提供的一种完全托管的 Apache Hadoop 和 Apache Spark 服务。它允许用户快速、轻松地在云中创建和管理大数据处理集群,适合需要大规模数据处理、分析和机器学习的场景,能够帮助企业更高效地…

【docker】9. 镜像操作与实战

镜像操作案例 查找镜像 docker search busybox下载镜像 docker pull busybox:1.36.0查看镜像及列表存储位置 rootLAPTOP-H2EI4I6A:~# docker images busybox REPOSITORY TAG IMAGE ID CREATED SIZE busybox latest 517b897a6a83 2 months a…

循环神经网络(RNN)简述

RNN及其变体 1、概述 (一)、概念 RNN(Recurrent Neural Network), 中文称作循环神经网络, 它一般以序列数据为输入, 通过网络内部的结构设计有效捕捉序列之间的关系特征, 一般也是以序列形式进行输出。 RNN的循环机制使模型隐层**上一时间步产生的结果, 能够作为当下时间步…

Conda 管理python开发环境

同步发布于我的网站 🚀 故事起因: 在公司使用Requests多任务并行开发时遇到了问题,使用 ProcessPoolExecutor 时不能正常发出网络请求,会卡在网络请求发不出去,但是善于用 ThreadPoolExecutor 时是可以的,纠结了很久,一…

python打包深度学习虚拟环境

今天师兄让我把环境打包发给他,我才知道可以直接打包深度学习虚拟环境,这样另一个人就不用辛辛苦苦的去装环境了,我们都知道有些论文他需要的环境很难装上。比如装Apex,装 DCN,mmcv-full 我现在把3090机子上的ppft虚拟…

vue超过三行显示省略号和查看更多按钮

1、超过3行显示省略号和更多按钮&#xff0c;不超过3行正常显示&#xff1b; html: <div class"container"><div style"display: flex;"><div class"content"><div class"text-content" ref"textContentR…

什么是换电系统?驱动新能源汽车发展的“能源驿站”

随着新能源汽车保有量上升&#xff0c;新能源汽车充换电设施需求量同步增加。由于我国土地、电力资源相对紧张&#xff0c;随着车辆保有量继续增加&#xff0c;换电模式有望成为对充电模式的良好补充&#xff0c;具备广阔的中长期发展前景。蔚来是换电领域的先行者&#xff0c;…

最小有向包围盒——2D平面

目录 介绍 主要步骤 代码 __init__.py min_bounding_rect.py min_rect.py qhull_2d.py 结果 介绍 最小有向包围盒算法广泛应用于多个领域&#xff0c;包括&#xff1a; 计算几何&#xff1a;用于分析点集的边界特征。图形学&#xff1a;用于碰撞检测和物体包围。数据…

windows平台使用C#创建系统服务

使用 C# 在 Windows 平台创建和管理系统服务 在 Windows 平台上&#xff0c;系统服务&#xff08;Windows Service&#xff09;是一种运行在后台、无需用户交互的应用程序。系统服务广泛应用于长期任务处理、网络监听、后台调度等场景。本文将详细介绍如何使用 C# 创建一个 Win…

【C++笔记】位图和布隆过滤器

【C笔记】位图和布隆过滤器 &#x1f525;个人主页&#xff1a;大白的编程日记 &#x1f525;专栏&#xff1a;C笔记 文章目录 【C笔记】位图和布隆过滤器前言一. 位图1.1 位图相关面试题1.2 C库中的位图1.3位图优缺点1.4位图相关考察题目 二.布隆过滤器2.1 什么是布隆过滤器…

小迪安全第四十二天笔记 简单的mysql注入 mysql的基础知识 用户管理数据库模式 mysql 写入与读取 跨库查询

前言 之前的安全开发我们学习了 php联动数据库的模式 &#xff0c;这个模式是现在常用的模式 这一节来学习 如何 进行数据库的注入和数据库相关知识 1、了解数据库的结构 我们使用 navicate连接数据库之后看一下 一共四层结构 库 》表》字段》数据 这个层级关系…

如何估算自然对流传热系数

介绍 一般来说&#xff0c;对流可以定义为通过加热流体&#xff08;例如空气或水&#xff09;的运动来传递热量的过程。 自然对流&#xff08;对流的一种特定类型&#xff09;可以定义为流体在重力作用下由于较热因此密度较小的物质上升&#xff0c;而较冷且密度较大的物质下…

阿里云服务器(centos7.6)部署前后端分离项目(MAC环境)

Jdk17安装部署 下载地址&#xff1a;https://www.oracle.com/java/technologies/downloads/ 选择自己需要的jdk版本进行下载。 通过mac终端scp命令上传下载好的jdk17到服务器的/usr/local目录下 scp -r Downloads/jdk-17.0.13_linux-x64_bin.tar.gz 用户名服务器ip地址:/us…