ICML2021 | RSD: 一种基于几何距离的可迁移回归表征学习方法

目录

    • 引言
    • 动机
    • 分析
    • 主角(Principal Angle)
    • 表征子空间距离
    • 正交基错配惩罚
    • 可迁移表征学习
    • 实验
      • 数据集介绍
    • 实验结果
    • 总结与展望

论文链接
相关代码已经开源

引言

深度学习的成功依赖大规模的标记数据,然而人工标注数据的代价巨大。域自适应(Domain Adaptation)意图利用已有源领域标记数据的有效信息学习得到一个可以泛化到目标领域无标记数据上的模型。因此域自适应方法是解决上述问题的方案之一。回归问题作为一个具有广泛应用的机器学习范式,和分类问题具备同等的重要性。然而,当前的研究缺乏一个针对回归问题的深度无监督域自适应方法:(1)已有很多基于实例加权和域不变表征学习的浅层域自适应回归方法,但他们没有办法利用深度网络的表征学习能力,因此不具备处理现实世界多种复杂结构数据的能力。同时,他们往往依赖目标领域中的少量有标数据才能取得理想的性能,即只能做成半监督域自适应方法;(2)已有很多基于深度表征学习的域自适应分类方法,在分类基准数据集上取得了突破性进展,但他们在回归数据集上的表现往往不够理想。因此,本文意在利用深度网络的表征能力,考虑回归问题的本质特点,提出一种适用于回归问题的无监督可迁移域自适应方法。

在这里插入图片描述

动机

为进一步探索域自适应回归问题,首先要回答的便是深度网络应用在回归问题上和分类问题上是否存在本质差别。为了给出该问题的其中一个答案,我们进行了初步的探索。最直观的一点,便是他们的损失函数有明显差异,分类问题中使用的往往是交叉熵(Cross-Entropy Loss,简称CE)损失函数,而在回归问题中使用的往往是平方差(Squared Loss,简称L2)损失函数。在分类问题中,往往需要将分类器最后一层的输出结果经过Softmax激活函数转化成类别概率,然后才能计算CE。这么做的一个好处就是,对于一个样本,只要分类器输出的激活值的相对大小顺序没有发生明显的变化,最后预测的结果就没有发生变化,因此分类结果理应具备快速适应特征尺度变化的能力。但在回归问题中,只要回归器输出的激活值发生变化,最后预测的结果就一定会发生变化。我们做实验分析了在两类问题中**,性能对特征尺度变化的鲁棒性**。
在这里插入图片描述
在图(a)中,我们探究了特征尺度变化对分类性能的影响;在图(b)中,我们探究了特征尺度(弗罗贝尼乌斯范数)变化对分类性能的影响;在图(c)中,我们探究了2类常见的域自适应方法对特征尺度的影响。 可以看到,和我们猜想的一样,在分类问题中,特征尺度变化,性能几乎不受影响,但在回归问题中特征尺度变化性能会受到严重的影响。 同时我们在上图中也展示了部分深度域自适应方法,对特征尺度会有明显的影响。 这说明,保持特征尺度不变,是解决域自适应回归问题的根本途径之一

分析

我们对特征矩阵进行奇异值分解(Singular Value Decomposition)后发现,特征可以分解为正交基和奇异值:
在这里插入图片描述
而特征尺度(Frobenius范数)仅仅与奇异值有关系:
在这里插入图片描述
这就说明,如果我们不使用奇异值,而是仅仅使用正交基来拉近领域之间的距离,就有可能不会改变特征尺度!后面,我们会先介绍一种基于正交基的相似度度量方式———主角(Principal Angle),然后针对性的提出一套基于正交基的迁移性表征学习框架。

主角(Principal Angle)

子空间是由一组正交基张成的(一个子空间的正交基可以不同,不同的正交基也可能张成相同的子空间)。 主角(Principal Angle)是子空间相似性度量中一种常见的度量方式。定义如下:
在这里插入图片描述
可以看到,第i个主角可以挖掘出两个子空间中夹角第i小的两个正交基,是一种合理的子空间度量方式,也是我们后续距离定义的基础。

表征子空间距离

表征子空间距离(Representation Subspace Distance)是利用主角定义的一种几何距离:
在这里插入图片描述
作为子空间中的距离度量,必须满足距离三公理(正定性,对称性,三角不等式):
在这里插入图片描述
利用线性代数的相关知识,这三条公理在附录中已经给出了证明,这里不再赘述。

至此,最小化表征子空间距离已经用于学习可迁移表征了,剩下的问题是如何计算主角。 在公式(1)中,我们已经通过对特征矩阵进行SVD得到了正交基:
在这里插入图片描述
而主角可以用SVD分解两个子空间的正交基矩阵的矩阵乘积得到:
在这里插入图片描述

正交基错配惩罚

在主角和表征子空间距离的定义中,我们发现了一个不合理的事实:正交基的匹配和计算,完全是一视同仁的。这是什么意思呢?在获得正交基的过程中:
在这里插入图片描述
我们可以发现,每个正交基实际上都对应着一个特征值,也就是说,不同正交基实际上是有重要性差别的!显然最大特征值对应的正交基是该子空间中最重要的正交基,而较小特征值对应的正交基则是该子空间中不太重要的正交基,很多时候甚至可以忽略。(如在PCA主成分分析中,这部分不重要的正交基实际上是可以被忽略从而达到降维的目的。)但是,在主角和表征子空间距离的计算中,两个子空间中的正交基只要相似度高,就可以无视其重要性(特征值大小的顺序)被匹配在一起,这显然是不利于达成域自适应的目的的(如迁移了源领域中小特征值的正交基的知识给目标领域中大特征值的正交基,就等同于将源领域的噪声信息传达给了目标领域的主要信息,这显然是有害的)。因此,我们提出了正交基错配惩罚(Basis Mismatch Penalization)来缓解这一问题:
在这里插入图片描述
这里的P矩阵即为计算主角的SVD过程中得到的P矩阵:
在这里插入图片描述
为什么正交基错配惩罚是这样的形式呢?这需要我们深入理解主角的计算过程:
在这里插入图片描述
上图是主角的计算过程,传达了2个重要信息: 1.主角是由主向量(Principal Vector)计算余弦相似度匹配得到的。 2.主向量是原特征矩阵正交基的一个加权和,可以将其理解成变换后的新正交基,也就是说主向量和正交基都是张成相同子空间的正交基,只是原特征矩阵正交基是可以明确对应一个特征值的,而主向量则是原正交基做了一个利于计算主角的线性变换得到的。因此,P矩阵实际上存储了每个主向量需要用到的正交基的权重。且实际实验中观察发现,每个主向量往往都被某个正交基支配。如果该权重完全相等,则意味着正交基的匹配完全考虑了特征值大小。 实际中由于领域差异,两个子空间中同样重要的正交基未必具有相同的语义信息,因此完全按照特征值大小匹配也未必合理,利用正交基错配惩罚给一个较小的正则项就可以取得良好的效果。

可迁移表征学习

本文的方法和其他深度域自适应方法相同,即具备有监督学习项和可迁移表征学习项:

(1)在源领域上的有监督学习:
在这里插入图片描述

(2)在源领域和目标领域上的可迁移表征学习:

在这里插入图片描述

最终组成了一个基于可迁移表征学习的域自适应回归方法:
在这里插入图片描述
最终的网络架构如下图所示,利用了2阶SVD得到了基于正交基的领域适应方法:
在这里插入图片描述

实验

本文利用了已有解耦表征学习领域的2个数据集,首次建立了2个新的域自适应回归基准(Benchmark),他们分别是2D的合成形状图像数据集dSprites和3D的虚拟现实数据集MPI3D。同时,我们也在现实的人体头部姿势估计数据集Biwi Kinect上验证了我们方法的有效性。

数据集介绍

dSprites中有4个回归任务和1个分类任务,如下表所示,但由于方向(Orientation)任务无法完全解耦(不同形状的物体,旋转角度的周期性不同),所以我们在此数据集中的回归任务为物体大小(Scale)和位置的横纵坐标(Position X, Position Y)。相关的图像示例如下图所示,由于共有3个领域,所以共可构建6个迁移任务。
在这里插入图片描述
在这里插入图片描述

MPI3D中有5个分类任务和2个回归任务,如下表所示,我们在此数据集中的回归任务也即为该数据集全部的回归任务(Horizontal Axis, Vertical Axis)。相关的图像示例如下图所示,由于共有3个领域,所以共可构建6个迁移任务。
在这里插入图片描述
在这里插入图片描述

Biwi Kinect中有3个回归任务,如下表所示,我们在此数据集中的回归任务也即为该数据集全部的回归任务(Pitch, Yaw and Roll)。相关的图像示例如下图所示,我们人为将其分为男性和女性两个领域,因此共有2个迁移任务。
在这里插入图片描述

实验结果

在这里插入图片描述
在这里插入图片描述

可以看出,我们的方法在各数据集上均有明显的提升,而部分深度域自适应分类方法也可以用在回归任务上且取得一定的性能提升。

总结与展望

本文对深度域自适应回归方法进行了初步探索,基于深度回归里存在的本质问题:输出对特征尺度的变化极为敏感这一特点,提出了基于正交基的可迁移表征学习方法。本文作为对深度域自适应回归问题的初步探索,希望能对后续的域自适应回归工作提供思路。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/163102.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

VA01/VA02/VA03 销售订单根据定价和步骤校验权限隐藏价格

1、业务需求 针对用户使用销售订单时,根据定价和步骤顺序,判断是否有权限,没有权限时隐藏销售订单抬头和行项目的部分价格数据 要限制的定价和步骤在spro中的位置 限制的步骤 2、增强实现 2.1权限对象 创建带有定价和步骤的权限对象 分配…

力扣刷题 day48:10-18

1.4的幂 给定一个整数,写一个函数来判断它是否是 4 的幂次方。如果是,返回 true ;否则,返回 false 。 整数 n 是 4 的幂次方需满足:存在整数 x 使得 n 4x 方法一:不断除以4 #方法一:不断除…

如何用工业树莓派和MQTT平台打通OT和IT?

一、应用设备 OT端设备:步进电机,MODBUS TCP远程I/O模块,PLC设备 边缘侧设备:宏集工业树莓派; IT端设备:PC、安卓手机; IT端软件:宏集HiveMQ MQTT通信平台 二、原理 宏集工业树…

python之自动化点餐定时任务

1、准备一个可执行的python文件 2、使用定时任务管理器配置定时任务 Cron是linux系统的任务管理器 2.1打开终端或控制台 2.2进入crontab编辑器: crontab -e 编辑crontab文件 crontab -l 列出当前用户的所有定时任务 crontab -r 删除当前用户的crontab文…

Web安全测试详解

前言 随着互联网时代的蓬勃发展,基于Web环境下的应用系统、应用软件也得到了越来越广泛的使用。 目前,很多企业的业务发展都依赖于互联网,比如,网上银行、网络购物、网络游戏等。但,由于很多恶意攻击者想通过截获他人…

虹科 | 解决方案 | 机械免拆压力测试方案

对于发动机的气门卡滞或气门开闭时刻错误、活塞环磨损、喷油嘴泄漏/堵塞等故障,往往需要解体发动机或拆卸部件才能发现;而对于某些轻微的故障,即使解体了发动机后也经常难于肉眼判别 虹科Pico提供的WPS500压力测试方案,可以动态测…

7+非肿瘤+WGCNA+分型+实验,筛选关键基因进一步分型以及表达验证

今天给同学们分享一篇非肿瘤WGCNA分型实验的生信文章“Identification of molecular subtypes and immune infiltration in endometriosis: a novel bioinformatics analysis and In vitro validation”,这篇文章于2023年8月18日发表在Front Immunol期刊上&#xff…

IPV6 ND协议--源码解析【根源分析】

ND协议介绍 ND介绍请阅读上一篇文章:IPv6知识 - ND协议【一文通透】11.NDP协议分析与实践_router solicitation报文中不携带source link-layer address-CSDN博客 ND协议定义了5种ICMPv6报文类型,如下表所示: NS/NA报文主要用于地址解析RS/…

GEE:绘制土地利用类型面积分布柱状图

作者:CSDN @ _养乐多_ 本文记录了,在 Google Earth Engine (GEE)中进行随机森林分类后绘制不同类型面积分布柱状图的代码片段。 完整代码请看博客《GEE:随机森林分类教程(样本制作、特征添加、训练、精度、参数优化、贡献度、统计面积)》 柱状图效果如下所示, 文章目…

高性能计算与多模态处理的探索之旅:英伟达GH200性能优化与GPT-4V的算力加速未来

★多模态大模型;GPU算力;LLMS;LLM;LMM;GPT-4V;GH200;图像识别;目标定位;图像描述;视觉问答;视觉对话;英伟达;Nvidia&#…

leetCode 392. 判断子序列 动态规划 + 优化空间 / 双指针 等多种解法

392. 判断子序列 - 力扣(LeetCode) 给定字符串 s 和 t ,判断 s 是否为 t 的子序列。字符串的一个子序列是原始字符串删除一些(也可以不删除)字符而不改变剩余字符相对位置形成的新字符串。(例如&#xff0c…

剖析深度学习中的epoch与batch_size关系、代码

目录 前言1. 定义2. 代码 前言 为了区分深度学习中这两者的定义,详细讲解其关系以及代码 1. 定义 在 PyTorch 中,“epoch”(周期)和 “batch size”(批大小)是训练神经网络时的两个重要概念 它们用于控…

【大数据】Kafka 入门简介

Kafka 入门简介 1.什么是 Kafka2.Kafka 的基本概念3.Kafka 分布式架构4.配置单机版 Kafka4.1 下载并解压包4.2 启动 Kafka4.3 创建 Topic4.4 向 Topic 中发送消息4.5 从 Topic 中消费消息 5.实验5.1 实验一:Python 实现生产者消费者5.2 实验二:消费组实现…

光伏电站绝缘阻抗异常排查方法

安科瑞 崔丽洁 概述 01 光伏发电是依托电力电子技术,利用太阳光照将太阳能转化为电能的系统。光伏发电不需要使用化石燃料,减少了发电时产生的污染,并且减少了能源消耗。光伏发电依托政策扶持,快速在国内普及。光伏发电与传统火电发电原理不同…

模糊测试面面观 | 车联网场景模糊测试解决方案

随着国际国内汽车信息安全标准的出台、用户安全意识的不断提高以及针对智能网联汽车安全攻击的不断规模化复杂化和深入,智能网联汽车系统及车联网安全形势严峻。 然而大部分车型在信息安全防护方面水平偏低,车内相关的联网部件及控制部件防护可靠性不高&…

Python接口自动化 —— token登录(详解)

简介 为了验证用户登录情况以及减轻服务器的压力,减少频繁的查询数据库,使服务器更加健壮。有些登录不是用 cookie 来验证的,是用 token 参数来判断是否登录。token 传参有两种一种是放在请求头里,本质上是跟 cookie 是一样的&am…

实时精准 自我防护 | 开源网安RASP平台能力获客户认可!

近日,开源网安收到了一封来自华润数科的感谢信,表达了对开源网安团队在网络安全工作中给予大力支持的衷心感谢。开源网安十分注重客户的需求和信任,客户的满意和认可是开源网安最大的追求。 在助力华润数科网络安全工作开展过程中&#xff0c…

1数据结构的分类,算法效率的度量

一,数据结构的定义和分类 数据结构:数据之间的关系即数据的逻辑结构,因为要存储到计算机里,所以视为将这个数据的逻辑结构映射到存储器里。即数据因为自身的和其他的数据的关系而在计算机内存储的方式。我们就归类了一些类型。 二…

【数据结构】栈(C语言实现)

📙 作者简介 :RO-BERRY 📗 学习方向:致力于C、C、数据结构、TCP/IP、数据库等等一系列知识 📒 日后方向 : 偏向于CPP开发以及大数据方向,欢迎各位关注,谢谢各位的支持 栈 1.栈1.1栈的概念及结构…

2023年中国商业版服务器操作系统市场发展规模分析:未来将保持稳定增长[图]

服务器操作系统一般指的是安装在大型计算机上的操作系统,比如Web服务器、应用服务器和数据库服务器等,是企业IT系统的基础架构平台,也是按应用领域划分的三类操作系统之一。同时服务器操作系统也可以安装在个人电脑上。 服务器操作系统分类 …