【论文阅读】Self-supervised Learning: Generative or Contrastive

Abstract

研究了在计算机视觉、自然语言处理和图形学习中用于表示的新的自监督学习方法。全面回顾了现有的实证方法,并根据其目的将其归纳为三大类:生成性、对比性和生成性对比(对抗性)。进一步收集了关于自我监督学习的相关理论分析,以对自我监督学习为什么有效提供更深入的思考。最后,简要讨论了自我监督学习的开放问题和未来方向。

Introduction

在这里插入图片描述
自监督学习可以看作无监督学习的一个分支,因为不涉及手工label,狭义地说,无监督学习专注于检测特定的数据模式,如聚类、社区发现或异常检测,而自监督学习旨在恢复,这仍然处于监督环境的范式中。
有监督学习是数据驱动型的,严重依赖昂贵的手工标记、虚假相关性和对抗性攻击。我们希望神经网络能用更少的标签、更少的样本和更少的试验来学习更多。自注意力话大量的注意力在数据有效性和生成能力。在2020年AAAI的受邀演讲中,图灵奖得主Yann LeCun将自我监督学习描述为“机器为任何观察到的部分预测其输入的任何部分”。
自监督学习的特征可以概括为:

  1. 通过使用半自动的过程从数据本身获得label
  2. 从数据的其他部分预测这一部分

在这里插入图片描述

上图是这个综述文章的分类,生成性、对比性和生成性对比(对抗性);以及每一个类别下的典型的方法。

自监督学习的动机

为了解决基本的OOD(泛化能力差,简单的多层感知器泛化能力非常差(总是假设分布外(OOD)样本呈线性关系))和生成的问题。
自我监督学习的成功最关键的一点是,它找到了一种方法来利用大数据时代可用的大量未标记数据。
自监督学习可以分为三大类:

  1. 生成式:训练一个encoder去编码输入x到明确的向量z,和一个解码器去从z重建x。(eg:the cloze test, graph generation)
  2. 对比式:训练一个encoder去编码输入到一个明确的向量z,去衡量相似性。(eg:mutual information maximizetion.instance discrimination)
  3. 生成对比式(对抗式):训练一个encoder-decoder去省城fakesamples 和一个鉴别器去区分真实样本和生成样本。(eg:GAN)

在这里插入图片描述
这三个类别不同在于架构和目标函数的不同。
不同点:

  1. 对于潜在分布z,在声称是和对比式方法中,z是明确的经常被应用于下游任务,而GAN中,z是隐式建模的。
  2. 对于鉴别器。这个生成的方式没有鉴别器,然而GAN和对比网络有。对比式的网络相对来说鉴别器有更少的参数。 (e.g., a multi-layer perceptron with 2-3 layers) than GAN (e.g., a standard ResNet [53])
    一张自监督学习综述的图
    在这里插入图片描述

生成式的自监督学习

AR

在计算机视觉中,PixelRNN和PixelCNN,总体思路是利用自回归访华逐像素的对图像进行建模。对于2D图像,自回归模型只能更具特定方向来分解改了,所以在CNN架构中采用了掩模滤波器。基于PixelCNN, WaveNet[130]——一种原始音频生成模型被提出。为了处理长期的时间依赖性,作者开发了扩展的因果卷积来改善接受野。此外,门控残差块和跳过连接被用来增强更好的表达能力。
自回归模型的优点是可以很好地对上下文依赖性进行建模。然而,AR模型的一个缺点是,每个位置的令牌只能从一个方向访问其上下文。

Flow-based Model

基于流的模型的目标是从数据中估计复杂的高维密度函数p(x)。

AE

灵活。AE由一个编码器网络h = f e n c ( x ) f_{enc}(x) fenc(x)和一个解码器网络x’ = f d e c ( x ) f_{dec}(x) fdec(x)(h)组成。AE的目标是使x和x’尽可能相似(如通过均方误差)。可以证明线性自编码器与PCA方法相对应。
除了基础的AE,还有CPM,Denoising AE Model,Variational AE Model。
在这里插入图片描述
VQ-VAE的体系结构。与VAE相比,原始的隐藏分布被量化的矢量字典所取代。此外,先前的分布被预先训练的PixelCNN取代,该PixelCNN对图像的分层特征进行建模。

Hybird Fenerative Models

包括结合AR和AE的模型、结合AE和Flow-based Model。

Pros and Cons

优点:不假设下游任务的情况下,重建原始图像分布的能力。现有的生成任务严重依赖生成式自监督学习。
缺点

  1. 生成子监督学习在一些分类情境下,相比于对比学习有很少的竞争力。因为对比学习的目标函数天然地符合分类学习的目标。
  2. 生成式模型逐点的特性使它有一些内在的缺点:敏感性和保守性分布,低级抽象的目标不适合一高级抽象目标的分类任务。
    作为一种相反的方法,生成对比式自我监督学习放弃了逐点目标。它转向更健壮的分布式匹配目标,并更好地处理数据流形中的高级抽象挑战。

对比自监督学习

分为两类:上下文-实例对比、实例-实例对比。

上下文-实例对比

注重于对局部特征和全局上下文语义的对比。
例如:Predict Relative Position
注重于学习局部部分之间的相对位置。全局的上下位作为一个隐式的需求。
在这里插入图片描述
Maximize Mutual Information
MI专注于学习局部部分和全局乡下问之间的直接的归属关系,局部位置之间的关系被忽略了。
在这里插入图片描述

实例-实例之间的对比

度量学习的一个重要重点是在提高负采样效率的同时执行硬正采样。它们可能在基于MI的模型的成功中发挥着更关键的作用。
作为替代,实例-实例对比学习抛弃了MI,直接研究不同样本的实例级局部表示之间的关系。对于广泛的分类任务,实例级表示比上下文级表示更为重要。

例如:Cluster Discrimination
Instance Discrimination(实例判别)
在这里插入图片描述
第一种是端到端的范式,有两个编码器,两个编码器都进行梯度更新,依赖于大的batchsize提供更多的负样本。第二个是有memory bank的方式,有一个编码器,只对这一个编码器进行梯度更新,负样本从memory bank中提取,每次都更新memory bank中随机位置的特征,特征一致性不好,每一个batchsize,模型都会更新,但是memory bank只更新一部分。正样本和负样本进行对比的时候,正样本是当前的encoder产生的,负样本不知道是什么时候的encoder产生的。第三个Moco使用动量编码器,在第一个基础上把右边的编码器改成动量编码器,并且采用队列形式的字典。把对比学习当作动态的字典查询问题。

在这里插入图片描述
SIMLR采用了多种数据增强和一个proj在最后加一个非线性层,获得了比Moco高的效果。
在这里插入图片描述

BYOL不用负样本,获得了很好的效果。

半监督自我训练的自我监督对比预训练

Chen等人[20]的SimCLR v2支持了上述结论,表明只有10%的原始ImageNet标签,通过联合预训练和自我训练,ResNet-50可以超过监督的。他们提出了一个三步框架:

  1. 像SimCLR v1一样进行自我监督的预训练,并进行一些小的架构修改和更深的ResNet.
  2. 仅使用1%或10%的原始ImageNet标签微调最后几层。
  3. 使用微调后的网络作为教师模型,在未标记的数据上产生标签,以训练较小的学生ResNet-50。知识蒸馏

优点和缺点

优点:对比学习没有解码器,因此对比学习是轻量级的,在下游鉴别任务中表现很好。
存在的问题

  1. 对比学习在NLP领域没有取得令人信服的结果。现在大多数在BERT上进行微调。。很少有算法被提出在预训练阶段应用对比学习。由于大多数语言理解任务都是分类的,因此对比语言预训练方法应该比目前的生成语言模型更好。
  2. 采样有效性。负抽样对于大多数对比学习是必须的,但这个过程通常是棘手的,有偏见的,耗时的。不清楚负样本在对比学习中的作用。
  3. 数据增强,数据增强能提高对比学习的性能。但它为什么以及如何起作用的理论仍然相当模糊。这阻碍了它在其他领域的应用,比如NLP和图学习,这些领域的数据是离散和抽象的。

生成对比学习

总之,对抗性方法吸收了生成法和对比法的优点,同时也存在一些缺点。在我们需要适应隐式分布的情况下,这是一个更好的选择。

使用完整输入

通过部分输入恢复

图像着色、图像修复、超分辨率

预训练语言模型

图学习

领域适应和多模态表示

优点和缺点

优点:生成-对比(对抗性)自监督学习在图像生成、转换和处理方面特别成功
缺点

  1. 在NLP和图领域应用受限。
  2. 容易坍塌
  3. 不是用于特征提取

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/236472.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Mac 安装Nginx教程

Nginx官网 Nginx官网英文 1.在终端输入brew search nginx 命令检查nginx是否安装了 2. 安装命令:brew install nginx 3. 查看Nginx信息命令brew info nginx 4. 启动 nginx方式:在终端里输入 nginx 5.查看 nginx 是否启动成功 在浏览器中访问http://l…

经典算法-模拟退火算法求解旅行商问题TSP

经典算法-模拟退火算法求解旅行商问题TSP 旅行商问题(Traveling Salesman Problem, TSP)是组合优化中的经典问题。简单地说,一个旅行商需要访问N个城市,并返回到出发城市,问题是找到最短的可能路线,使得每…

PPT插件-布局参考-增加便携尺寸功能

PPT自带的尺寸为很久的尺寸,很多尺寸不常用,这里增加一些画册尺寸,用于PPT排版设计。 软件介绍 PPT大珩助手是一款全新设计的Office PPT插件,它是一款功能强大且实用的PPT辅助工具,支持Wps Word和Office Word&#x…

B059-权限管理系统01

目录 知识点介绍项目演示项目搭建动态菜单查询分析(权限表分析)权限系统表分析角色模块pageInfopageHelper实现前端动态分页高级查询新增与修改删除角色 分配权限-表分析角色授权数据-一级和二级权限查询 知识点介绍 项目演示 准备数据库 准备工程auth_new tips:…

Android Studio打包有哪些优势

大家好,现在移动应用程序的快速发展,开发者需要一个强大又可靠的开发环境来创建和打包高质量的 Android 应用程序。Android Studio 是一款由 Google 官方开发的 Android 应用程序开发环境,提供了许多的优势和便利,那究竟都有哪些优…

使用Linux防火墙管理HTTP流量

在Linux系统中,防火墙是用于控制网络流量的重要工具。通过防火墙,你可以根据需要限制、过滤或允许特定的网络流量,从而提高系统的安全性。在处理HTTP流量时,防火墙可以帮助你实施访问控制、流量监控和其他安全策略。 iptables i…

持续赋能波卡生态创新,OneBlock+ 社区 2023 年度回顾

OneBlock 开发者社区成立于 2018 年,历经五年的积累与沉淀,已经成长为行业内领先的 Substrate 开发者社区。我们以成熟的社区生态,通过 Substrate 技术与波卡生态的相关优质文章、项目方与开发者专访、线上线下技术热点对谈、多阶段开发者课程…

C语言—数据类型

变量和基本数据类型 变量类型的概念 变量是在程序中可以发生变化的量,变量是有类型的,变量的类型决定了变量存储空间的大小以及如何解释存储的位模式。 1字节(Byte)8位(bit) 定义格式 存储类型 数据…

java JDBC 连接数据库(增删查改)

必须先插入工具包 代码 public static void main(String[] args) {DataSource ds JdbcHelper.getDs();System.out.println(ds);JdbcTemplate jdbcTemplatenew JdbcTemplate(ds);System.out.println(jdbcTemplate);//新增String sql1"insert into biao values(null,?,?,…

【Web】forward 和 redirect 的区别

🍎个人博客:个人主页 🏆个人专栏:Web ⛳️ 功不唐捐,玉汝于成 目录 前言 正文 Forward(转发): Redirect(重定向): 区别总结: …

主题-----读微信公众号

1.SOA 面向服务的架构(Service-Oriented Architecture,SOA)还没有一个公认的定义。许多组织从不同的角度和不同的侧面对 SOA 进行了描述,较为典型的有以下三个: (1)W3C 的定义:SOA 是…

Python基础知识:整理11 模块的导入、自定义模块和安装第三方包

1 模块的导入 1.1 使用import 导入time模块,使用sleep功能(函数) import time print("start") time.sleep(3) print("end")1.2 使用from 导入time的sleep功能 from time import sleep print("start") slee…

SpringMVC ResponseEntity常见使用场景

ResponseEntity 作为 Spring MVC controller层 的 HTTP response,包含 status code, headers, body 这三部分。 正常场景 RestController Slf4j public class SearchController {AutowiredUserService userService;RequestMapping(value "/getAllStudents4&…

ROS2学习笔记三:话题Topic

目录 前言 1 话题简介 2 常用指令 3 RCLCPP实现实现话题 3.1 创建工作空间 3.2 代码编写 3.2.1 发布端编写 3.2.2 发布端编写 前言 ROS2中的一个重要概念是话题(Topic)。话题是一种通过发布者和订阅者之间进行异步通信的机制。发布者&#xff0…

归并排序例题——逆序对的数量

做道简单一点的题巩固一下 归并排序实现步骤 将整个区间 [l, r] 划分为 [l, mid] 和 [mid1, r]。 递归排序 [l, mid] 和 [mid1, r]。 将左右两个有序序列合并为一个有序序列。 题目描述 给定一个长度为 n 的整数数列,请计算数列中的逆序对的数量。 逆序对的定义…

Java面试题(java高级面试题)

线程池的核心线程数设置为多大比较合理? Worker线程在执行的过程中,有一部计算时间需要占用CPU,另一部分等待时间不需要占用CPU,通过量化分析,例如打日志进行统计,可以统计出整个Worker线程执行过程中这两…

微信小程序开发学习笔记《8》tabBar

微信小程序开发学习笔记《8》tabBar 博主正在学习微信小程序开发,希望记录自己学习过程同时与广大网友共同学习讨论。tabBar官方文档 tabBar这一节还是相当重要的。 一、什么是tabBar tabBar是移动端应用常见的页面效果,用于实现多页面的快速切换。小…

GC2003七通道NPN 达林顿管,专为符合标准 TTL 而制造

GC2003 内部集成了 7 个 NPN 达林顿晶体管,连接的阵列,非常适合逻辑接口电平数字电路(例 如 TTL,CMOS 或PMOS 上/NMOS)和较高的电流/电压,如电灯电磁阀,继电器,打印机或其他类似的负…

NAND Separate Command Address (SCA) 接口数据传输解读

在采用Separate Command Address (SCA) 接口的存储产品中,DQ input burst和DQ output burst又是什么样的策略呢? DQ Input Burst: 在读取操作期间,数据以一种快速并行的方式通过DQ总线传送到控制器。在SCA接口下,虽然命令和地址信…

设计一个简易版的数据库路由

👏作者简介:大家好,我是爱吃芝士的土豆倪,24届校招生Java选手,很高兴认识大家📕系列专栏:Spring原理、JUC原理、Kafka原理、分布式技术原理、数据库技术🔥如果感觉博主的文章还不错的…