又被Transformer秀到了!结合小样本学习发A会!

在有限的数据资源下,为了训练出高性能的机器学习模型,我们常会考虑Transformer+小样本学习。

这是因为Transformer能从有限的数据中提取更多有用的信息,这样与小样本学习结合,可以更有效的帮助我们提高模型的性能,加速训练和推理,模型也能拥有更灵活的架构和更强的迁移学习能力。

因此Transformer+小样本学习也是当前机器学习领域的一个研究热点,有不少顶会成果,比如CVPR 2024的PriViLege框架以及AAAI 2023的SCAT网络。

目前这个方向正在快速发展中,建议想发顶会的同学围绕预训练策略、微调方法、数据增强技术等方面进行挖掘。当然为了方便各位,我这边也整理好了10篇Transformer+小样本学习新论文给大家参考,代码基本都有。

论文原文+开源代码需要的同学看文末

Pre-trained Vision and Language Transformers Are Few-Shot Incremental Learners

方法:论文提出了一个名为PriViLege的新型框架,用于处理小样本类增量学习任务。PriViLege框架利用在大型数据集上预训练的视觉和语言Transformer模型,通过一种新的预训练知识调整方法,以及两种新的损失函数:基于熵的散度损失和语义知识蒸馏损失,有效地解决了在大型模型中常见的灾难性遗忘问题。

创新点:

  • 提出了一种新颖的少样本类增量学习(FSCIL)框架,称为PriViLege,利用大规模预训练的视觉和语言变换器,显著提高了性能。

  • PKT引入了一种简单而有效的方法,通过选择性训练特定层来保护大模型的预训练知识,同时有效学习领域特定的知识。

  • 提出了新的熵基分歧损失,以增强基会话期间的判别能力,并将知识转移到增量会话中。

Few-shot 3d point cloud semantic segmentation via stratified class-specific attention based transformer network

方法:论文提出了一种分层类特定注意力Transformer网络,用于少样本3D点云语义分割,通过引入层次化结构和多头注意力机制来优化支持和查询间的关系,显著提高了分割性能并减少推理时间,相较于现有方法如MPTI和AttMPTI,其在S3DIS和ScanNet数据集上实现了新的最先进性能,推理时间减少约15%。

创新点:

  • 引入了一种新的分层类特定注意力Transformer网络,用于少样本3D点云语义分割。

  • 通过保留更多支持类别信息,改善了对查询点云特征的处理。

  • 设计了一种网络,将查询点云的多尺度特征与标记的支持样本条件聚合,以更好地探索它们之间的关系。

Supervised masked knowledge distillation for few-shot transformers

方法:论文提出一种在小样本学习(FSL)中表现优异的知识蒸馏框架,以解决视觉Transformer在小数据集上的泛化问题,通过引入掩码图像建模(MIM)和改进的损失函数,实现更具语义意义的特征嵌入,从而在无需大批量和负样本的情况下提高模型的泛化能力。

创新点:

  • 提出了一种新的监督知识蒸馏框架,将类标签信息融入自我蒸馏中,弥合了自监督知识蒸馏与传统监督学习之间的差距。

  • 通过使用加权平均池化而非[cls]标记,提升了小样本学习的性能。

Linknet-spectral-spatial-temporal transformer based on few-shot learning for mangrove loss detection with small dataset

方法:作者提出了一个名为LSST-Former的模型,该模型结合了全卷积网络(FCN)和Transformer基础结构,并融入了小样本学习算法,用于从Sentinel-2图像中提取光谱-空间-时间信息,以有限的标签数据检测红树林损失。该模型在红树林损失检测任务中实现了99.59%的整体准确率。

创新点:

  • LSST-Former模型创新性地将全卷积网络与Transformer架构相结合,利用FCN进行空间-光谱特征提取,再通过Transformer进行时空特征的进一步分析,以处理小样本学习任务。

  • 该模型针对标记样本数量有限的情况,通过少量样本学习算法有效地提高了红树林损失检测的准确性。

  • LSST-Former模型能够综合利用光谱、空间和时间信息,通过多层Transformer网络对不同尺度的查询点云特征进行聚合,提高了对红树林损失的检测性能。

关注下方《学姐带你玩AI》🚀🚀🚀

回复“小样本T”获取全部论文+开源代码

码字不易,欢迎大家点赞评论收藏

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/443913.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Vue84 vue3项目结构分析

打开main.js文件,发现和vue2不同 //引入的不再是Vue构造函数了,引入的是一个名为createApp的工厂函数 import { createApp } from vue import App from ./App.vue//创建应用实例对象——app(类似于之前Vue2中的vm,但app比vm更“轻”) const …

Chrome(谷歌)浏览器 数据JSON格式美化 2024显示插件安装和使用

文章目录 目录 文章目录 安装流程 小结 概要安装流程技术细节小结 概要 没有美化的格式浏览器展示 美化之后效果图 安装流程 下载地址 https://github.com/gildas-lormeau/JSONVue 点击下载 下载成功,如图所示 解压文件 添加成功,如图所示 通过浏览器…

Python测试框架--Allure

严格意义上讲 Allure 不算是测试框架,但是它是生成漂亮测试报告的开源工具,搭配 Pytest 测试框架食用更搭。 也就是说 Allure 是在 Pytest 执行完生成的测试数据的基础上,对测试数据进行处理统计,生成格式统一、美观的测试报告。 …

C语言函数栈帧的创建与销毁(32)

文章目录 前言一、什么是函数栈帧?二、理解函数栈帧能解决什么问题?三、函数栈帧的创建和销毁解析什么是栈?认识相关寄存器和汇编指令 四、解析函数栈帧的创建和销毁预备知识函数的调用堆栈准备环境转到反汇编函数栈帧的创建函数栈帧的销毁 五…

FreeRTOS学习总结

背景:在裸机开发上,有时候我们需要等待某个信号或者需要延迟时,CPU的运算是白白浪费掉了的,CPU的利用率并不高,我们希望当一个函数在等待的时候,可以去执行其他内容,提高CPU的效率,同…

视频格式不支持播放怎么办?几招教你转换成mp4格式

视频已成为我们生活中不可或缺的一部分,无论是学习、娱乐还是工作交流,视频都扮演着重要角色。然而,在享受视频带来的便利时,我们时常会遇到一个令人头疼的问题——视频格式不支持播放。不同设备、平台和软件对视频格式的支持各不…

什么是组态软件?Web组态软件又是什么?

从事相关工作的对“组态软件”应该都不陌生,那Web组态软件又是什么呢?本文将对Web组态可视化软件(下称“Web组态软件”)做简单介绍,可视化编辑器是Web组态软件中的一个重要功能模块。除了编辑器,还有哪些功能模块?又…

leetcode---素数,最小质因子,最大公约数

1 判断一个数是不是质数(素数) 方法1&#xff1a;依次判断能否被n整除即可&#xff0c;能够整除则不是质数&#xff0c;否则是质数 方法2&#xff1a;假如n是合数&#xff0c;必然存在非1的两个约数p1和p2&#xff0c;其中p1<sqrt(n)&#xff0c;p2>sqrt(n)。 方法3&…

医院管理新思维:Spring Boot技术应用

5系统详细实现 5.1 医生模块的实现 5.1.1 病床信息管理 医院管理系统的医生可以管理病床信息&#xff0c;可以对病床信息添加修改删除操作。具体界面的展示如图5.1所示。 图5.1 病床信息管理界面 5.1.2 药房信息管理 医生可以对药房信息进行添加&#xff0c;修改&#xff0c;…

Java中System类和RunTime类的Api

目录 System 类 1)out 2)err 3)in 4)currentTimeMillis() 5)nanoTime() 6)arraycopy(Object 要从里面复制东西的数组, int 要从里面复制东西数组的索引起始位置, Object 获得复制元素的数组, int 获得复制元素数组的起始索引, int 要复制东西的个数) 7)gc() 8)exit(int status)…

运维工具之ansible

Ansible 1.什么是ansible? ​ ansible是基于ssh架构的自动化运维工具&#xff0c;由python语言实现&#xff0c;通过ansible可以远程批量部署等。 2.部署前提 ​ 控制端需要安装ansible,被控制端要开启ssh服务&#xff0c;并允许远程登录&#xff0c;被管理主机需要安装py…

探讨Facebook在全球社交网络中的技术优势

Facebook作为全球最大的社交网络之一&#xff0c;其技术优势在于多个方面&#xff0c;这些优势不仅塑造了用户体验&#xff0c;也影响了整个社交媒体生态。 个性化用户体验 Facebook通过分析用户的行为和兴趣&#xff0c;提供个性化的内容推荐。利用机器学习算法&#xff0c;平…

仅用一分钟,AI如何帮你构建完整的论文初稿?揭秘背后科技!

大家好&#xff01;在今天的分享中&#xff0c;我们将深入探讨一项令人兴奋的技术进展&#xff1a;仅用一分钟&#xff0c;AI如何帮助你构建一篇完整的论文初稿。这项技术不仅节省了研究人员和学生的宝贵时间&#xff0c;还改变了我们对学术写作的传统认知。 首先&#xff0c;…

【读书笔记·VLSI电路设计方法解密】问题10:从概念到硅片开发SoC芯片的主要任务

从概念到硅片的SoC芯片开发过程可分为以下四个任务&#xff1a;设计、验证、实现和软件开发。 设计&#xff1a;通常从市场调研和产品定义开始&#xff0c;然后进行系统设计&#xff0c;最后以RTL编码结束。验证&#xff1a;确保芯片按照设计规格能够准确执行功能&#xff0c;…

深度学习500问——Chapter17:模型压缩及移动端部署(4)

文章目录 17.9 常用的轻量级网络有哪些 17.9.1 SequeezeNet 17.9.2 MobileNet 17.9.3 MobileNet-v2 17.9.4 Xception 17.9 常用的轻量级网络有哪些 17.9.1 SequeezeNet SqueezeNet出自 F.N.landola, S.Han等人发表的论文《SqueezeNet&#xff1a;ALexNet-level accuracy with…

目标检测中的损失函数

损失函数是用来衡量模型与数据的匹配程度的&#xff0c;也是模型权重更新的基础。计算损失产生模型权重的梯度&#xff0c;随后通过反向传播算法&#xff0c;模型权重得以更新进而更好地适应数据。一般情况下&#xff0c;目标损失函数包含两部分损失&#xff0c;一个是目标框分…

RandLA-Net PB 模型 测试

tensorflow ckpt 模型 转换 pb 模型, 测试模型是否正确, 后续实现 c++ 部署。 Code: https://github.com/QingyongHu/RandLA-Net 测试PB 模型 RandLANetConvert.py import tensorflow.compat.v1 as tf tf.disable_v2_behavior

R语言中的plumber介绍

R语言中的plumber介绍 基本用法常用 API 方法1. GET 方法2. POST 方法3. 带路径参数的 GET 方法 使用 R 对数据进行操作处理 JSON 输入和输出运行 API 的其他选项其他功能 plumber 是个强大的 R 包&#xff0c;用于将 R 代码转换为 Web API&#xff0c;通过使用 plumber&#x…

PowerJob做定时任务调度

提示&#xff1a;文章写完后&#xff0c;目录可以自动生成&#xff0c;如何生成可参考右边的帮助文档 文章目录 前言一、区别对比二、使用步骤1. 定时任务类型2.PowerJob搭建与部署 前言 提示&#xff1a;这里可以添加本文要记录的大概内容&#xff1a; PowerJob是基于java开…

如何优化抖音直播间数据?

在数字驱动的时代&#xff0c;缺乏精准的数据支撑&#xff0c;任何线上活动都难以形成有效的流量循环。特别是在抖音直播这一领域&#xff0c;深入理解并优化核心数据&#xff0c;是提升直播效果、吸引并留住观众的关键。那么&#xff0c;抖音直播平台在评估一场直播时&#xf…