UNext:基于 MLP 的快速医学图像分割网络

UNext

  • 会议分析
    • 摘要
    • 贡献
    • 方法
      • 整体框架
      • 1.Shifted MLP
      • 2.Tokenized MLP Stage
    • 实验
      • 1.对比实验
      • 2.消融实验
        • 2.1 模块的消融实验
        • 2.2 通道数的探索
  • 可借鉴参考

会议分析

期刊(会议)名: MICCAI 2022
会议信息: 属于顶会了
有代码: UNxet

摘要

UNet 及其最新扩展(如 TransUNet)近年来一直是领先的医学图像分割方法。然而,这些网络无法有效地用于point-of-care应用中的快速图像分割,因为它们参数繁重、计算复杂且使用缓慢。为此,我们提出了 UNeXt,它是一种基于卷积多层感知器(MLP)的图像分割网络。我们以有效的方式设计了 UNeXt,其中包括早期卷积阶段和潜在阶段的 MLP 阶段。 我们提出了一个标记化的 MLP 块,我们可以在其中有效地标记和投影卷积特征,并使用 MLP 来对表示进行建模。为了进一步提高性能,我们建议在输入 MLP 时改变输入通道,以便专注于学习局部依赖关系。在潜在空间中使用标记化 MLP 可以减少参数数量和计算复杂性,同时能够产生更好的表示以帮助分割。该网络还由各级编码器和解码器之间的跳跃连接组成。我们在多个医学图像分割数据集上测试了 UNeXt,结果表明我们将参数数量减少了 72 倍,计算复杂度降低了 68 倍,推理速度提高了 10 倍,同时还获得了比最先进的医学图像更好的分割性能分段架构。


贡献

  1. 我们提出了 UNeXt,第一个基于卷积 MLP 的图像分割网络。
  2. 我们提出了一种新颖的具有轴向位移的标记化 MLP 块,以有效地学习潜在空间的良好表示。
  3. 我们成功地提高了医学图像分割任务的性能,同时具有较少的参数、较高的推理速度和较低的计算复杂度。


方法

整体框架

在这里插入图片描述
注意:

  1. 各层的通道数为32、64、128、160、256 而不是标准的U-Net通道数,这个是降低参数量和计算量最直接的方法;
  2. 前三层用的卷积模块;后两层使用标记的多层感知机模块;

1.Shifted MLP

在这里插入图片描述
先横向移动,后纵向移动,这些特征在高度和宽度上按顺序移动,以诱导网络中的窗口局部性

2.Tokenized MLP Stage

在这里插入图片描述
说的和做的好像有丢丢不一样,代码学习ing, 🐕😀

实验

两个公共数据集:ISIC 2018皮肤病变分割数据集和BUSI 乳腺超声数据集
损失函数:
在这里插入图片描述

1.对比实验

详细对比了五种模型两个数据集上Params、GFLOPs、Inference Speed、F1-Score、IoU的指标
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
作为会议文章,结果分析的很少,但是有代码,要去好好学学 😀

2.消融实验

2.1 模块的消融实验

在这里插入图片描述
消融实验主要是1 原始UNet;2 减少通道数的UNet;3 只保留前三层的UNet(也是UNeXt的前半部分);4 3+标记的多层感知机模块; 5 4+深度分离卷积做的位置编码模块; 6 5+横向偏移标记的多层感知机; 7 5+纵向偏移标记的多层感知机; 8 Proposed
可以看出来模块的添加没有带来额外的开销,并且提升效果也很显著

2.2 通道数的探索

在这里插入图片描述
全是实验,没有技巧 ;之前自己做实验的时候,也发现通道数的改变是降低模型开销最直接的方法

可借鉴参考

  1. 实时护理 Point-of-care 降低参数量和计算量的切入口
    Vashist, S.K.: Point-of-care diagnostics: Recent advances and trends. Biosensors 7(4), 62 (2017)

  2. 代码: UNxet

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/130817.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

3D视觉测量:3D空间圆拟合优化

文章目录 0. 测试效果1. 测量思路2. 部分调用代码文章目录:形位公差测量关键内容:通过视觉方法实现GD&T中的圆孔位置定位0. 测试效果 1. 测量思路 空间圆拟合是指在三维空间中找到最佳拟合圆的过程。这通常用于从一组三维点数据中找到一个圆,以最小化数据点到圆的距离之…

百度地图3D棱柱鼠标事件

百度地图2D API JavaScript API | 百度地图API SDK 百度地图3D API jspopularGL | 百度地图API SDK 3D棱柱效果如下 一. 渲染地图 var map new BMapGL.Map(container, {style: {styleJson: styleJson2} }) map.centerAndZoom(new BMapGL.Point(116.404, 39.925), 9); map…

通过rabbitmq生成延时消息,并生成rabbitmq镜像

通过rabbitmq生成延时消息队列,并生成rabbitmq镜像 整体描述1. 使用场景2. 目前问题3. 前期准备 具体步骤1. 拉取镜像2. 运行镜像3. 安装插件4. 代码支持4.1 config文件4.2 消费监听4.2 消息生产 5. 功能测试 镜像操作1. 镜像制作2. 镜像导入 总结 整体描述 1. 使用…

2023年中国光伏行业研究报告

第一章 行业概况 1.1 定义 光伏行业,也称为太阳能光伏行业,是一个专注于利用光伏技术将太阳能转化为电能的领域。该行业涵盖了太阳能电池的制造、光伏系统的设计、安装和维护,以及电能的销售和供应。光伏技术的核心是光伏效应,通…

java设计模式之观察者模式

. 基本概念 观察者(Observer)模式中包含两种对象,分别是目标对象和观察者对象。在目标对象和观察者对象间存在着一种一对多的对应关系,当这个目标对象的状态发生变化时,所有依赖于它的观察者对象都会得到通知并执行它…

图片怎么压缩大小?这样压缩图片很简单

在日常生活中,我们常常需要处理各种各样的图片文件,但有时候图片的大小可能会成为问题。比如在上传图片到网站或者将图片发送给朋友时,过大的图片可能会导致上传速度变慢或者占用过多内存。这时,我们就需要用到图片压缩了&#xf…

python 语法入门

文章目录 前言python 语法入门1. 语句分隔符2. 注释3. pep8规范4. 变量5. 扩展5.1. 运行此行代码的过程 前言 如果您觉得有用的话,记得给博主点个赞,评论,收藏一键三连啊,写作不易啊^ _ ^。   而且听说点赞的人每天的运气都不会…

SegGPT: Segmenting Everything In Context论文笔记

论文https://arxiv.org/pdf/2304.03284.pdfCodehttps://github.com/baaivision/Painter 文章目录 1. 背景2. Motivation3. Method3.1 In-Context Coloring3.2 Context Ensemble3.3 In-Context Tuning 1. 背景 在Painter中,将各种密集预测任务视为一种着色问题。 在…

类和对象(1)

文章目录 1.面向过程和面向对象初步认识2.类的引入3.类的定义4.类的访问限定符和封装4.1访问限定符4.2封装 5.类的作用域6.类的实例化6.2结构体内存对齐规则 7.this指针7.2this指针的特性 封装(补充) 1.面向过程和面向对象初步认识 C面向对象但不纯面向…

【Python】爬虫基础

爬虫是一种模拟浏览器实现,用以抓取网站信息的程序或者脚本。常见的爬虫有三大类: 通用式爬虫:通用式爬虫用以爬取一整个网页的信息。 聚焦式爬虫:聚焦式爬虫可以在通用式爬虫爬取到的一整个网页的信息基础上只选取一部分所需的…

关于运行franka_ros包中的franka_gazebo报错VMware: vmw_ioctl_command error 无效的参数.

参考的博文,感谢,解决Vmware下虚拟机下打开gazebo报错 ,VMware: vmw_ioctl_command error 无效的参数. 首先第一个VMware: vmw_ioctl_command error 无效的参数的问题。这应该是虚拟机的bug,毕竟使用虚拟机和真实的物理机上是有差…

Error from server (NotFound): pods “nginx-57d84f57dc-b866m“ not found

原因:机房断电,导致服务重启 [rootmaster1 logs]# kubectl get pod NAME READY STATUS RESTARTS AGE nginx-57d84f57dc-57fkf 1/1 Running 0 75s [rootmaster1 logs]# kubectl logs -f nginx-5…

CPU-主存储器-副存储器-RAM-ROM-内存-运存-外存-硬盘-闪存-GPU-显存——关于这一系列概念的理解

文章目录 概念梳理CPU主存储器/内存/RAM/运存ROM副存储器/外存硬盘(电脑)、闪存(手机)GPU显存 可参考的手机内部结构示意图 做计算机组成原理上的题的时候,发觉自己对RAM和ROM的概念理解有所缺失,在看完一些…

QT Pyside2 Designer 的基本使用

文章目录 前言PySide2PySide2 Designer 一、安装PySide2、PyQt5二、使用designer.exe2.1 工具的大致介绍2.2 创建一个新的UI2.3 UI文件另存为/保存(CtrlS)2.4 使用python操作UI文件 总结 前言 PySide2 QT PySide2 是一个用于 Python 编程语言的开源框架,它提供了与…

Faster Rcnn

一、公用特征Feature Maps的获取 二、Region Proposal Network Feature Maps[bs,1024,38,38]经过3*3卷积,然后分别经过两个1*1的卷积,通道数分别为18,36 18 9*2 代表每个位置9个先验框为背景和目标的概率 36 9*4 代表每个位置9个先验框的…

pinduoduo(商品详情)API接口

为了进行电商平台 的API开发,首先我们需要做下面几件事情。 1)开发者注册一个账号 2)然后为每个pinduoduo应用注册一个应用程序键(App Key) 。 3)下载pinduoduo API的SDK并掌握基本的API基础知识和调用 4&#xff…

【Terraform】Terraform自动创建云服务器脚本

Terraform 是由 HashiCorp 创建的开源“基础架构即代码”工具 (IaC) 使用HCL(配置语言)描述云平台基础设施(这里教你使用低级基础设施:交换机、云服务器、VPC、带宽) Terraform提供者&#xf…

数据结构和算法(5):二叉树

树 向量允许通过下标或秩,在常数的时间内找到目标对象;然而,一旦需要对这类结构进行修改,那么无论是插入还是删除,都需要耗费线性的时间。 列表允许借助引用或位置对象,在常数的时间内插入或删除元素&…

Springboot整合JWT完成验证登录

目录 一、引入依赖二、JwtUtil 代码解读三、LoginController 代码解读四、整体代码五、结果展示 一、引入依赖 <dependency><groupId>io.jsonwebtoken</groupId><artifactId>jjwt</artifactId><version>0.9.1</version></depende…

el-table 实现表、表格行、表格列合并

最近写vue开发项目的时候&#xff0c;很多地方用到了Element组件中的Table 表格。经过一周的边学边做&#xff0c;我总结了以下三种有关表格的合并方法。 一、合并表头 话不多说&#xff0c;先看效果图 代码如下&#xff1a; 表格结构如上&#xff0c;其中:header-cell-style对…