Unet nn-Unet

Unet && nn-Unet:

  • 文章题目:U-Net: Convolutional Networks for Biomedical
    Image Segmentation
  • 代码:https://lmb.informatik.uni-freiburg.de/people/ronneber/u-net/
  • 文章题目:nnU-Net: Self-adapting Framework for U-Net-Based Medical Image Segmentation
  • 代码:https://github.com/PaddlePaddle/PaddleSeg

学习内容:

  1. Unet
  2. nn-Unet

Unet原文对照理解:

Ori:在这里插入图片描述
“ We modify and extend this architecture such that it works with very few training images and yields more precise segmentations; see Figure 1. The main idea in [9] is to supplement a usual contracting network by successive layers, where pooling operators are replaced by upsampling operators. Hence, these layers increase the resolution of the output. In order to localize, high
resolution features from the contracting path are combined with the upsampled output. A successive convolution layer can then learn to assemble a more precise output based on this information.”

理解
Unet是一种能够利用非常少的训练图片生成更加精准的分割的结构。其中的全连接层网络中的池化层被上采样操作替代,以此得到更加高分辨率的输出。具体的,为了定位,高分辨率的特征(copy and crop操作得到的特征)和上采样得到的特征进行组合,再进行卷积操作后得到更加精确的输出信息。


nn-Unet原文对照理解:

1. nn-Unet的动机 -> Unet

Ori:
“The U-Net [6] is a successful encoder-decoder network that has received a lot
of attention in the recent years. Its encoder part works similarly to a traditional
classification CNN in that it successively aggregates semantic information at the
expense of reduced spatial information. Since in segmentation, both semantic as
well as spatial information are crucial for the success of a network, the missing
spatial information must somehow be recovered. The U-Net does this through
the decoder, which receives semantic information from the bottom of the ’U’
and recombines it with higher resolution feature maps obtained directly from
the encoder through skip connections. Unlike other segmentation networks, such
as FCN [9] and previous iterations of DeepLab [10] this allows the U-Net to
segment fine structures particularly well.”

理解
nn-Unet论文中指出,对于Unet,其encoder和传统CNN类似,虽然能连续地聚集语义信息,但却是以丢失空间信息作为代价。Unet中的decoder却能在一定程度上恢复这些空间信息。即通过重新组合通过上采样操作的特征和直接从encoder中通过跳过连接(类resnet,可确保特征的可重用性))获得的高分辨率特征。这使得Unet能够分割更加精细的语义结构。

2. nn-Unet的动机 -> 医学图像

Ori:
“Medical images commonly encompass a third dimension.”
“we consider a pool of basic U-Net architectures consisting of a 2D U-Net, a 3D U-Net and a U-Net Cascade”
“2D U-Net Intuitively, using a 2D U-Net in the context of 3D medical image segmentation appears to be suboptimal because valuable information along
the z-axis cannot be aggregated and taken into consideration. However, there
is evidence [13] that conventional 3D segmentation methods deteriorate in performance if the dataset is anisotropic (cf. Prostate dataset of the Decathlon challenge).”
“3D U-Net A 3D U-Net seems like the appropriate method of choice for 3D
image data. In an ideal world, we would train such an architecture on the entire
patient’s image. In reality however, we are limited by the amount of available
GPU memory which allows us to train this architecture only on image patches.
While this is not a problem for datasets comprised of smaller images (in terms
of number of voxels per patient) such as the Brain Tumour, Hippocampus and
Prostate datasets of this challenge, patch-based training, as dictated by datasets
with large images such as Liver, may impede training. This is due to the limited
field of view of the architecture which thus cannot collect sufficient contextual
information to e.g. correctly distinguish parts of a liver from parts of other
organs.”

理解
nnUnet针对处理通常是3D的医学图像,结合一个3D,一个2D,以及一个一维的Unet,搭建了一个框架池。
对于2D Unet参与的必要性:因为常规的3D分割方法在anisotropic(各异向性)的数据集上会有糟糕的表现。
对于3D Unet参与的必要性:绝对的,3DUnet对于3D图像是一个合适的方法。但是,因为受限于GPU的计算能力,只能在patch上进行计算。这对于小图像(取决于voxels的数量)不是问题,例如脑肿瘤,前列腺和海马体。但是对于大图像,例如肝脏,3DUnet会因为无法收集到充分的上下文信息而受限。

Ori:在这里插入图片描述
To address this practical shortcoming of a 3D U-Net on datasets with large image sizes, we additionally propose a cascaded model. Therefore, a 3D U-Net is first trained on downsampled images (stage 1). The segmentation results of this U-Net are then upsampled to the original voxel spacing and passed as additional (one hot encoded) input channels to a second 3D U-Net, which is trained on patches at full resolution (stage 2). See Figure 1.

理解
U-Net Cascade:有两个相同结构的3D U-Net ,第一个3D U-Net 的输出crop后,进行one hot 编码后,作为第二个3D U-Net 的书,最后的输出是一个高分辨率的分割。

3. nn-Unet的网络拓扑动态适应

  • 技术笔记 2 遍
  • CSDN 技术博客 3 篇
  • 习的 vlog 视频 1 个

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/35113.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【扩散模型入门】Latent Diffusion

1. 概述 扩散模型为公众所知的一个主要原因是Stable Diffusion(SD)的推出展现出了远超以往的图像合成效果,而SD的主要技术就是Latent Diffusion Model(LDM)。 实际上,LDM的核心idea非常简单: 为了确保生成质量,LDM尽可能提升去噪模型的规模。提升模型规模往往也会同步…

搭建主从服务器

任务需求 客户端通过访问 www.nihao.com 后,能够通过 dns 域名解析,访问到 nginx 服务中由 nfs 共享的首页文件,内容为:Very good, you have successfully set up the system. 各个主机能够实现时间同步,并且都开启防…

SAP HANA on AWS Amazon Web Services

SAP HANA on AWS Amazon Web Services

vue项目如何实现条件查询?

目录 1.前端 2.后端 3.mybatis的sql语句 结语 1.前端 说白了就是,无论该参数是否是空字符串,都会传递到后端。(反正不是null就行)。 2.后端 在controller层中,使用RequestParam注解接收名为registerName的参数&…

C++:类对象的存储方式

如何计算类对象的大小 class A { public: void PrintA() { cout<<_a<<endl; } private: char _a; }; 类中既可以有成员变量&#xff0c;又可以有成员函数&#xff0c;那么一个类的对象中包含了什么&#xff1f;如何计算 一个类的大小&#xff1f; 类对象的存储方…

Windows 图形显示驱动开发-WDDM 3.0功能- 硬件翻转队列(一)

WDDM 3.0 之前的翻转队列模型 许多新式显示控制器支持对按顺序显示的多个帧排队的能力。 从 WDDM 2.1 开始&#xff0c;OS 支持将在下一个 VSync 中显示的多个未完成的翻转覆盖请求。 显示微型端口驱动程序 (KMD) 通过 DXGK_DRIVERCAPS 中的 MaxQueuedMultiPlaneOverlayFlipVS…

OSPF-5 3类LSA SummaryLSA

上一期我们介绍了2类LSA Network LSA的内容信息以及怎样从2类LSA中的信息描绘出一张具体的拓扑信息以及网段信息 这一期我们将介绍3类LSA Summary LSA区域间的LSA看看3类LSA是怎样把域间的路由信息传递到别的区域的 一、概述 由于3类LSA是用来描述我们域间的路由信息所以它是…

AI驱动的视频字幕提取与翻译工具

青梧字幕是一款基于Whisper技术的AI字幕提取工具&#xff0c;专为视频制作者、翻译人员和自媒体创作者设计。它通过先进的语音识别算法&#xff0c;能够自动从视频文件中提取字幕内容&#xff0c;并支持多种语言和字幕格式&#xff0c;极大地简化了字幕制作流程。 目前暂支持 …

ONNX:统一深度学习工作流的关键枢纽

引言 在深度学习领域&#xff0c;模型创建与部署的割裂曾是核心挑战。不同框架训练的模型难以在多样环境部署&#xff0c;而 ONNX&#xff08;Open Neural Network Exchange&#xff09;作为开放式神经网络交换格式&#xff0c;搭建起从模型创建到部署的统一桥梁&#xff0c;完…

第十一次CCF-CSP认证(含C++源码)

第十一次CCF-CSP认证 打酱油满分题解 公共钥匙盒满分题解solution 1solution 2&#xff08;优先队列优化&#xff09; 通信网络&#xff08;图的遍历问题&#xff09;满分题解 打酱油 题目链接 满分题解 思路&#xff1a;做完这题我觉得这里有点像贪心算法但又是常识性问题&a…

深入解析Hosts文件:从原理到实战应用(文末附Qwins下载)

深入解析Hosts文件&#xff1a;从原理到实战应用 在网络世界中&#xff0c;一个看似普通的系统文件——Hosts文件&#xff0c;却隐藏着操控域名解析的“上帝权限”。无论是开发者的本地测试、网络安全防护&#xff0c;还是普通用户屏蔽广告&#xff0c;都离不开它的身影。本文将…

SpringBoot 和vue前后端配合开发网页拼图10关游戏源码技术分享

今天分享一个 前后端结合 的网页游戏 开发项目源码技术。 这也是我第一次写游戏类的程序&#xff0c;虽然不是特别复杂的游戏&#xff0c;但是是第一次写&#xff0c;肯定要记录一下了&#xff0c;哈哈。 游戏的内容 就是 我们显示中玩的那个 拼图碎片的 游戏&#xff0c;类似下…

TSB - AD 解读 — 迈向可靠、透明的 TSAD 任务

目录 一 文章动机 二 TSAD 领域内的两类缺陷 三 数据集的构建 四 实验结果及结论 项目宣传链接&#xff1a;TSB-AD 代码链接&#xff1a; TheDatumOrg/TSB-AD: TSB-AD: Towards A Reliable Time-Series Anomaly Detection Benchmark 原作者解读&#xff1a;NeurIPS 2…

Java 大视界 -- Java 大数据机器学习模型的对抗攻击与防御技术研究(137)

&#x1f496;亲爱的朋友们&#xff0c;热烈欢迎来到 青云交的博客&#xff01;能与诸位在此相逢&#xff0c;我倍感荣幸。在这飞速更迭的时代&#xff0c;我们都渴望一方心灵净土&#xff0c;而 我的博客 正是这样温暖的所在。这里为你呈上趣味与实用兼具的知识&#xff0c;也…

Python 鼠标轨迹算法 - 防止游戏检测

一.简介 鼠标轨迹算法是一种模拟人类鼠标操作的程序&#xff0c;它能够模拟出自然而真实的鼠标移动路径。 鼠标轨迹算法的底层实现采用C/C语言&#xff0c;原因在于C/C提供了高性能的执行能力和直接访问操作系统底层资源的能力。 鼠标轨迹算法具有以下优势&#xff1a; 模拟…

C++11 lambda表达式、包装器、Bind绑定

Hello&#xff01;大家早上中午晚上好&#xff01;&#xff01;今天来复习C11三个新加的特性&#xff01;&#xff01; 一、lambda 表达式 1.1什么是lambda表达式&#xff1f; 语法&#xff1a;[捕捉列表]&#xff08;参数列表&#xff09;->返回值{函数体}&#xff1b; …

计算机网络:(二)计算机网络在我国发展与网络类别与性能 (附带图谱更好对比理解)

计算机网络&#xff1a;&#xff08;二&#xff09;计算机网络在我国发展与网络类别和性能 前言一、计算机网络在我国的发展二、计算机网络的类别1. 计算机网络的定义2. 不同类别的计算机网络&#xff08;1&#xff09;按覆盖范围分类&#xff08;2&#xff09;按传输技术分类…

CoreData 调试警告:多个 NSEntityDescriptions 声明冲突的解决

概述 目前在苹果生态 App 的开发中&#xff0c;CoreData 数据库仍然是大部分中小应用的优先之选。不过&#xff0c;运行时 CoreData 常常产生各种“絮絮叨叨”的警告不禁让初学的秃头小码农们云里雾里。 这不&#xff0c;对于下面这一大段 CoreData 警告&#xff0c;大家是否一…

解决QT_Debug 调试信息不输出问题

方式1 &#xff1a;手动通过添加环境变量解决 ->使用命令&#xff1a; QT_LOGGING_TO_CONSOLE1 qtcreator启动 ->如若还未输出qDebug调试信息 则在程序中引<QLoggingCategory>包 #include <QLoggingCategory> ->在程序入口添加 QLoggingCategory::defa…

【CF】Day9——Codeforces Round 953 (Div. 2) BCD

B. New Bakery 题目&#xff1a; 思路&#xff1a; 被标签害了&#xff0c;用什么二分&#xff08; 很简单的思维题&#xff0c;首先如果a > b&#xff0c;那么全选a就行了&#xff0c;还搞啥活动 否则就选 b - a 天来搞活动&#xff0c;为什么&#xff1f; 首先如果我…