最新《医学图像分割》综述,详述六大类100多个算法

来源:专知

医学图像自动分割是医学领域的一个重要课题,也是计算机辅助诊断领域的一个重要分支。U-Net由于其灵活性、优化的模块化设计和在所有医学图像模式中的成功,是最广泛应用的图像分割体系结构。多年来,U-Net模式获得了学术界和工业界的广泛关注。来自德国亚琛工业大学等学者《医学图像分割》综述,详述六大类100多个算法,非常值得关注!

cd1c064ff1642cf532863db0c30629ba.png该网络的几个扩展已经被提出,以解决医疗任务所产生的规模和复杂性。解决原始U-Net模型的缺陷是供应商为其业务利用适当的U-Net变体模型的首要步骤。在一个地方有一个不同变体的概要可以使构建者更容易识别相关的研究。此外,对于ML研究人员来说,这将帮助他们了解对模型构成挑战的生物任务的挑战。为了解决这个问题,我们讨论了U-Net模型的实际方面,并提出了一个分类法来对每个网络变体进行分类。此外,为了在临床应用中衡量这些策略的性能,我们提出在知名数据集上对一些独特和著名的设计进行公平的评估。我们提供了一个全面的实现库,其中包含训练过的模型,供未来的研究使用。此外,为了便于今后的研究,我们创建了一个在线U-Net论文列表,并列出了它们可能的正式实现。所有信息都收集在https://github.com/NITR098/Awesome-U-Net资源库中。

https://arxiv.org/abs/2211.14830

1. 引言

图像分割,定义为将整个图像划分为一系列区域,在广泛的应用中起着至关重要的作用。医学图像分割是该领域的一个重要例子,为临床使用提供了许多好处。自动化分割简化了数据处理时间,并通过提供特定任务的可视化和测量来指导临床医生。在几乎所有的临床应用中,可视化算法不仅提供了对人体组织异常区域的洞察,而且指导医师监测癌症进展。语义分割作为自动图像处理技术的一个准备步骤,可以通过建模来检测与手头任务更相关的特定区域(如心脏分割)[1],从而进一步提高可视化质量。

图像分割任务可以分为两类:语义分割和实例分割[2],[3]。语义分割是一种像素级的分类,将图像中的所有像素划分为相应的类别,而实例分割也需要基于语义分割来识别同一类别中的不同对象。设计分割方法来区分器官或病变像素需要特定于任务的图像数据提供适当的关键细节。用于获取数据的常见医学成像方式有x射线、正电子发射断层扫描(PET)、计算机断层扫描(CT)、磁共振成像(MRI)和超声(US)[4]。早期传统的医学图像分割方法主要集中在边缘检测、模板匹配技术、区域增长、图切割、活动轮廓线、机器学习等数学方法。近年来,深度学习已经在多个领域成熟起来,解决了许多特定于医疗领域的边缘案例。卷积神经网络(CNNs)成功地实现了图像的特征表示提取,从而在图像分割中消除了手工制作特征的需要,其优越的性能和准确性使其成为该领域的主要选择。

在[5]中提出了使用深度神经网络建模语义分割的初步尝试。该方法将输入图像通过卷积编码器产生潜在表示。然后在生成的特征图的顶部包含完全连接的层,以产生像素级的预测。这种体系结构的主要限制是使用完全连接的层,这耗尽了空间信息,从而降低了整体性能。Long等人[6]提出了完全卷积网络(FCNs)来解决这一限制。FCN结构在编码器路径上应用由卷积、激活和池化层组成的几个卷积块来捕获语义表示,并类似地使用卷积层和解码路径中的上采样操作来提供像素级预测。解码路径上的连续上采样过程的主要动机是逐步增加空间维度以获得细粒度分割结果。

受FCNs体系结构和编码器解码器模型的启发,Ronneberger等人开发了用于生物医学图像分割的U-Net[7]模型。它专门用于医学图像分析的实际使用,可以应用于各种模式,包括CT [8], [9], [10], [11], [12], MRI [13], [14], [15], [16], [17], US [18], [19], [20], x光[21],[22],光学相干层析成像(OCT) [23], [24], PET[25],[26]。

FCN网络,特别是U-Net,可以有效地利用有限的带注释数据集,利用数据增强(例如,随机弹性变形)提取图像的详细特征,而不需要新的训练数据,从而获得良好的分割性能[27]。这种优势使其取得了巨大的成功,并导致了U-Net模型在医疗细分领域的广泛应用。U-Net网络由两部分组成。第一部分是收缩路径,使用由几个卷积块组成的下采样模块提取语义和上下文特征。在第二部分中,扩展路径应用一组具有上采样操作的卷积块,在降低特征维数的同时,逐步提高特征图的空间分辨率,通常提高两倍,从而产生按像素划分的分类分数。U-Net最重要的部分是跳跃连接,它将收缩路径中每个阶段的输出复制到扩展路径中相应的阶段。这种新颖的设计沿着网络传播必要的高分辨率上下文信息,这鼓励网络在重复使用低级别表示和高上下文表示的同时进行精确定位。自2015年以来,这种新结构成为医学图像分割领域的骨干,并派生了该模型的几个变体,以推进基于它的最先进技术。

U-Net的自动编码器设计使其成为在重要应用中打破其结构的独特工具,例如,图像合成[28],[29],[30],图像去噪[31],[32],[33],图像重建[34],[35]和图像超分辨率[36]。为了更好地了解U-Net模型在医疗领域的重要性,我们提供了图1,关于在处理医疗图像分析挑战时使用U-Net模型的方法的统计信息。从图1中可以明显看出,U-Net影响了医学图像分析领域的大多数不同分割任务,在过去十年中出版物数量的极端增长。

75113fa940004f1e254e17588d3e7525.png

我们的综述涵盖了最新的基于U-Net的医学图像分割文献,并讨论了截至2022年9月提出的100多种方法。我们对这些方法的不同方面进行了广泛的回顾和阐述,包括关于普通U-Net的网络架构增强、医疗图像数据模式、损失函数、评估指标及其关键贡献。根据UNet及其变体的快速发展,我们提出了在我们的分类法中被频繁引用的方法的总结。我们将U-Net变体分为以下几类:

1) Skip Connection Enhancements 

2) Backbone Design Enhancements 

3) Bottleneck Enhancements 

4) Transformers 

5) Rich Representation Enhancements 

6) Probabilistic Design

这份综述一些主要贡献概述如下:

  • 本综述涵盖了U-Net及其变体在医学图像分割问题上的最新文献,并概述了截至2022年9月提出的100多个分割算法,分为六类。

  • 我们对基于U-Net的算法的不同方面进行了全面的回顾和深刻的分析,包括基础U-Net架构的改进、训练数据模态、损失函数、评估指标及其关键贡献。

  • 我们在流行的数据集上提供了一些评审方法的对比实验,并在GitHub上提供了代码和预训练的权重。

2. 分类体系

本节提出了一种分类法,该分类法组织了文献中提出的不同方法,以修改用于医学图像分割的U-Net架构。由于U-Net的模块化设计,我们提出了我们的分类法来处理U-Net的继承设计,而不是[37]中提供的概念分类法。此外,这一特性使得很难将每个研究只归入一个组,因此一个方法可能属于几个划分的组。图2描述了我们的分类法结构,我们认为这种分类法有助于该领域的组织,甚至有助于未来的研究。在第3节中,我们将讨论分类法的每个概念。在本节的其余部分,我们将首先解释原始的2D U-Net,然后,我们将介绍3D U-Net。最后,我们将从临床角度阐述U-Net模型的重要性。

30aeca32b2ac2decc95ab902c293f876.png

图2 提出的U-Net分类法根据其基本设计思想对U-Net模型的不同扩展进行分类。更具体地说,我们的分类法考虑了U-Net模型的模块化设计,并显示了改进发生的地方(例如,跳跃式连接)。

bde95bbdfe35c15d643423912194a8ad.png

图5:U-Nets核心在医学图像分析和临床使用中的详细概述。在研究论文中讨论了U-Nets如何参与临床决策的说明。第一个块处理图像采集、准备和预处理步骤,以为深度神经网络提供通用格式的数据。第二步使用神经架构搜索算法为手头的任务找到一个有效的架构,而第三步旨在执行后置操作,以进一步完善网络输出。最后,应用程序块使用软件输出来辅助专家进行某些操作(例如,肿瘤生长监测)。

3. U-NET扩展

U-Net是一个无处不在的网络,它在2015年首次发布时被引用了大约4.8万次。这证明它可以处理广泛领域的各种图像模式,而不仅仅是在医学领域。在我们看来,U-Net的核心优势是它的模块化和对称设计,这使得它适合广泛修改和与各种即插即用模块协作以提高性能。因此,通过追求这一线索,我们侵犯了Ronneberger等人的[7]网络,除了坚实的辅助修改外,还可以实现模块化改进的对等体,以实现SOTA或与分割性能相当的性能。在这方面,我们提供了我们的分类法(图2),并将UNet修改的各种变体划分为如下的系统类别:

1) Skip Connection Enhancements 

262d47956794b5320f4995650901a5fd.png

2) Backbone Design Enhancements 

3) Bottleneck Enhancements 

4) Transformers 

7586c99bf26e1883dd8ef10ca33d7af3.png

5) Rich Representation Enhancements 

6) Probabilistic Design

78032f277f5b7b869785cf8e6f907262.png

图  2015 - 2022年医学语义分割文献中提出的基于U-Net的主要方法的时间轴。

2da2e2580e319d90f7e01e3cb024cc1e.png

4 定量比较

6ffa6274a3ba902e75adccd7fcd39d39.png

5 挑战与机遇

在过去的几年里,基于深度学习的方法,特别是U-Net家族,已经在医学图像领域大量应用,以满足临床需求。在下面,将介绍与使用U-Net医学图像分割相关的未来前景,以促进该领域的改进。

5.1 内存高效模型

5.2 准确性与效率的平衡

5.3 模型的可扩展性和复杂性

5.4 可解释模型

5.5 联邦学习

5.6 软件生态

5.7 数据驱动决策

f1a8c0fb6a39d1b88a3d47bfa38b0a6a.png

6. 结论

在本研究中,我们对U-Net及其变体的文献进行了全面回顾,近年来U-Net在医学图像分割领域的出现不断增加。我们从它的主要分类、扩展到变体,以及性能和速度的基准进行了研究。为了构造各种各样的U-Net扩展,根据对体系结构所做的更改的类型对不同的扩展和变体进行分组。

41ad481cbb56cf7d052c2523d85c3cd5.png

推荐阅读

UNet为什么在医学图像分割表现好?

盘点 | 2020年「21篇」医学影像算法最佳综述

FCN、Unet、Unet++:医学图像分割网络一览

分享

收藏

点赞

在看

e1768e7908922ce2f1d4d0db9784983c.gif

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/48332.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

通用医学图像分割模型UniverSeg

虽然深度学习模型已经成为医学图像分割的主要方法,但它们通常无法推广到涉及新解剖结构、图像模态或标签的unseen分割任务。给定一个新的分割任务,研究人员通常必须训练或微调模型,这很耗时,并对临床研究人员构成了巨大障碍&#…

Unet分割医学图像全记录/结果全白解决办法/多分类Dice loss

文章目录 任务介绍数据来源及预处理Unet实现过程中遇到的bug 任务介绍 本项目是基于Unet网络对心肌图像进行心池和心肌分割。写这篇博客为了记录下我在写模型时遇到的bug和思考,我发现好像没有一篇从头到尾的笔记,我作为小白真的遇到了很多大坑&#xf…

【医学图像】图像分割系列.4

介绍几篇使用Transformer结构做医学图像分割的论文:CASTformer(NeuralPS2022),PHNet(arXiv2023)。 Class-Aware Adversarial Transformers for Medical Image Segmentation, NeuralPS2022 解读&#xff1a…

医学图像分割实战——使用U-Net实现肾脏CT分割

使用U-Net实现肾脏CT分割 数据集准备数据来源数据预处理 网络结构及代码网络结构训练代码 训练过程参数设置:可视化 结果分析 数据集准备 数据来源 MICCAI KiTS19(Kidney Tumor Segmentation Challenge):https://kits19.grand-challenge.org/ KiTS201…

医学图像分割之 Dice Loss

文章目录 医学图像分割之 Dice Loss1. Dice coefficient 定义1.1. Dice 系数计算示例1.2. Dice-coefficient loss function vs cross-entropy 2. Dice 系数的 Pytorch 实现2.1. Dice 系数2.2. Dice Loss2.3. BCELoss2d 3. Dice 系数的 Keras 实现4. Dice 系数的 TensorFlow 实现…

医学图像分割常见评价指标(单目标)——包含源码讲解和指标缺陷

单目标分割常见评价指标 1 知道4个常见指标,TP,TN,FP,FN2 评价分割区域准确率2.1 Recall Sensitivity TPR(True Positive Rate)2.2 Specificity (True Negative Rate)2.3 Precision (PPV, 精确率)2.4 Dice Coefficient…

医学图像分割之Attention U-Net

目录 一、背景 二、问题 三、解决问题 四、Attention U-Net网络结构 简单总结Attention U-Net的操作:增强目标区域的特征值,抑制背景区域的目标值。抑制也就是设为了0。 一、背景 为了捕获到足够大的、可接受的范围和语义上下文信息,在标…

常用的医学图像分割评价指标

常用的图像分割评价指标非常多,论文中常用的指标包括像素准确率,交并比(IOU),Dice系数,豪斯多夫距离,体积相关误差。 下面提到的所有案例都是二分类,标签中只有0和1 目录 一:像素…

医学图像分割评判标准及程序代码

文章目录 1.图像分割指标2. 两个问题3.IOU和假阳性率4. 准确率(Accuracy), 精确率(Precision), 召回率(Recall)和F1-Measure 参考资源: 1.https://blog.csdn.net/zichen_ziqi/article/details/80408465 2.https://blog.csdn.net/HXG2006/article/details/79649154 …

基于Android studio开发的图灵智能聊天机器人

前言 在人工智能时代,开发一款自己的智能问答机器人,既可以提升自己的编程能力,又可以作为开发项目的实战练习。 百度有小度,小米有小爱,VIVO有小V,总之类似的智能聊天机器人是越来越多了。面对这些智能的机…

短视频矩阵源码开发部署--开原

短视频矩阵源码是一种常见的视频编码标准,它通过将视频分成多个小块并对每个小块进行压缩来实现高效的视频传输。在本文中,我们将介绍短视频矩阵的原理和实现,并提供示例代码。 开发链路解析 短视频矩阵系统源码开发链路包括需求分析、技术…

ChatGPT危了!注意力机制的神秘bug曝光!Transformer模型恐大受冲击...

点击下方卡片,关注“CVer”公众号 AI/CV重磅干货,第一时间送达 点击进入—>【Transformer】微信交流群 转载自:新智元 【导读】「注意力公式」存在8年的bug首现,瞬间引爆舆论。爆料者称,基于Transformer架构打造的模…

短视频抖音seo矩阵源码如何搭建开发?

抖音SEO矩阵源码排名逻辑采用一系列算法进行生成,其中包括用户行为、关键词匹配和内容质量等多维度指标的衡量。首先,用户行为是决定视频排名的主要因素,包括点赞数、评论数、观看时长和转发次数等。其次,关键词匹配也是影响排名的…

chatgpt赋能python:使用Python让照片动起来:一种新颖的SEO方法

使用Python让照片动起来:一种新颖的SEO方法 在当今数字时代,社交媒体已经成为营销策略中不可或缺的一部分。人们越来越喜欢以图像的形式来获取信息。然而,在面对大量的图像时,如何让自己的图片和品牌脱颖而出?答案是&…

chatgpt赋能python:PythonWand:用Python实现的ImageMagick工具箱

Python Wand: 用Python实现的ImageMagick工具箱 ImageMagick是一款强大的图像处理工具箱,经常被用于缩放、裁剪和转换图像等任务。Python Wand是对ImageMagick命令行工具的Python封装,使得Python程序员能够使用Python代码来操作图像。 为什么使用Pytho…

短视频如何进行高效制作?元引擎助你一臂之力

在当今社会,视频制作已经成为了一种非常流行和重要的创意方式。越来越多的人开始尝试制作自己的短视频,但是对于很多新手小白来说,短视频制作可能是一项相对困难的任务。但是现在,使用元引擎AI一键生成原创视频系统,可…

Python预测彩票中奖

文章目录[隐藏] python来解答你有生之年可以中双色球 python来解答你有生之年可以中双色球 昨天买了几注双色球开奖了,规划好了中奖后怎么花,紧张又刺激的等待后,狗带…… 到底我们能不能中双色球呢,用Python来验证一下吧&#xf…

基于GPT-4的 IDEA 神仙插件,无需魔法,非常不错!

大家好,我是不才陈某~ 最近发现了一款很厉害的 Intellij IDEA 插件——Bito。 Bito 插件无需魔法,亲测有效,可以基于 GPT-4 来写代码同时还提供了一些有用的功能,如自动补全提交信息、快速查看历史记录等。 没使用魔法的情况下&am…

IDEA懒人必备插件:自动生成单元测试,太爽了!

程序员的成长之路 互联网/程序员/技术/资料共享 关注 阅读本文大概需要 7 分钟。 来自:blog.csdn.net/sun5769675/article/details/111043213 今天来介绍一款工具Squaretest,它是一款自动生成单元测试的插件,会用到它也是因为最近公司上了代…

Mac Automator 图片自动压缩上传 COS

把个人博客放在了 netilfy 托管,它给了一个优化建议,可以压缩图片节省带宽。但是每次截图后都要再压缩下图片有点麻烦,于是想着应该可以偷偷懒。目标很明确,截图后图片传到我的 git 仓库 images 目录后,能给我自动压缩…