医学影像SAM
- 1. 医学影像SAM
- 1.1. MedSAM
- 1.2. SAM-Adapter
- 1.3. Medical-SAM-Adapter
- 1.4. sam-med2d
- 1.5. MS-SAM
下面整理了一些比较好的博客。
1. 医学影像SAM
由于sam在医学影像上表现不是特别好,在该类型数据集上就需要再训练。
1.1. MedSAM
MedSAM:提供了在医学数据集上的微调流程,具体可以参考 medsam视频教程。
1.2. SAM-Adapter
SAM-Adapter-PyTorch:采用adapter机制,主要加在image encoder模块,效果还是不错的。
该方法不仅适用于医学数据,也同样在隐蔽物等其他数据集上达到了不错的效果。
具体可以参考SAM-Adaptor项目链接。
结果对比
模型结构图
1.3. Medical-SAM-Adapter
Medical-SAM-Adapter:同上,也是采用了adapter机制。只不过插入adapter的模块稍有不同。
msa结构
1.4. sam-med2d
sam-med2d:主要贡献了一个医学数据集,包含460万图像和1970万个mask,包含10种医学数据模式、4种解剖结构+病变以及31个主要人体器官。
模型采用adapter机制,在encoder的vit中插入一个adapter layer。训练时微调point和box进行训练,目前只开放了推理代码。
来自:Segment Anything(sam)项目整理汇总[2023.9.2]
1.5. MS-SAM
MA-SAM:模态不可知的三维医学图像分割SAM自适应.
基本信息 | 内容 |
---|---|
标题 | MA-SAM: Modality-agnostic SAM Adaptation for 3D Medical Image Segmentation |
作者 | 陈诚,苗居正,吴笃凡,杨志玲,kimseken,华江,钟奥晓,a,刘正良,a,孙立超,李翔,刘天明,衡凤安,李泉正, |
单位 | 美国马萨诸塞州总医院和哈佛医学院高级医学计算与分析中心,美国波士顿02114;香港中文大学计算机科学与工程系,中国香港;利哈伊大学计算机科学与工程系,伯利恒,美国宾夕法尼亚州18015;哈佛大学约翰保尔森工程与应用科学学院,美国剑桥02138;美国佐治亚大学计算学院,雅典Ga 30602,美国 |
摘要 | 分割任意模型(SAM)是一般图像分割的基础模型,在许多自然图像分割任务中表现出令人印象深刻的零拍摄性能。然而,当应用于医学图像时,SAM的性能显着下降,主要是由于自然和医学图像域之间的巨大差异。为了有效地使SAM适应医学图像,在微调期间纳入关键的三维信息(即体积或时间知识)非常重要。同时,我们的目标是充分利用SAM在其原始2D骨干中的预训练权重。在本文中,我们引入了一个模态无关的SAM自适应框架,称为MA-SAM,它适用于各种体积和视频医疗数据。我们的方法基于参数有效的微调策略,仅更新一小部分权值增量,同时保留SAM的大部分预训练权值。通过在图像encoder的transformer块中注入一系列3D Adapter,我们的方法使预训练的2D骨干能够从输入数据中提取三维信息。通过使用10个公共数据集(包括CT、MRI和外科视频数据),对我们的方法在四种医学图像分割任务中的有效性进行了全面评估。值得注意的是,在不使用任何提示的情况下,我们的方法始终优于各种最先进的3D方法,在CT多器官分割、MRI前列腺分割和手术场景分割方面的Dice分别超过nnU-Net 0.9%、2.6%和9.9%。我们的模型也显示出很强的泛化,并且在使用提示时擅长挑战肿瘤分割。我们的代码可在:https://github.com/cchen-cc/MA-SAM。 |
主要贡献 | 1.提出了一种参数高效的微调方法,使SAM适应体积和视频医疗数据; 2.SAM adapter 可以应用于各种医学成像模式,包括CT、MRI和手术视频数据,用于解剖、手术场景和肿瘤分割; 3. 我们验证了在医学图像上进行微调后,得到的模型具有出色的泛化能力,甚至比SOTA域泛化方法表现出更好的性能。 4. 通过进一步利用提示,我们的方法在挑战肿瘤分割任务中取得了令人印象深刻的结果,在Dice得分上超过nnU-Net 38.7%。 |