nnMamba：基于状态空间模型的3D生物医学图像分割、分类和地标检测

摘要
本文提出了一种基于状态空间模型（SSMs）的创新架构——nnMamba，用于解决3D生物医学图像分割、分类及地标检测任务中的长距离依赖建模难题。nnMamba结合了卷积神经网络（CNN）的局部特征提取能力与SSMs的全局上下文建模优势，通过设计的MICCSS模块（通道-孪生空间学习）显著提升了模型性能。在BraTS 2023、ADNI等6个数据集上的实验表明，nnMamba在分割Dice系数（73.98%）、分类准确率（89.41%）及地标检测误差（2.11）等指标上均优于现有方法。该框架为医学图像分析提供了高效且轻量化的解决方案。
关键词：3D医学图像分析状态空间模型长距离依赖建模图像分割

引言

生物医学图像分析在疾病诊断、治疗规划等领域至关重要，但面临高维数据处理和长距离依赖建模的挑战。传统CNN依赖局部感受野，难以捕捉全局上下文；Transformer虽能建模长距离关系，但计算复杂度高，尤其对3D医学图像（如MRI、CT）不友好。状态空间序列模型（SSMs）因其在长序列数据中的高效性受到关注，而Mamba模型进一步引入输入自适应机制，显著提升了密集数据场景的性能。

在这里插入图片描述
本文提出nnMamba，一种融合CNN与SSMs的新型架构，通过MICCSS模块在通道和空间维度建模长距离关系，并针对分割、分类和地标检测任务优化设计。实验表明，nnMamba在多项任务中达到SOTA，且参数和计算量更低，为医学图像分析提供了一种高效解决方案。

方法

在这里插入图片描述

1. 状态空间模型（SSMs）基础

SSMs通过线性常微分方程建模输入序列的全局关系。其数学形式为：
$\quad y(t)=C x(t),$
其中， $A$ 、 $B$ 、 $C$ 为系统参数。结构化SSM（如图2 c）通过参数优化提升长序列建模能力，而Mamba进一步引入输入自适应机制，使其在医学图像等高维数据中更具优势。

2. MICCSS模块：通道-孪生空间学习

MICCSS是nnMamba的核心模块，结合CNN与SSMs，实现局部特征提取与全局关系建模的协同。

2.1 并行CNN与SSM设计

Mamba卷积（MIC）：将SSM嵌入CNN框架(如图2 d)，公式为：
$F_{out} = \text{Convs.O}\left( \text{SSM}\left( \text{Convs.I}(F_{in}) \right) + \text{Convs.I}(F_{in}) \right),$
其中， $\text{Convs.I}$ 和 $\text{Convs.O}$ 为1×1卷积、批归一化及ReLU激活，用于特征过滤与增强。

2.2 通道-孪生空间（CSS）交互

多维度翻转增强：将输入特征重塑为 $\times C \times L$ ，通过翻转不同维度（如空间维度）生成增强特征，共享SSM权重以捕获多向长距离依赖（算法1）。

算法1 CSS：用于长距离建模的通道 - 孪生空间输入
1: SiamSSM // 具有共享参数的SSM
2: xflat ← 形状为[B, L, C]的输入特征 // 遍历翻转维度的组合
3: xmamba ← SiamSSM(xflat)
4: for d in {[1], [2], [1, 2]} do
5: xflip ← flip(xflat, dims = d)
6: xmamba ← xmamba + flip(SiamSSM(xflip), dims = d)
7: end for
8: xmamba ← 1/4 xmamba

3. 任务特定架构设计

3.1 分割与地标检测

UNet式编码器-解码器：编码器采用残差块与MICCSS模块，解码器通过跳跃连接融合多尺度特征。跳跃连接公式为：
$X_{\text{cat}} = \left[ X_h', X_h \cdot \text{SE}\left( \text{pooling}(X_h) \right) \right],$
其中， $\text{SE}$ 为通道注意力模块，用于特征缩放。