一、论文简介

本推文详细介绍了一篇上海理工大学健康科学与工程学院医学信息工程研究所（以下简称为医信所）周雷副教授课题组的最新论文《Prototype Learning Guided Hybrid Network for Breast Tumor Segmentation in DCE-MRI》，该论文发表在国际医学图像分析领域的顶级期刊IEEE Transactions on Medical Imaging（IF为10.6，中科院一区）。该论文的第一作者和通讯作者均为周雷副教授，医信所研究生张昱中为第二作者，上海科技大学生物医学工程学院沈定刚院长为共同通讯作者。在本研究中，为了解决动态对比增强磁共振成像（DCE-MRI）影像中乳腺肿瘤难以被精确分割的难点问题，论文提出了一种基于原型学习的混合分割网络（PLHN）。本研究已在大规模、多中心乳腺肿瘤DCE-MRI影像数据集，以及胸腺瘤CT影像分割数据集、开源MRI脑肿瘤分割数据集上验证了新算法PLHN的有效性，并且已将该分割算法应用于HER-2等级分类等诊疗任务中，展示了所设计算法在乳腺癌智能诊疗方面的巨大潜力。相关的代码、模型和部分影像数据均已开源。

本推文由张昱中撰写，审校为周雷老师。

论文IEEE xplore链接：

https://ieeexplore.ieee.org/document/10614219

论文arXiv链接：

https://arxiv.org/abs/2408.05803

代码链接：

https://github.com/ZhouL-lab/PLHN

二、期刊介绍

IEEE Transactions on Medical Imaging（IEEE TMI）是医学成像和医学图像分析领域的顶级期刊之一。‌该期刊由国际电气和电子工程师协会（IEEE）创办，‌自1982年开始出版，‌涉及采集技术、‌医学图像处理分析、‌可视化、‌模式识别、‌机器学习等相关领域。‌IEEE TMI被中科院JCR分为一区TOP期刊，CCF-B类期刊，‌影响因子高达10.6。‌该期刊发表的文章涵盖了医学影像领域的最新研究成果，‌为研究人员提供了一个交流和分享知识的平台。‌此外，‌该期刊还吸引了全球范围内的审稿人群体，‌包括多个知名期刊和会议的审稿人，‌保证了发表文章的学术质量和权威性。

三、研究背景及主要贡献

基于动态对比增强磁共振成像（DCE-MRI）的乳腺肿瘤自动分割在临床实践中展现出巨大的前景，特别是在乳腺疾病识别方面。然而，准确分割乳腺肿瘤是一项具有挑战性的任务，往往需要设计复杂的网络。为了在计算成本和分割性能之间取得最佳平衡，本论文提出了一种混合网络（PLHN）。具体来说，混合网络由卷积层和反卷积层叠加而成的编码器-解码器结构组成。然后在编码器子网之后设计了有效的3D Transformer层，以捕获瓶颈特征之间的全局依赖关系。论文为了提高混合网络的效率，在解码器层和Transformer层分别设计了两个并行的编码器子网。同时为了进一步增强混合网络的判别能力，论文提出了一种原型学习引导预测模块，通过在线聚类计算类别指定的原型特征。最后将所有学习到的原型特征与解码器的特征相结合进行肿瘤掩膜预测。在私人和公共DCE-MRI数据集上的实验结果表明，PLHN在保持分割精度和计算成本之间的平衡的同时，取得了优于其他SOTA方法的性能。此外，论文证明自动生成的肿瘤掩模可以有效地用于HER-2阳性亚型和HER-2阴性亚型的识别，其准确性与基于人工标注的肿瘤分析相似。

论文的主要贡献如下：

（1）提出了一种原型学习引导混合网络（PLHN），该网络将两个并行编码器子网络与Transformer层相结合，精确地分割乳腺肿瘤。

（2）设计了原型引导预测模块，通过在线聚类计算每个类别的代表性原型特征。将这些特征与原型的相似性与解码器的输出特征融合，提高乳腺肿瘤的分割性能。

（3）为了提高混合网络的训练效率，提出了一种两阶段优化策略，并设计了一种采样策略来解决训练过程中的类不平衡问题。

四、方法

图1 PLHN网络框架

如图1所示，PLHN在优化的第一阶段，将[，]的串接输入到解码器中，并在上对网络进行优化。在第二阶段的优化和推理阶段，将[,]的串接输入到解码器中，在和上共同优化网络。

（1）混合网络架构

论文设计了一种带跳跃连接的u型编码器-解码器结构来构建骨干网络。然后，将Transformer层集成到骨干网络中，以模拟体素之间的全局相关性。具体来说，PLHN的编码器仅由三个卷积块组成的3D CNN编码器，然后是3D Transformer层，以捕获瓶颈特征之间的全局依赖关系。为了提高优化效率，PLHN采用了两个子网编码器，解码器采用了三个转置卷积层。第一个编码器子网专门用于提取到解码器的跳过连接的特征，而第二个子网用于提取Transformer层的瓶颈特征。相比之下，具有来自Transformer和编码器子网的混合特征信息的解码器能够以全分辨率生成分割掩码。

（2）原型引导乳腺肿瘤预测

针对参数化神经网络的表征局限性，论文提出了一种基于原型的乳腺肿瘤分割策略。原型是指与每个类别相关的代表性特征或子中心。在论文的模块设计中，原型用于捕获各自类别的语义属性，从而消除了对可学习参数的额外优化的需要。在训练过程中，论文使用高效的在线聚类计算每个类别的原型特征。一旦获得特定类别的原型特征，再计算这些原型与解码器归一化输出特征之间的相似性图，从而提供肿瘤体素的定位图。此外，论文设计了一种基于注意力的融合策略来重组来自解码器的输出特征。最后，论文将相似性图与原型和解码器的重组输出特征融合以生成最终的乳腺肿瘤掩模。这种方法使混合网络更有效地捕获全局和局部语义信息。

五、实验及结果

（1）实验细节

在乳腺肿瘤分割任务上，实验分别使用内部数据集和外部数据集。内部数据集是由瑞金医院提供的404例乳腺癌患者和广东省人民医院提供的661例乳腺癌患者组成的大规模DCE-MRI乳腺肿瘤数据集。外部数据集来自云南省第二肿瘤医院的100个公开病例。内部数据集用于模型训练，65%作为训练集，10%作为验证集，35%作为测试集。而外部数据集作为额外的测试集。

论文提出的混合网络使用Pytorch实现，并在32G内存的Nvidia GeForce GTX V100 GPU上进行了相应的实验。网络权值采用Xavier算法初始化，权值衰减设为10−4，初始学习率为0.01，最大训练轮数为500。对于PLHN优化的两阶段训练策略，第一阶段运行300个epoch，初始lr=0.01，第二阶段运行200个epoch，初始lr=0.001。根据交叉验证，经验设置损失权重为:λ1=0.2，λ2=0.05。实验选择了四个指标，即Dice Similarity Coefficient（DSC）、Positive Prediction Value（PPV）和Sensitivity（SEN）以及Average Surface Distance（ASD）。

（2）实验结果

表1 在乳腺肿瘤分割的内部和外部测试数据集上，PLHN和其他基准模型的性能比较

为了进一步证明PLHN框架的通用性和泛化能力，论文使用了一个公开的外部测试数据集来评估分割效果。在内部训练数据集上进行微调的分割模型直接用于分割外部测试数据集。结果如表1所示，PLHN模型在分割性能上仍优于其他方法。

表2 消融实验结果。（Epoch:训练轮数。E1+D:编码器子网-1和解码器。Trans：Transformer层。E2+Trans:带Transformer层的编码器子网-2。TS:两阶段优化策略。Proto:原型引导预测。Fus:用于预测的融合。）

在表2中，消融实验验证了PLHN模型中各个模块的必要性。具体实验包括移除Trans、E2+Trans、TS、Proto、Fus等模块，并对比它们对模型性能的影响。

六、结论

论文提出了一种原型学习引导混合网络（PLHN）来对DCE-MRI影像中的乳腺肿瘤进行精确的三维分割。首先结合卷积层和Transformer设计了一个简单有效的混合网络，其中三维Transformer层捕获了瓶颈特征之间的全局依赖关系。为了提高混合网络的优化效率，论文设计了两个并行编码器子网；为了提高混合网络的判别能力，论文还设计了一个原型引导预测模块。最后，论文提出了一种新的基于注意力机制的融合模块，将解码器的输出特征和具有原型特征的相似图融合在一起，从而提高了生成乳腺肿瘤掩模的精度。在来自内部和外部DCE-MRI乳腺肿瘤分割数据集的实验结果表明，与其他最先进的（SOTA）分割方法相比，本文所提出的PLHN具有优越的性能。综上所述，本文提出的分割框架PLHN在乳腺肿瘤分割任务上显著提高了分割效率，为后续的诊断任务奠定了基础。本论文的研究对推动乳腺癌智能诊疗技术的发展有着重要的意义。

关于作者和实验室的更多介绍请查阅网站：https://jiankang.usst.edu.cn/2020/0703/c13508a224824/page.htm