文章目录
- Cross-Modulated Few-Shot Image Generation for Colorectal Tissue Classification
- 摘要
- 方法
- 实验结果
Cross-Modulated Few-Shot Image Generation for Colorectal Tissue Classification
摘要
-
提出问题：
- 针对罕见癌症组织的组织病理训练数据稀缺问题，他们提出了少样本结直肠组织图像生成方法。
-
方法介绍：
- 提出的方法名为XM-GAN，接受一个基准图像和一对参考组织图像作为输入，生成高质量且多样化的图像。
- 在XM-GAN中，采用了一种新颖的可控融合块，通过密集聚合参考图像和基准图像中局部区域的相似性，产生局部一致的特征。
-
研究贡献：
- 他们是第一个研究结直肠组织图像中少样本生成的团队。
- 通过广泛的定性、定量和专家（病理学家）评估，对其提出的方法进行评估。
-
评估结果：
- 在专家评估中，病理学家仅在55%的时间内能够区分XM-GAN生成的组织图像和真实图像。
- 利用生成的图像作为数据增强，解决少样本组织图像分类任务，在平均准确率方面取得了4.4%的提升。
方法
Fig. 1: XM-GAN由一个CNN编码器、一个基于Transformer的可控融合块（CFB）和一个用于组织图像生成的CNN解码器组成。对于K-shot设置，一个共享编码器 F E F_E FE接受一个基准组织图像 x b x^b xb 以及 K − 1 K-1 K−1 个参考组织图像 x i r e f i = 1 K − 1 {x^{ref}_i}^{K-1}_{i=1} xirefi=1K−1，分别输出视觉特征 h b h^b hb 和 h i r e f h^{ref}_i hiref。在CFB中，一个映射网络计算元权重，用于在交叉注意力期间生成特征重新加权的调制权重。交叉注意力得到的特征 f i f_i fi 被融合并输入到解码器 (FD) 中，生成一幅图像 x ^ \hat{x} x^。
z z z为噪声， α \alpha α为控制参数
实验结果
