关键词: IPF 进展预测、残差扩散模型、临床信息
特发性肺纤维化(Idiopathic Pulmonary Fibrosis,IPF)是一种严重且不可逆的肺部疾病,它会导致肺部组织出现瘢痕和增厚,从而引起呼吸困难。。及时对IPF进行治疗可以有效减缓病情的发展,并提高患者的生活质量。IPF的进展可能保持稳定,也可能随时间恶化。目前的临床标准要求间隔一年进行两次 CT 扫描才能判断疾病进展,这导致了治疗延误。本文提出了一种基于传统扩散模型的临床信息引导的残差扩散模型(CIResDiff),旨在通过生成随访CT扫描来提前预测IPF的进展,这对于实现及时治疗和降低医疗成本至关重要。这种方法不仅可以帮助医生更早地识别疾病进展,还可以为患者提供更有针对性的治疗方案。
1 方法
CIResDiff 模型旨在预测特发性肺纤维化 (IPF) 的进展,通过从初始 CT 扫描生成随访 CT 扫描来实现。该模型基于传统的扩散模型,并进行了以下改进:
(a) 训练阶段的CIResDiff框架:展示了CIResDiff在训练阶段的实施,包括目标区域预配准、残差扩散过程和临床信息引导过程。
(b) 临床信息引导过程的细节:详细说明了如何基于CLIP技术设计临床信息引导过程,包括预训练特征融合和逆过程的临床信息增强。
(c) 测试阶段的CIResDiff框架:展示了CIResDiff在测试阶段的实施,主要涉及逆过程。
备注:
- 文本编码器(Text Encoder):用于将功能测试信息编码为文本特征。
- 图像编码器(Image Encoder):用于将初始肺部图像编码为图像特征。
- 对比损失(Contrastive Loss):用于训练过程中,确保文本和图像特征的对齐。
- 注意力U-Net(Attention U-Net):一种深度神经网络,用于逆过程中的重建步骤,集成了注意力机制以提高特征的表达能力。
- 残差扩散(Residual Diffusion):一种策略,使模型专注于学习初始和随访CT扫描之间的差异。
- 目标区域预配准(Target Region Pre-registration):确保两次CT扫描的肺部区域在空间上对齐,以简化模型的训练。
1.1 目标区域预配准 (Target Region Pre-registration)
- 首先,使用 TotalSegmentator 工具分割左右肺区域,并进行膨胀操作以保留与诊断相关的周围组织。
- 然后,应用仿射配准方法将分割后的左右肺区域分别对齐。
- 最后,将配准后的左右肺区域合并,得到空间对齐的肺区域图像对用于模型训练。
1.2 残差扩散 (Residual Diffusion)
传统的扩散模型将初始肺图像 x0 转换为纯高斯噪声。CIResDiff 采用残差扩散,将初始肺图像 x0 转换为噪声随访肺图像 xT。具体操作为:
- 首先计算初始肺图像 y0 与随访肺图像 x0 之间的差异 e0,然后使用一个序列 {ηt}Tt=1 逐步将 e0 加到 x0 上。
- 残差扩散使得模型专注于学习初始和随访 CT 扫描之间的差异(即病变区域),从而更精确地生成目标区域并加速模型推理。
1.3 基于 CLIP 的文本处理模块 (CLIP-based Text Processing Module)
该模块旨在利用肺功能测试信息,该信息与 IPF 的进展高度相关。模块包括预训练和特征融合两个阶段:
- 预训练阶段: 使用文本编码器和图像编码器分别提取功能测试信息的文本特征和初始扫描的图像特征,并使用对比损失约束这些特征对齐。
- 特征融合阶段: 在反向过程中,预训练的文本编码器提取文本特征 ztext,并将其输入到降噪注意力 U-Net 中进行交叉注意力计算,以指导图像重建。
2 实验
2.1 实验设置
2.1.1 数据集
数据集来自 OSIC9 数据库,这是一个公开可访问的全球数据库,包含大量与特发性肺纤维化 (IPF) 相关的 CT 扫描。
- 样本数量: 200 个样本。
- 样本内容: 每个样本包含两个 CT 扫描和相应的肺功能测试信息。
- 时间间隔: 两个 CT 扫描之间间隔 46.3±7.8 周。
- 肺功能测试信息: 包括生理指标,如肺活量、最大呼气流量等。
- 诊断标签: 用于评估模型的诊断价值。
2.1.2 其它
- 实验平台: PyTorch,使用两个 NVIDIA Tesla A100 GPU。
- 优化器: Adam,初始学习率为 0.001。
- 评估指标: 峰值信噪比 (PSNR) 和结构相似性指数 (SSIM)。
2.2 消融实验
为了验证残差扩散和临床信息融合策略的有效性,设计了四种变体模型:
- DM: 标准扩散模型。
- DM-CIP: 带有临床信息融合的扩散模型。
- DM-R: 带有残差扩散的扩散模型。
- DM-R-CIP: 带有残差扩散和临床信息融合的扩散模型。
结果表明,DM-R-CIP 在 PSNR 和 SSIM 方面均优于其他模型,证明了残差扩散和临床信息融合策略的有效性。
2.3 与其他方法的比较
将 CIResDiff 与六种最先进的生成模型进行比较,包括:
- GAN-based methods: Pix2Pix-GAN 和 SAGAN
- Transformer-based methods: TransUNet 和 ResViT
- Diffusion model-based methods: DiffusionCT 和 cDiff
结果表明,CIResDiff 在 PSNR 和 SSIM 方面均优于其他模型,证明了其在 IPF 进展预测任务上的优越性。
2.4 诊断评估
为了评估生成图像的诊断价值,设计了一个下游诊断任务,使用 ResNet 基础的分类器对真实图像对进行训练,并使用预训练的分类器评估不同方法生成的图像。
结果表明,CIResDiff 生成的随访肺图像在预测 IPF 方面表现最佳,证明了其临床应用潜力。
2.5 结论
实验结果表明,CIResDiff 模型能够有效地预测 IPF 的进展,并生成具有更高诊断价值的随访 CT 扫描。该模型具有巨大的临床应用潜力,可以帮助医生更早地诊断 IPF 并制定更有效的治疗方案。