中山六院团队发表可解释多模态融合模型Brim，可以在缺少分子数据时借助病理图像模拟生成伪基因组特征

小罗碎碎念

在癌症诊疗领域，精准预测患者预后对临床决策意义重大。传统的癌症分期系统，如TNM分期，因无法充分考量肿瘤异质性，难以准确预测患者的临床结局。而基于人工智能的多模态融合模型虽有潜力，但在实际临床应用中，患者多模态数据不完整的问题限制了其发挥。

针对上述困境，本文提出了一种可解释的桥接多模态融合模型（Brim）。该模型整合了组织病理学、基因组学和转录组学数据，通过Transformer - based MIL方法学习病理图像中斑块的空间分布和相互作用，利用桥接网络挖掘图像与分子特征间的关联，还能在缺少分子数据时借助病理图像模拟生成伪基因组特征。

作者类型	姓名	单位
第一作者	Feng Gao	中山大学附属第六医院普通外科（结直肠外科）；中山大学附属第六医院生物医学创新中心；上海人工智能实验室；广东省结直肠盆底疾病重点实验室
通讯作者	Junwei Liu	广州实验室
通讯作者	Yixue Li	广州实验室；中国科学院大学杭州高等研究院生命科学学院系统健康科学重点实验室；广州医科大学GZMU - GIBH联合生命科学学院粤港澳细胞命运调控与疾病联合实验室；上海交通大学生命科学与生物技术学院；中国科学院上海营养与健康研究所；复旦大学遗传与发育协同创新中心；上海生物医药与制药技术研究所
通讯作者	Xiao - Jian Wu	中山大学附属第六医院普通外科（结直肠外科）；中山大学附属第六医院生物医学创新中心；广东省结直肠盆底疾病重点实验室

经多组学数据分析和模型性能评估，Brim在多模态数据下预测癌症患者预后的平均C指数达0.682，优于单模态模型和已有的多模态融合模型；在仅使用病理图像时，平均C指数也有0.63，同样表现出色。此外，通过模型可解释性分析，还能确定与癌症预后相关的关键图像和分子特征。

Brim模型为癌症预后预测提供了更有效的工具，不过深度学习方法的黑箱性，以及伪基因组特征背后生物学机制的不明确，仍是后续研究需要突破的方向。

交流群

欢迎大家加入【医学AI】交流群，本群设立的初衷是提供交流平台，方便大家后续课题合作。

目前小罗全平台关注量52,000+，交流群总成员1100+，大部分来自国内外顶尖院校/医院，期待您的加入！！

由于近期入群推销人员较多，已开启入群验证，扫码添加我的联系方式，备注姓名-单位-科室/专业，即可邀您入群。

知识星球

如需获取推文中提及的各种资料，欢迎加入我的知识星球！

已订阅星球用户无需二次付费，可以直接获取本篇推送的pdf版本，并且可以在星球中向我提问！

一、文献概述

这篇文章介绍了一种名为Brim的可解释多模态融合模型，用于在泛癌种中结合组织学和基因组学数据进行生存预测。

背景与动机：癌症的复杂性和异质性导致临床结果难以预测，传统TNM分期系统无法充分考虑肿瘤异质性。人工智能（AI）在癌症研究中取得了显著进展，但多模态数据的缺失限制了其临床应用。
模型开发：Brim模型通过结合病理全切片图像（WSIs）和多组学特征（突变状态、拷贝数变异、RNA-seq基因表达）来预测癌症患者的生存风险。模型包括四个主要部分：WSI预处理、病理图像特征模块、分子特征模块和桥接网络。桥接网络用于学习配对的WSI和基因组分子特征之间的关联，特别是在仅使用WSI预测缺失的分子信息时。
模型优势：Brim模型不仅整合了基因组分子特征和WSI进行预后预测，还能仅使用WSI进行预后预测，降低了临床应用成本，使临床决策更加个性化。
实验验证：模型在TCGA数据库的12种癌症类型和5271名泛癌患者中进行了训练和测试，还使用了中国结直肠癌临床基因组学研究（COCC）队列进行独立验证。结果表明，Brim模型在完整和缺失模态下均表现出色，平均C-index达到0.682，显著优于其他单模态和多模态模型。
模型解释性分析：通过注意力机制和积分梯度归因分析，揭示了与癌症预后相关的WSI和基因组分子特征。Brim模型在病理图像中更关注肿瘤细胞区域，并识别出与患者预后显著相关的基因。
结论与展望：Brim模型为泛癌患者预后预测提供了新的方法，不仅在多模态数据完整时表现出色，还能在仅使用WSI时进行有效预测，降低了临床应用成本，为临床医生提供了更精准的诊断和治疗决策工具。

二、重点关注

2-1：癌症预后预测模型

图A：介绍了桥接多模态融合模型（Brim）的架构。包含全切片图像（WSI）预处理、病理图像模块（利用Transformer处理图像斑块获取组织学特征）、分子图谱模块（使用Self - Normalizing Networks （SNN）处理基因组数据获取组学特征），最后通过桥接网络将两种特征融合以生成预后分数。
图B：是模型可解释性分析。左侧分子可解释性部分展示了不同类型基因变异（CNV、MUT、RNA - Seq）的集成梯度（IG）值，列出了相关基因；右侧病理可解释性部分展示了病理图像示例。
图C：说明了数据来源，样本来自多种癌症类型（如LUSC、LUAD等），数据分别来自美国国家癌症研究所癌症基因组学中心（NIH）的5271例样本和国际癌症基因组联盟加速癌症基因组研究（ARGO）的445例样本。

2-2：模型性能对比

这张图片展示了Brim模型与其他基线方法（SNN、AMIL、TransMIL、MMF）在12种癌症类型中预后预测性能的比较，主要通过C-index指标来衡量。

总体表现

Brim模型性能最优：在12种癌症类型中，Brim模型的C-index值普遍高于其他模型，表明其在预后预测方面具有更高的准确性。
多模态融合的优势：Brim模型作为多模态融合模型，能够整合病理图像和多组学数据，从而在预测性能上优于仅使用单一模态数据的模型（如SNN、AMIL、TransMIL）。

统计显著性

Kaplan-Meier分析：图中标注的星号（*）表示Brim模型在相应癌症类型中的风险分层具有统计学意义（p < 0.05），进一步验证了其预测结果的可靠性。

模型对比

单模态模型的局限性：SNN、AMIL和TransMIL等单模态模型在某些癌症类型中的表现不如Brim模型，这凸显了多模态数据融合在提高预测准确性方面的重要性。
MMF模型的比较：MMF作为另一种多模态融合模型，其性能在多数癌症类型中低于Brim模型，这表明Brim模型在多模态数据整合和特征学习方面具有独特的优势。