颜锐, 梁智勇, 李锦涛, 任菲. 基于深度学习和H&E染色病理图像的肿瘤相关指标预测研究综述[J]. 计算机科学, 2022, 49(2): 69-82.
YAN Rui, LIANG Zhi-yong, LI Jin-tao, REN Fei. Predicting Tumor-related Indicators Based on Deep Learning and H&E Stained Pathological Images:A Survey[J]. Computer Science, 2022, 49(2): 69-82.
任务:预测无法阅片识别的肿瘤相关指标(通过病理组织图像进行预测基因变异预测等)
0、Pan-cancer image-based detection of clinically actionable genetic alterations
基于泛癌图像的临床可操作基因改变的检测
研究者们将其应用于TCGA参考数据库中十种最常见实体瘤类型的4000多名患者。他们的目的是预测患病率超过2%并至少影响4名患者的所有临床或生物学相关的突变。候选突变列表还包括FDA批准的药物针对的所有点突变。研究者们发现在多种主要癌症类型中,点突变的基因型可以直接从图像中预测出来。例如,在肺腺癌(TCGA-LUAD8,N=464例患者)中,TP53突变状态(AUC 0.71,图2a)和EGFR突变状态(AUC 0.60)的AUCs显著,这可通过临床批准的治疗来确定。同样在结肠癌和直肠癌(TCGA-COAD和TCGA-READ27,N=590例患者)中,标准治疗基因生物标记物BRAF(AUC 0.66)和KRAS(AUC 0.60)也可显著检测到,以及与肿瘤侵袭性相关的致癌驱动突变,包括CDC2729(AUC 0.70,图2b)。在其他肿瘤类型中,如黑色素瘤(TCGA-SKCM12,N=429例)或肺鳞状细胞癌(TCGA-LUSC9,N=412例)中很少检测到突变。肺鳞状细胞癌以其分子诊断困难、分子靶向或基因靶向治疗方案较少而著称。因此,肿瘤组织形态学与突变没有很好的相关性。在胰腺癌(TCGA-PAAD10,N=166例患者)中,确定KRAS野生型患者具有很高的临床相关性,因为这些患者是靶向治疗的潜在候选者。最后,在前列腺癌(TCGA-PRAD11,N=402例)中,检测到组织学上的靶向突变——最显著的是PIK3CA,AUC为0.75。此外,与前列腺癌免疫逃逸相关的CDK12的AUC为0.71。这些数据表明,深度学习可以直接从组织学上检测多种常见肿瘤的靶点突变和潜在靶点突变。
1、Classification and mutation prediction from non–small cell lung cancer histopathology images using deep learning
第一个研究(利用深度学习对非小细胞肺癌组织病理学图像进行分类和突变预测)
- Nature Medicine volume 24, pages1559–1567 (2018)Cite this article
-
61k Accesses
-
812 Citations
-
1126 Altmetric
在这项研究中,作者对TCGA的全切片图像训练了一个深度卷积神经网络(inception v3),以准确和自动地将它们分类为腺癌(LUAD)、鳞状细胞癌(LUSC)或正常肺组织。方法的性能与病理学家的相当,平均曲线下面积(AUC)为0.97。我们的模型在冷冻组织、福尔马林固定的石蜡包埋组织和活检的独立数据集上得到了验证。此外,训练网络来预测腺癌(LUAD)中最常见的十个突变基因。我们发现其中的六个--STK11、EGFR、FAT1、SETBP1、KRAS和TP53--可以从病理图像中预测出来,测量的AUC为0.733至0.856。
2、H&E染色的WSI深度学习预测前列腺癌的SPOP突变状态
H&E-stained Whole Slide Image Deep Learning Predicts SPOP Mutation State in Prostate Cancer | bioRxiv
构建了一个集成多个残差网络的分类模型,预测SPOP是否在前列腺癌中发生突变,使用TCGA队列的177名前列腺癌患者,其中20人有突变的SPOP,准确区分了SPOP突变和SPOP非突变的患者(AUC=0.74)
3、利用结肠癌组织病理学图像进行基因突变预测的特征增强图谱网络(2020MICCAI)
Feature-Enhanced Graph Networks for Genetic Mutational Prediction Using Histopathological Images in Colon Cancer | SpringerLink
http://liuqiao.me/files/FENet.pdf
在这项研究中,提出了一个特征增强图网络(FENet),用于利用结肠癌的组织病理学图像进行基因突变预测。与传统的只分析基于patch的特征而不考虑其空间连通性的方法不同,我们试图联系和探索组织病理学图像中的非同构的拓扑结构。我们的FENet结合了卷积图神经网络的特征增强,聚集了捕捉基因突变状态的鉴别性特征。具体来说,我们的方法可以同时识别组织病理学图像中的局部patch特征信息和整体拓扑结构。此外,我们通过构建多个子图引入了一个集合策略,以提高预测性能。在TCGA-COAD(结肠癌数据集)和TCGA-READ(癌症基因组图谱直肠腺癌)数据集中进行的广泛实验,包括组织病理学图像和三个关键基因的突变情况(APC、KRAS和TP53),证明了FENet在结肠癌关键突变结果预测中的优势。
4、MSI
Deep learning can predict microsatellite instability directly from histology in gastrointestinal cancer | Nature Medicine
深度学习可以直接从组织学上预测胃肠癌的微卫星不稳定性
直接从H&E组织学中预测MSI(微卫星不稳定性),而H&E组织学是普遍存在的。这种方法有可能为更多的胃肠道癌症患者提供免疫治疗。采用2个网络。第一个网络用于肿瘤区域的检测(AUC>0.99)。基于第一个网络检测出的肿瘤区域,第二个分类网络进行MSI的分类(AUC:0.77~0.84)
5、MSINet
Deep learning model for the prediction of microsatellite instability in colorectal cancer: a diagnostic study - PubMed
用于预测结直肠癌微卫星不稳定性的深度学习模型:一项诊断性研究
包含串联的两个分类器。