《使用人工智能心脏磁共振成像筛查和诊断心血管疾病》论文精读

Screening and diagnosis of cardiovascular disease using artificial intelligence-enabled cardiac magnetic resonance imaging

心脏磁共振成像 (CMR) 是心脏功能评估的黄金标准，在诊断心血管疾病 (CVD) 中起着至关重要的作用。然而，由于 CMR 解释的资源负担过重，其广泛应用受到限制。在这里，为了应对这一挑战，我们开发并验证了计算机化的 CMR 解释，用于筛查和诊断 9,719 名患者的 11 种 CVD。我们提出了一个两阶段范例，包括基于非侵入性电影的 CVD 筛查，然后是基于电影和晚期钆增强的诊断。筛查和诊断模型在内部和外部数据集中均实现了高性能（曲线下面积分别为 0.988±0.3% 和 0.991±0.0%）。此外，诊断模型在诊断肺动脉高压方面的表现优于心脏病专家，证明了人工智能 CMR 能够检测出以前未识别的 CMR 特征。这项概念验证研究有可能大幅提高 CMR 解释的效率和可扩展性，从而改善心血管疾病的筛查和诊断。

心血管疾病 (CVD) 是世界第一大死亡原因1。据世界卫生组织估计，每年约有 1790 万人死于心血管疾病，约占全球所有死亡人数的 32%。其中，超过 75% 的心血管疾病死亡发生在低收入和中等收入国家2,3
。虽然可以使用多种方法来诊断心血管疾病，但心脏磁共振成像 (CMR) 是一种综合成像方式，非常适合评估心脏形态、功能、心肌灌注和独特的组织特征4–7。因此，CMR 被认为是评估心脏功能和诊断心血管疾病的黄金标准8–11。
然而，CMR 的广泛临床应用受到 CMR 解释的时间成本、大量的培训时间和努力以获得专业知识以及由此导致的合格 CMR 培训医生短缺 12 的阻碍。训练有素的 CMR 专家数量有限，这使得使用 CMR 及时准确地诊断心血管疾病变得极其困难。因此，使用自动化 CMR 解释快速筛查和诊断心血管疾病具有巨大的临床潜力 13。

深度学习能够从原始输入图像和视频中学习独特特征并识别运动模式，而无需手工制作特征工程 14 和大量数据预处理，这使得它能够非常有效地解释 CMR 数据。此外，深度学习算法通过同时统一分析所有图像和动态信息 15 比人类具有明显的优势，从而提供更高效和客观的解决方案。然而，对于端到端深度学习方法是否可用于分析 CMR 数据以筛查和诊断多种心血管疾病，目前仍缺乏全面的评估 16。到目前为止，深度学习在 CMR 中的少数应用都集中在 CMR 解释的单个方面（例如，分割 17-19 或壁厚测量 20）或已证明诊断能力有限（例如，心肌瘢痕或主动脉瓣畸形 21-23）。

在本文中，我们旨在开发和验证一种深度学习方法，用于自动、计算机化的 CMR 解释和诊断，该方法由模仿临床工作流程的两阶段范例组成：（1）使用非增强电影磁共振成像 (MRI) 筛查异常，然后 (2) 使用电影和晚期钆增强 (LGE) MRI 作为组合输入诊断心血管疾病。第一阶段基于电影模式，可以进行无创性心脏筛查。与需要注射加多利尼姆造影剂24的LGE相比，电影MRI更安全，也更容易获得。第二阶段对11种类型的CVD进行了分类，涵盖了大多数转诊到CMR检查的患者25（缺血性心脏病、大多数类型的非缺血性心肌病26、肺动脉高压和先天性心脏病；表1）。我们提出基于视频的swin transformer（VST）27——计算机视觉领域的一项前沿进展——作为我们选择的模型主干，而不是传统的卷积神经网络（CNN）方法，并强调了transformer模型在建模CMR序列方面的优势。提出的自动管道由两个基于VST的串行人工智能（AI）模型组成：筛查模型和诊断模型（图1）。此外，我们研究了应使用哪种成像方式（电影或 LGE）、视图（四腔或短轴）及其聚合来实现最佳分类性能。最后，我们将 AI 模型的性能与具有不同 CMR 解释经验的医生进行了比较。这项研究为实时准确的 CMR 解释开辟了一条途径，并使 CMR 在 CVD 筛查和诊断中得到更广泛的应用。

结果

数据集和研究设计

我们整理了一个全国性的大型代表性 CMR 数据集，其中包含来自中国八家医疗中心的 9,719 名个人（6,608 名男性和 3,111 名女性）。该数据集分为 CVD 队列和正常对照队列。疾病队列包括 8,066 名患有 CVD 的患者（平均（±s.d.）年龄 47.2±15 岁，70% 为男性，于 2016 年至 2022 年期间入院）。共纳入 11 种心血管疾病，分布如下：肥厚型心肌病 (HCM；2,715)、扩张型心肌病 (DCM；1,639)、冠状动脉疾病 (CAD；1,241)、左室心肌致密化不全性心肌病 (LVNC；321)、限制性心肌病 (RCM；377)、心脏淀粉样变性 (CAM；358)、高血压性心脏病 (HHD；509)、心肌炎 (153)、致心律失常性右室心肌病 (ARVC；424)、肺动脉高压 (PAH；200) 和 Ebstein 畸形 (129)。收集了每位患者的基线 CMR 扫描（治疗前），包括短轴 (SAX) 电影、四腔 (4CH) 电影和 SAX LGE，以建立疾病队列。此外，还收集了 1,653 名正常受试者（年龄 38±15 岁，56% 为男性，入组时间为 2016 年至 2022 年）的 SAX 电影和 4CH 电影，以组建没有 CVD 的正常对照队列，使我们能够开发和验证非侵入性筛查模型。表 1 和扩展数据表 1 包含数据集的汇总统计数据和人口统计数据。方法和扩展数据图 1 中总结了纳入-
排除级联

对于数据采集，使用以下分布的三个供应商进行心脏 MRI：GE Healthcare（4,569）、Philips（3,683）和 Siemens（1,467）。电影序列以 SAX 方向执行，覆盖整个左心室 (LV)（SAX 电影），以及以长轴覆盖两腔、三腔和 4CH 视图。所有电影序列均为 25 帧（心动周期）。LGE 图像覆盖从顶点到底部的 LV（SAX LGE）。我们报告了从电影检查的两个主要视图评估的性能：SAX 电影和 4CH 电影，以及 SAX LGE（扩展数据图 2）。补充视频 1-11 显示了每个类别的视频和图像示例。

我们使用来自北京阜外医院28的 CMR 数据作为模型开发的主要数据集，并使用来自所有其他医疗中心的数据作为外部测试集。对于筛查和诊断，在主要数据集内进行了三重交叉验证，以进一步验证性能。这涉及来自主要数据集的总共 7,900 名受试者和 6,650 名 CVD 患者，分别用于筛查和诊断模型的训练。每次交叉验证使用 5,267 名患者进行筛查模型训练，使用 4,433 名患者进行诊断模型训练。总体而言，筛查和诊断模型分别对 9,719 名和 8,066 名患者（内部和外部）进行了测试，其中包括来自八个医疗中心的患者和从三个不同的 MRI 供应商处获得的 CMR。

筛查模型评估

使用两个组合视图（SAX 电影和 4CH 电影）的电影 MRI 进行筛查的筛查模型在对主要数据集（n = 7,900）进行三重交叉验证时，曲线下面积 (AUC) 为 0.986（95% 置信区间 (CI) 0.984–0.988），F1 得分为 0.977（95% CI 0.974–0.979）（图 2 和扩展数据表 2）。该模型对异常检测的灵敏度为 0.973（95% CI 0.968–0.978），特异性为 90%。所有灵敏度和特异性对均 >90%。值得注意的是，主要数据集包含
广泛的心血管疾病（11 种类型；表 1），证明了筛查模型在疾病类型方面的稳健性。

在对每个电影视图进行筛查的评估中，从 4CH 视图得出的模型的 AUC 为 0.974（95% CI 0.969–0.979），而从 SAX 视图得出的模型的 AUC 为 0.971（95% CI 0.965–0.976）。与从单视图输入得出的模型相比，SAX 和 4CH 电影的组合提供了最佳性能（扩展数据表 2）。请注意，两个单视图模型对异常检测的灵敏度均超过 95%，特异性为 90%（扩展数据表 2）。这证明了
基于 SAX 或 4CH 视图的电影序列进行快速放映的潜力。

诊断模型评估

接下来，我们开发了诊断模型来对 11 个 CVD 类别进行分类。两个视图（SAX 和 4CH 电影）的电影和 SAX LGE 是诊断模型的组合输入，以确保 CMR 中存在的任何互补信息都能有效用于提高诊断准确性。在主要数据集（n = 6,650）中进行三重交叉验证后，该模型的类加权平均 AUC 为 0.991，F1 得分为 0.906（图 2 和扩展数据表 3）。该模型在所有类别中实现了大于 0.96 的 AUC；对于所有类别，除三个（LVNC、HHD 和心肌炎）外，其他所有类别的 F1 得分均高于 0.80。该模型对最常见的 CVD 显示出较高的 AUC 和 F1 分数，包括 HCM（AUC 0.998，95% CI 0.997–0.999；F1 0.975，95% CI
0.971–0.980），DCM（AUC 0.988，95% CI 0.986–0.990；F1 0.896，95% CI
0.884–0.907）和 CAD（AUC 0.991，95% CI 0.988–0.994；F1 0.921，95%
CI 0.908–0.935）。 PAH 类的 AUC 也高达 0.998（95% CI 0.995–1.000），F1 得分为 0.962（95% CI 0.937–0.984）。

我们进一步研究了五种输入方案：（1）SAX 电影，（2）4CH 电影，（3）SAX 和 4CH 电影，（4）SAX LGE 和（5）SAX 电影、4CH 电影和 SAX LGE 的组合。全输入方案在所有 11 种疾病类别中实现了最高的 AUC 和 F1（图 3 和扩展数据表 3）。我们绘制了 11 种疾病类别的受试者工作特征曲线 (ROC)。图 3 显示了三种输入方案（电影、LGE 和电影 + LGE）的 ROC。值得注意的是，电影和 LGE MRI 的组合大大优于任何单一模态衍生的模型，平均 AUC 指标提高了 1.9%，平均 F1 指标提高了 6.8%（与 SAX 电影相比）。所有敏感性和特异性对均 >90%（扩展数据表 4）。阳性预测值 (PPV) 和阴性预测值 (NPV) 分数在补充表 1 中提供。

在这里插入图片描述

表 1 | 主测试数据集和外部测试数据集的特征

推广到外部测试集

为了评估我们的模型是否可以转移到具有不同数据收集协议的不同机构，我们在从七个医疗中心收集的外部测试集上验证了筛查和诊断模型（n = 1,819；403 名正常受试者和 1,416 名患有 CVD 的患者）。我们的异常检测筛查模型的 AUC 为 0.990（95% CI 0.986–0.992），F1 得分为 0.970（95% CI 0.964–0.977），灵敏度为 0.959（95% CI 0.936–0.974），特异性为 90%，特异性为 0.970（95% CI 0.950–0.990），灵敏度为 90%（图 2 和扩展数据表 2）。用于 CVD 分类的诊断模型（采用全输入场景）实现了 0.991 的类加权 AUC 和 0.884 的 F1 得分（图 2 和扩展数据表 5）。这表明 AI 模型可以推广到各种数据源，包括模型开发过程中未参与的医疗中心。

此外，我们还检查了从单一成像方式得出的模型的通用性。基于电影（SAX 和 4CH 视图）胶片和 LGE 的诊断模型分别实现了 0.831 和 0.792 的跨机构 F1 得分（扩展数据表 5）。对于筛查任务，SAX 电影模型的跨机构性能为 0.953 （95% CI 0.942–0.965），4CH 电影模型的跨机构性能为 0.980 （95% CI 0.972–0.986）（扩展数据表 2）。研究结果与主要数据集的结果一致：SAX 和 4CH 电影的组合为检测心脏异常提供了最佳性能；整合电影和 LGE 可获得最佳诊断性能。

模型可解释性

我们利用引导梯度加权类激活映射 (Grad-CAM)29 来显示模型用于分类的一组信息丰富的特征和不同模式。具体来说，我们从 11 个 CVD 类别中提取了代表性受试者的 Grad-CAM。图 4显示了有助于预测 CVD 的 AI 模型激活。LV 区域在检测 HCM、DCM、CAD、LVNC、RCM、CAM、HHD 和心肌炎时表现出更高的显著性（图 4，黄色背景）；右心室 (RV) 在检测 ARVC、PAH 和 Ebstein 异常时被突出显示为显著（图 4，红色背景）。这与临床诊断标准一致：ARVC、PAH 和 Ebstein 异常主要涉及 RV，而其余类别的异常主要存在于 LV30 上。此外，CAD、CAM、心肌炎和 ARVC 中的 LGE 信号（图 4，SAX 中的心肌 LGE，红色箭头）代表心肌纤维化或淀粉样变性，被显着图正确捕获。此外，该模型准确地识别了心尖处的 LVNC 和室间隔瓣位移，分别作为检测 LVNC 和 Ebstein 异常的显着特征（图 4，4CH 电影，红色箭头），这与这些疾病的潜在病理生理学相一致31,32。

与人工注释的比较

为了将 AI 模型的性能与获得委员会认证的医生的性能进行比较，我们形成了一个包含 500 名患者的黄金标准测试数据集，涵盖 11 种类型的 CVD（扩展数据表 6）。每位患者的 CVD 类别均由具有三个级别的 CMR 阅读经验（3-5 年、5-10 年和 10 年以上）的医生独立评估，并与 AI 诊断模型进行比较（表 2）。AI 模型的表现与具有 10 年以上 CMR 阅读经验的医生相当（F1 得分为 0.931 对比 0.927），但解释速度更快（1.94 分钟对比 418 分钟，解释 500 名受试者）。此外，我们的模型成功识别出 CMR 阴性患者（F1 得分为 0.983 对 0.931），超越了最有经验的医生组（超过 10 年）在 PAH 类疾病中的表现。这表明人工智能有潜力识别人类不易检测到的 MRI 特征33，这一发现与肿瘤学领域的先前研究一致34–36。

基于视频的深度学习模型的比较

我们比较了 VST 模型和传统的 CNN-长短期记忆 (LSTM)21 方法对 CMR 序列进行建模。扩展数据图 3 展示了两种基于视频的深度学习算法在 SAX 电影胶片解释中的示意图。在主要数据集上测试时，SAX 电影衍生的 VST 模型明显优于 CNN-LSTM，AUC 提高了 3.5%，F1 得分提高了 4.6%。这一发现证明了 VST 算法在 CMR 分析中的优越性。

在独立连续测试集上进行验证

为了进一步评估我们开发的 AI 模型在真实临床环境中的表现，我们构建了一个全新的独立测试集，其中包括 2023 年连续入住北京阜外医院的 1,000 名受试者。该连续测试集经过精心设计，未经筛选，确保能够反映真实的临床患病率，并涵盖多种心脏病表型。

人工智能筛查模型评估。

从连续收集的 1,000 名受试者中，我们为筛查模型形成了一个测试集，其中包括 961 名具有完整电影图像的受试者，包括 159 名正常人和 802 名患有心脏异常的患者。
根据以下标准排除了 39 名受试者：
(1) 缺少 SAX 电影或 4CH 电影序列（22 名受试者），(2) SAX 电影少于五个视图（6 名受试者）和 (3) 成像质量不足（11 名受试者）。利用 SAX 和 4CH 视图的电影 MRI，AI 筛查模型在独立连续测试集 (n = 961；补充表 2) 上表现出色，心脏异常筛查的 AUC 为 0.984（95% CI 0.977–0.990），F1 得分为 0.962（95% CI 0.953–0.972）。筛查模型对心脏异常检测的灵敏度为 0.946（95% CI 0.930–0.964），特异性为 90%。补充表 2 详细说明了筛查模型的表现。值得注意的是，连续测试集涵盖了各种各样的 CVD，包括轻度/临界病例和疑似表型（例如遗传性代谢性心肌病），超出了常见的 11 种 CVD 类别。这强调了筛查模型在疾病类型和严重程度方面的稳健性。

人工智能诊断模型的评估。

从连续收集的 1,000 名受试者中，我们为诊断模型建立了一个测试集，其中包括 532 名患有 CVD 的患者和完整的 LGE 和电影图像集。为了确保测试集的完整性，我们制定了详细的排除标准。具体来说，排除了 159 名没有心脏异常的正常个体，以及 222 名缺乏 LGE 图像的患者，这些图像是我们诊断模型的必要输入。值得注意的是，LGE 是一种需要注射造影剂的侵入性检查，并非对所有入院患者都一致进行。此外，48 名患有 CVD 的患者超出了通常确定的 11 种 CVD 类别的范围，因此被排除在报告的定量测试表现之外。尽管如此，我们还是将这 48 名患者的 AI 筛查和诊断结果纳入并进行了分析，见补充表 3。

借助已建立的测试集 (n = 532)，我们的 AI 诊断模型利用电影和 LGE 图像作为组合输入，表现出色。其类加权平均 AUC 为 0.986，F1 得分为 0.903（补充表 4）。值得注意的是，该模型对常见的 CVD 表现出较高的 AUC 和 F1 分数，包括 HCM
（AUC 0.993，95% CI 0.988–0.997；F1 0.958，95% CI 0.940–0.975）、DCM
（AUC 0.991，95% CI 0.983–0.996；F1 0.922，95% CI 0.883–0.958）和 CAD
（AUC 0.997，95% CI 0.994–0.999；F1 0.915，95% CI 0.855–0.966）。在所有 11 个 CVD 类别中，该模型的 AUC 均大于 0.90，除 LVNC、HHD、RCM 和心肌炎外，所有类别的 F1 得分均高于 0.80。CAM 类别的 F1 得分高达 0.947，AUC 为 1.0。

在这里插入图片描述

图 1 | 心血管疾病自动筛查和诊断两阶段范式的工作流程。对于每位患者，筛查模型以电影为输入，输出二元分类以检测心脏异常。其次，疑似心脏异常的患者接受 LGE 成像，而诊断模型则结合电影和 LGE 来输出他们的心血管疾病类别。AI 模型由四个 VST 块组成，使用 3D 移位窗口自注意 (WSA) 机制分析 CMR 序列。MLP，多层感知器；norm，规范化；num，数量；第 l 层和第 l + 1 层表示两个连续层。

讨论

CMR 被认为是评估心脏功能的黄金标准；其当代应用几乎涵盖了 CVD 的所有方面。它在疑似 CVD37 的诊断检查中表现出独特的能力。然而，由于心脏运动的复杂性，CMR 也是最难解释的放射成像技术之一。在本研究中，我们对计算机化 CMR（电影和 LGE）解释进行了开创性的研究，用于筛查和诊断。我们对 8,066 名 CVD 患者和 1,653 名正常个体进行了研究，结果表明，异常检测筛查模型和 CVD 分类诊断模型的 AUC 分别为 0.988±0.3% 和 0.991±0.0%（F1 得分分别为 0.974±0.5% 和 0.895±1.6%；内部集和外部集的平均值±标准差）。这些结果表明，基于视频的端到端深度学习方法可以可靠地检测异常并对 CMR 中的各种类型的 CVD 进行分类，其分类性能与经验丰富的心脏病专家的分类性能相似甚至更高。

这项概念验证研究展示了一条通往 CMR 分析的自动途径。标准的临床 CMR 解释方法要求专家 (1) 手动勾画心内膜和心外膜的轮廓，以及 (2) 在一系列 SAX 和长轴视图上来回扫描电影胶片和 LGE。具体来说，典型的 CMR 检查包括具有九个平行视图（每个视图 25 帧）的 SAX 电影胶片、4CH 电影胶片（25 帧）、三腔电影胶片（25 帧）、SAX LGE（九个平行视图）和 4CH LGE，总共需要分析至少 11 个视频和 10 个图像。因此，该过程极其耗费人力和时间，并且容易受到操作员偏见的影响。相比之下，深度神经网络 (DNN) 可以实现一种完全不同的方法，因为自动模型可以“端到端”地吸收 CMR 中存在的所有信息，而无需手动跟踪、计算心脏功能或提取特定类别的特征。换句话说，所提出的 DNN 模型接受原始 CMR 数据作为输入，以数据驱动的方式学习所有重要特征（包括之前手动得出的和尚未识别的特征），并输出最终的诊断概率。

所开发的基于电影 MRI 的筛查模型的高性能表明，这是一种快速、无创且准确的 CVD 检测筛查技术。基于 4CH 电影的筛查模型实现了 0.977±0.4% 的 AUC（内部集和外部集的平均值±标准差；扩展数据表 2）；基于 SAX 电影的模型实现了 0.962±1.3% 的 AUC。单视图方案与组合视图的性能相似（基于 4CH 和 SAX 电影的模型的 AUC 为 0.988±0.3%）。因此，单一视图可以独立可靠地检测心脏异常这一发现表明，该方法可用于简化 CMR 采集并提高临床效率。鉴于有可能降低电影 MRI 采集成本并提高患者吞吐量，效率的提高是有益的。缩短的手术时间对于无法忍受较长时间扫描的患者也大有裨益。此外，电影 MRI 可提供高分辨率图像，以准确定量心室容积、心脏功能和运动估计，以及心肌中的详细信号，这些共同构成了诊断的基石38。因此，基于电影的筛查测试可以提高 CVD 异常检测的准确性，特别是因为有充分的证据表明，最广泛使用的筛查检查——心电图 (ECG) 和超声心动图——仅捕获了诊断信息特征的一小部分39,40。

CVD 诊断是心脏病学中最困难和最具挑战性的任务之一。为了应对这一挑战，本研究引入了基于 CMR 的自动诊断。电影和 LGE MRI 的表现大大优于单独使用电影或 LGE 得出的模型。这一发现与先前的研究一致，表明电影和 LGE 在 CMR 诊断中提供了互补信息41。基于电影和 LGE 的诊断模型在 11 个类别中产生了 0.991 的平均类别加权 AUC。这 11 个类别占转诊进行 CMR 检查的 CVD 的大多数（北京阜外医院超过 90%28），使该模型具有广泛的适用性。这一结果有效地推动了我们做出高效、准确的 CVD 诊断，这对临床具有重大影响。由于在许多临床环境和模棱两可的病例中仍需要提供者确认，我们希望诊断模型能够补充而不是取代心脏病专家。通过对模型“置信度”最低的读数进行分类，AI 模型可以扩展 CMR 培训过的心脏病专家在临床工作流程中的能力。

在这里插入图片描述

图 2 | 筛查和诊断模型在内部和外部测试中的表现。a、主要内部测试数据集（蓝色，n = 7,900）和外部测试数据集（红色，n = 1,819）的心脏异常筛查 ROC。筛查模型源自 4CH 电影和 SAX 电影。b、内部测试数据集（黄色，n = 6,650）和外部测试数据集（蓝色，n = 1,416）的诊断性能。诊断模型将电影（4CH 和 SAX）和 LGE 作为组合输入。c、AI 诊断模型的预测与整个 CVD 队列（n = 8,066）的基本事实的混淆矩阵。每个 CVD 类别中所有可能预测的百分比显示在颜色渐变刻度上。 d、用于诊断内部集和外部集的 CVD 类别的 ROC。

在这里插入图片描述

图 3 | 各个 CMR 模式的影响。a、SAX 电影、4CH 电影和 SAX LGE 的 Shapley 值，源自用于预测每种 CVD 类别的诊断模型（电影和 LGE 作为组合输入）。Shapley 值以颜色渐变刻度显示，红色表示对每种 CVD 分类影响最大的 CMR 模式。CMR 模式表现出诊断 CVD 类别的特征，对其模型预测表现出持续强大的影响：SAX LGE 用于诊断 CAD（独特特征：心内膜或透壁 LGE 与冠状动脉优势区域相匹配）；SAX LGE 用于 HCM（肥大和 RV 插入点 LGE）；SAX LGE 用于心肌炎（心外膜 LGE）； 4CH 电影用于 LVNC（心尖部左心室致密化不全）和 4CH 电影用于 RCM（4CH 视图上的双心房扩大）。b，基于电影（紫色）、LGE（黄色）和电影 + LGE 作为组合输入（蓝色）的诊断模型的 ROC。结合电影和 LGE 可获得所有 CVD 类别的最佳诊断性能。性能基于内部测试集。

在这里插入图片描述

表 2 | 与具有不同经验（3 至 10 年以上）的 CMR 阅读医生相比，AI 模型的诊断性能

此外，AI 模型能够成功识别 CMR 阴性病例（即确诊为 PAH 但没有异常 CMR 结果），从而在诊断 PAH 方面胜过心脏病专家，这可通过减少 PAH 的侵入性诊断产生显著的临床影响。PAH 是一种死亡率很高的渐进性疾病，及时诊断对治疗至关重要 42。目前诊断 PAH 的黄金标准是右心导管插入术，这是一种侵入性手术，可能引发严重的手术并发症，包括血肿、气胸、心律失常和低血压发作 43–45。传统的 RV CMR 评估已用于评估 PAH 的严重程度并监测其预后和治疗反应 46。虽然由于技术复杂性 47，CMR 在 PAH 中的诊断效用尚未得到充分开发，但本研究展示的 AI 赋能的 CMR 解释为准确、安全和快速的 PAH 诊断提供了及时且有价值的视角和途径。

在我们检查的 CVD 类别中，心肌炎是一种临床上重要的 CVD，与其他 CVD 类别相比，从电影和 LGE 得出的诊断模型的 F1 得分较低（内部设置：0.724；外部设置：0.630）。对不一致的手动审查显示，模型错误分类总体上看起来非常合理。例如，一些轻度心肌炎病例仅表现为肌钙蛋白轻度升高，没有明显的心肌坏死，导致 LGE 阴性结果。同时，如果心肌炎患者未在适当的时间窗内进行扫描，则水肿和功能性心室受损可能会减轻，导致 CMR 阴性。
这与一般发现一致：基于路易斯湖标准（疑似心肌炎患者的诊断性 CMR 成像标准）的心肌炎诊断灵敏度仅达到
0.780–0.875（参考文献 48,49）。此外，对于心肌炎诊断，缺乏 T2 加权图像和参数心肌映射 50 限制了从电影和 LGE MRI 中得出的合理结论，使得更难以确定心脏病专家和/或 AI 模型是否正确。

我们强调，在本研究中，我们使用了具有足够代表性的 CMR 数据集（涵盖 11 种类型的 CVD，占转诊进行 CMR 检查的 CVD 患者的 90% 以上，并且由三大供应商获得 CMR），以评估用于筛查和诊断的端到端深度学习方法，以及我们对来自八个医疗中心的 9,719 名受试者进行的全面内部和外部验证。我们利用了超过一百万张心脏 MRI 图像，包括 38,876 张电影胶片和 72,594 张 LGE 图像。据我们所知，目前尚不存在包含电影和 LGE 模式的大型汇集 CMR 数据库，可用于诊断各种心脏病。因此，我们收集的队列是独一无二的，因为它是最大的也是有史以来第一个完整的 CMR 数据库，其中包含电影和 LGE MRI，可用于支持 AI 的研究。我们利用 VST 作为 CMR 解释的首选模型主干。基于 Transformer 的深度学习架构最近扩展到图像和视频处理，并在广泛的高级计算机视觉任务中取得了显着的改进。VST 是一种适用于视频序列处理的 Transformer，在主要视频识别基准 27 上表现出色。然而，很少有人努力探索其在医学视频分析中的作用。与受卷积运算小接受场限制的传统 CNN 相比，VST 固有的全局自注意和移位窗口机制扩大了接受场，并允许有效整合来自心脏视频和三维 (3D) 序列的时间和空间信息。本研究证实了 VST 的优越性，为在 CMR 成像内外使用支持 AI 的医学视频分析提供了见解。

在解释所呈现的结果时，需要考虑几个限制。在模型的临床实施之前，需要通过前瞻性研究和临床试验进行广泛的评估。报告的算法性能可能无法转化为现实世界的部署，需要进一步验证。所有参与机构都来自东亚。在未来的工作中，应该调查模型在不同种族之间的普遍性，以确保其广泛的实用性。与整个研究人群相比，健康对照的数量有限。因此，有必要基于具有现实世界心血管疾病患病率的数据集对筛查模型进行更全面的评估。虽然筛查模型在处理指定的 11 种常见心血管疾病类别之外的异常病例方面表现出稳健性，但诊断模型区分具有独特表型的病例（例如法布里病、遗传性代谢性心肌病和双重疾病实例）的能力是未来研究的关键重点。一种潜在的解决方案涉及集成延迟 AI51，利用预测系统中人类临床医生和 AI 模型之间的协同作用，进一步增强基于 AI 的 CMR 诊断的可靠性。值得注意的是，通过整合患者的临床病史和 CMR 成像，可以预期诊断模型性能的提高，这应该是未来努力的重点。例如，纳入相关临床因素（如长期动脉高血压病史）可以有效帮助区分 HHD 和 DCM52,53，特别是在它们的 CMR 表现出相似特征的情况下。在本研究中，我们的重点仅限于电影和 LGE 模式。未来的研究应包括定量 T1 和 T2 映射以及细胞外体积分数数据，因为它们在 CVD54,55 中具有诊断相关性。最后，需要更多关注深度学习模型可解释性的研究。图 4 中的 Grad-CAM 发现进一步证明了模型对 CMR 解释的有效性。尽管如此，这还不够，完全可解释性将成为未来工作的重点。

总之，我们证明了端到端基于视频的深度学习模型可以检测心脏异常，并进一步将不同的 CVD 与 CMR 进行分类，具有较高的分类性能。如果在临床环境中得到证实，我们的研究有可能大大提高 CMR 解释的效率和可扩展性，为 CMR 在 CVD 筛查和诊断中的广泛使用铺平道路

在线内容

任何方法、其他参考文献、Nature Portfolio 报告摘要、源数据、扩展数据、补充信息、致谢、同行评审信息；作者贡献和利益冲突的详细信息；以及数据和代码可用性声明均可在 https://doi.org/10.1038/s41591-024-02971-2 上找到。

方法

伦理批准

CMR 数据集是在每个参与机构的机构审查委员会 (IRB) 批准下回顾性获取的，包括北京阜外医院、北京安贞医院、广东省人民医院、哈尔滨医科大学第二附属医院、兰州大学第一医院、仁济医院、同济医院和北京协和医学院医院。IRB 免除了知情同意。在模型训练、测试和读者研究之前，所有数据都经过了去身份化处理。

数据集

对所有八个中心的 CMR 数据库进行了搜索，以识别 CVD 和正常对照。根据《健康保险流通与责任法案》安全港规定 56，所有数据均匿名化和去识别化。纳入标准为 (1) 明确诊断为 CVD 的患者和 (2) 接受手术治疗前基线 CMR 扫描的患者（如果有）。排除标准为 (1) 不完整的电影或 LGE 模式，(2) 少于五个视图的 SAX 电影，(3) 扫描质量不足的 CMR 图像，(4) 缺少临床数据的 CVD 患者和 (5) 委员会心脏病专家无法根据诊断标准解释和同意的 CMR 检查（方法）。本研究包括的 11 种 CVD 和正常对照的详细诊断标准在方法中进行了描述。表 1 和扩展数据表 1 列出了从中国其他 7 个医疗中心收集的原始数据集和外部验证集的详细人口统计学和分布。为了全面了解我们的主要开发数据集，我们付出了额外的努力，收集了原始数据集内所有 7,900 名受试者（包括 1,250 名正常对照和 6,650 名 CVD 患者）的 LV 射血分数 (LVEF) 指标。我们在补充表 5 中精心总结了 11 个指定 CVD 类别和正常对照类别的人口统计学和 LVEF 分布。此外，我们生成了密度图来说明原始数据集中每个类别的 LVEF 分布，从而提供更全面的表示（补充图 1）。

新的连续测试集旨在捕捉现实世界临床患病率中疾病表型的真实谱。为了全面了解病例的严重程度，并与现实世界的临床患病率保持一致，我们提出了五个关键的心脏功能指标。这些指标包括 LVEF、LV 质量、LVMi（LV 质量指数）、LV 舒张末期容积和 LV 舒张末期容积指数。补充表 6 显示了新连续测试集中 11 个 CVD 类别和正常对照类别的人口统计学和心脏功能分布。为了提高可视化和清晰度，我们在补充图 2 中使用饼图描绘了新连续测试集（n = 532 名患有 CVD 的患者）和主要发现数据集（n = 6,650 名患有 CVD 的患者）中 11 个 CVD 类别的患病率。新连续测试集提供了真实临床患病率的表示。通过直接比较，可以明显看出，原始数据集和连续测试集表现出非常相似的 CVD 患病率和分布。CMR 检查中最常见的三种 CVD 仍然是 HCM、DCM 和 CAD。

所有图像均通过屏气和心电图门控获取。平衡稳态自由进动序列用于电影图像，在 SAX 视图和两腔、三腔和 4CH 长轴视图上从基底到顶端水平进行连续采样。我们在本研究中包括了两个视图的电影 MRI：标准 SAX 电影和长轴 4CH 电影。SAX 电影清楚地描绘了 RV 和 LV。 4CH 电影显示心脏的四个腔体：右心房、左心房、RV 和 LV

LGE MRI 已被确立为心肌活力和心肌替代纤维化的金标准参考 57,58。在我们的 CMR 队列中，LGE 图像是使用相位敏感反转恢复序列和分段 FLASH 读出方案获得的，在注射含钆造影剂（每剂 0.15 mmol kg-1）10-15 分钟后进行。钆造影剂可用于检测纤维化区域，因为造影剂的长时间冲洗与不可逆损伤心肌中功能性毛细血管密度的降低相关 59。研究中使用的 SAX LGE 是从具有相同切片厚度的 SAX 视图获得的，覆盖从底部到心尖的整个左心室（大多数情况下为九个平行视图）。请注意，LGE 是一种侵入性检查，需要注射造影剂，因此未对正常对照进行检查。

主要和外部验证集的典型 CMR 扫描协议和扫描仪参数在补充表 7 中列出。扩展数据图 2 显示了用于模型开发的心脏 MRI（SAX 电影、4CH 电影和 SAX LGE）的图示。补充视频 1-11 展示了 11 种 CVD 的示例 CMR。

注释程序

对于疾病队列中的每个患者，提取 CMR 和临床报告中异常的文本描述作为主要参考。除此之外，所有 CMR 记录都经过额外的注释程序。为了注释疾病队列，一组经过认证的 CMR 专家审查了所有记录和临床报告。每条记录都被随机分配由一名专门负责此任务的医生审查，而不是用于任何其他目的。所有注释者都收到了关于如何注释 CMR 数据以提高标签一致性的具体说明和培训。我们在本研究中针对每种 CVD 类别采用的诊断标准在方法中描述。医生无法解释的 CMR 检查由在阜外医院工作的委员会认证的执业心脏病专家（具有 15 年以上的 CMR 阅读经验）组成的共识委员会进一步注释。委员会无法解释或无法达成一致的 CMR 检查被从我们的数据集中删除。

对于用于人机比较的包含 500 名患者的独立金标准测试数据集（扩展数据表 6），阜外医院 MRI 科室的六位医生直接参与了其注释（六位医生未参与上述数据集注释）。所有参与的医生都接受了关于如何注释 CMR 的具体指导和培训，以确保一致性。我们根据医生在 CMR 方面的阅读经验将他们分为三组：3-5 年、5-10 年和 10 年以上。每组的 CMR 医生以非重复的方式审查了随机选择的 500 份 CMR。

CMR 预处理

CMR 预处理流程旨在消除深度神经网络学习在图像之间寻找模式以进行疾病分类的额外负担。所有心脏 MRI 都经过预处理，以
(1) 将 MRI 图像重新采样为相同的空间分辨率和 (2) 将心脏感兴趣区域 (ROI) 定位到裁剪图像。我们在下文和扩展数据图 4 中详细介绍了电影和 LGE MRI 的预处理步骤。

SAX 电影包括九个平行视图（大多数情况下），覆盖 LV 的尖端到基底水平。每个视图包含 25 帧（心脏阶段），从而在单个 SAX 电影记录中产生 225 张图像。我们在开发分类模型时检查了不同数量输入视图的表征能力。在平衡效率和有效性的同时，三视图输入方案实现了 SAX 电影的更大表征，因此在其余研究中均采用该方案。三视图输入方案包括中间层（从底部到顶部的平行层中的中间切片）、中间层上方的第二层和中间层下方的第二层（扩展数据图 2）。我们从每个 Dicom 标头中提取“ImagePositionPatient”标签和“ImageOrientationPatient”标签来定位这三个层。然后，应用 SimpleITK60 库（https://simpleitk.org/）提供的三样条插值将原始电影 MRI 重新采样为相同的空间分辨率 0.994 mm × 0.994 mm，这是本研究中调查的所有受试者中最常见的空间分辨率。我们开发了一个心脏 ROI 分割模型（下一节），并使用它来定位每个电影 MRI 的心脏区域。人工检查了 AI 模型预测的心脏 ROI 分割，以确保其准确性。提取的 ROI 被填充以保持纵横比不变且不失真，然后调整为 224 × 224。电影 MRI 图像中顶部和底部 0.1% 的像素被剪裁，以避免出现分布不均匀的像素。电影图像在 1 到 255 之间缩放，然后通过零均值和单位方差进行归一化，然后将其输入到模型中。我们使用 2 的时间步长从每个全长电影序列中采样 25 帧的片段，得到 13 帧作为模型开发的输入。4CH 电影与 SAX 电影共享相同的预处理管道，不同之处在于仅使用一个单层（中间切片）来表示 4CH 视图。对于 SAX LGE，从心脏底部到心尖的所有层都用于诊断模型开发。
SAX LGE 的预处理步骤与电影 MRI 的预处理步骤类似。我们沿 z 轴对 SAX LGE 进行重新采样，以确保每个 LGE 序列包含九个切片，因为九是本研究中 SAX LGE 最常见的视图数。

心脏 ROI 提取

我们开发了心脏检测 DNN 模型来自动提取心脏 ROI 区域（扩展数据图 4）。我们分别训练和评估了 SAX 电影、4CH 电影和 SAX LGE 的三个 DNN 模型。我们应用 nnU-Net61 作为模型主干，并使用半自动方法生成模型监督的地面实况分割掩码。（1）自动定位：对于 SAX 电影和 4CH 电影，我们选择了所有帧中标准偏差最大的像素区域。这些区域定位心脏 ROI，因为心脏是一个在其位置上具有高标准偏差的跳动器官。具体而言，对于每个电影序列 s = {x1,…, xn}，我们计算了所有帧的标准偏差的单个像素图 xstd = σ({x1,…, xn})。该图用于计算 Otsu 阈值，以二值化和标记电影模态变化最大的区域 21。对于每个电影序列，根据心动周期的长度定义心脏 ROI 的二元分割掩码。所有分割掩码都经过手动检查。定位程序在约 90% 的情况下捕获心脏 ROI。其余情况则手动标记。（2）手动标记：我们使用 3D Slicer62 和 ITK-SNAP63 手动绘制捕获心脏 ROI 的边界框。我们使用 3D Slicer 中的 Segment Editor 和 ITK-SNAP 中的 Polygon Inspector 提供的剪刀工具来定位心脏 ROI。为每个 CMR 序列保存了一个二元分割掩码。对于 SAX LGE，我们手动绘制注释作为模型监督。

在模型架构方面，检测模型共享经典的 U-net64 主干，但进行了三处小调整：（1）批量规范化被实例规范化65 取代，（2）整流线性单元 (ReLU) 被泄漏 ReLU66 取代作为激活函数，（3）在解码器中为除两个最低分辨率之外的所有分辨率添加额外的辅助损失。该模型输出提取心脏 ROI 的二进制边界框。对于模型训练，我们采用了 Adam 优化器和具有 Nesterov 动量（μ = 0.99）的随机梯度下降 (SGD)。初始学习率设置为 0.01，学习率的衰减遵循“Poly”学习率策略67。批量大小设置为 36。数据增强包括旋转、缩放、伽马校正和镜像。损失函数是交叉熵和 Dice 损失之和68。

基于视频的深度学习模型和训练细节

模型架构。对于基于电影序列的模型，我们使用时间步长 2 和空间大小 224 × 224 从每个 25 帧电影视频中采样 13 帧的剪辑，得到 7 × 56 × 56 个输入 3D 标记。3D 补丁分割层获取标记，每个补丁/标记由 128 维特征组成。在实践中，此标记化应用无重叠的 3D 卷积，并将输出通道数设置为 128，以将每个标记的特征投影到 128 维。

开发的模型由四个阶段组成，即四个视频 swin 转换器块。除了最后一个阶段之外，每个阶段都在补丁合并层执行 2 倍空间下采样。值得注意的是，我们不会沿时间维度进行下采样。块合并层将每组 2 × 2 空间相邻块的特征连接起来，并应用线性层将连接的特征投影到其维度的一半。视频 swin Transformer 块由一个基于 3D 窗口的多头自注意模块和一个基于 3D 移位窗口的多头自注意模块组成，后面跟着一个前馈网络，即每个感知器有两层多层，中间是高斯误差线性单元非线性。在每个多头自注意模块和多层感知器之前应用层归一化，在每个模块之后应用残差连接。我们使用了 VST 的基本版本。每个阶段的头数分别为 4、8、16 和 32。扩展数据图 3a 展示了基于 VST 的 SAX 电影建模框架的示意图。

数据增强：随着训练数据样本量的增加，模型性能得到改善。对于筛选模型，我们使用了随机旋转、随机颜色抖动和添加随机数。在训练过程中的每个 SGD 步骤中，我们都会扰动每个训练样本、电影视频序列，进行随机旋转（对于 SAX 电影，在 -45 度和 +45 度之间，对于 4CH 电影，在 -20 度和 +20 度之间），随机颜色抖动，并在图像像素上添加一个在 -0.1 和 0.1 之间均匀采样的数字（像素值已标准化）以增加或减少图像的亮度。对于 LGE，我们使用了 -45 度和 +45 度之间的随机旋转、随机颜色抖动和沿 z 轴的随机翻转。数据增强使所有模型都得到了改进。

多模态融合：首先，我们分别为 SAX 电影、4CH 电影和 SAX LGE 开发了基于 VST 的模型。然后，为了融合来自不同模态的信息，我们在每个 VST 模型的最后一个自注意力模块后添加了一个全局平均池化层。这导致每个模态都有一个 1,024 维的特征向量。我们进一步连接了 1,024 维向量，并在其上添加了一个完全连接的层来聚合特征。最终的完全连接的 softmax 层在输出类上产生分布。在训练方面，我们使用迁移学习 69 加载并冻结来自不同模态的每个 VST 分支的预训练权重，并且仅微调最后的完全连接层以进行特征聚合。

实施细节：遵循经典的 VST 配置27，我们采用了 AdamW 优化器，该优化器使用余弦衰减学习率调度程序和 2.5 个线性预热时期。使用的批处理大小为 32。主干 VST 由 ImageNet70 和 Kinetics-600（参考文献 71）预训练模型初始化；头部是随机初始化的。模型预训练在基于 VST 的 CMR 解释中起着极其重要的作用。我们还发现，将主干的学习率乘以 0.1 可以提高性能。具体而言，预训练主干和随机初始化头部的初始学习率分别设置为1 × 10−4 和 1 × 10−3。系统地检查了学习率修改对 VST 主干的影响，如下所示。对于本研究中使用的 Swin 基础模型，我们采用 0.2 随机深度率和 0.05 权重衰减。为了防止模型偏向某一类，我们使用 ClassBalancedDataset 采样策略 72 平衡了筛选和诊断的训练数据集。从单一模态派生的每个 VST 分支都经过 150 个 epoch 的训练，然后输入到融合模型中，随后进行 20 个 epoch 的微调，特别是针对融合层。对于推理，我们将批处理大小设置为 1，将工作器数量设置为 4。使用四个 NVIDIA GeForce RTX 3090 图形处理单元和 24 GB VRAM 进行模型开发的训练时间约为 77 小时，每个受试者的推理时间仅为 0.233 秒。

VST 主干上的学习率：通过受控实验系统地检查了学习率修改对 VST 主干的影响。实验涵盖了从 1 × 10−2 到 1 × 10−6 的一系列学习率，重点关注它们对基于 SAX 电影的 AI 诊断模型的影响。调查针对主要队列（6,650 名 CVD 患者）进行，采用双重配置进行训练，其余配置进行测试。该模型训练了 150 个时期，模型主干的五种不同的学习率初始化：1 × 10−2、1 × 10−3、1 × 10−4（如本研究中所应用的）、1 × 10−5 和 1 × 10−6。为了进行公平和直接的比较，其他配置保持一致，并绘制了每种方案的训练损失以供分析（补充图 3）。从所描绘的图中，出现了几个关键的观察结果。当学习率设置得太高（1 × 10-2，蓝色曲线）时，模型难以收敛，训练损失无法下降，与更优化的 1 × 10-4 设置（绿色曲线）形成鲜明对比。值得注意的是，1 × 10-2 学习率下的模型在测试期间将所有样本错误地归入 HCM 类。相反，当学习率设置得太低（1 × 10-6，紫色曲线）时，损失在训练期间下降非常缓慢。如图所示，与更有效的 1×10-4 设置相比，1×10-5 和 1×10-6 的损失曲线仍处于相对较高的水平。进一步的评估包括计算上述实验设置下测试折叠的 F1 和受试者工作特征曲线下面积得分（补充图 3）。值得注意的是，以 1×10-2 学习率训练的模型未能收敛，因此被排除在定量指标之外。根据评估结果，与其他设置相比，1×10-4 的初始化学习率表现出更优异的性能。因此，基于这些综合分析，我们选择 1×10-4 作为我们实验的初始化学习率。

CNN-LSTM：我们研究了传统的 CNN-LSTM 架构在 CMR 解释中的应用。CNN-LSTM 由一个 DenseNet 编码器（40 层，增长率为 12）和一个 LSTM（用于特征提取）组成，后者用于时间特征聚合。DenseNet 编码器包含一系列二维卷积，内核大小为 1 × 1 和 3 × 3，以及全局平均池化，用于提取每个输入帧的特征向量。对于 LSTM，每个输入帧的特征向量按顺序输入到 LSTM 模块中。LSTM 融合特征向量并在一个完全连接层之后产生最终分类分数。对于 CNN-LSTM 模型的训练配置，我们采用 SGD 优化器，学习率为 0.001，动量为 0.9，权重衰减为 0.001。批处理大小为 4 用于训练，1 用于测试。 CNN-LSTM 模型的 DenseNet 编码器由预训练模型 21 初始化，LSTM 组件随机初始化。我们保持数据增强、输入方案和计算资源与 VST 模型相同，唯一的区别是：由于 CNN-LSTM内存限制，SAX 电影输入的大小调整为 64 × 64。

定量评估和统计分析：通过评估 AI 模型的敏感性、特异性、精确度和 F1 得分（预测阳性值和敏感性的调和平均值），以及双侧 95% 置信区间，以及 ROC 的 AUC（双侧置信区间）来评估其性能。F1 得分与 AUC 互补，这在多类预测的设置中特别有用，并且在类别不平衡的设置中不如 AUC 敏感。

为了总体衡量模型性能，我们计算了 F1 得分和 AUC73 的类频率加权平均值。筛选的截止值设置为 0.5；概率最高的 CVD 类别是诊断预测。各类别的准确率、敏感度（召回率）、特异度、PPV、NPV、F1 得分与真阳性（TP）、真阴性（TN）、假阳性（FP）、假阴性（FN）率相关，公式如下：
在这里插入图片描述
ROC 空间定义为 1 - 特异性和敏感性，分别为 x轴和 y 轴。它描绘了分类阈值从零变为一时真阳性和假阳性之间的相对权衡。随机猜测将给出从左下角到右上角的对角线上的一个点。对角线上方的点代表良好的分类结果，对角线下方的点代表不良结果。我们应用类频率加权 F1 分数和类频率加权 AUC 来评估我们的诊断模型的性能，公式如下：
在这里插入图片描述
其中 F1-scorei和 AUCi分别表示第 i 类的 F1 分数和 AUC，ratioi 表示每个第 i 类的频率比。

此外，为了提高模型的可解释性并可视化 DNN 模型所使用的决定最终预测的特征，
我们使用 Grad-CAM29 通过可视化特定于类的梯度信息来定位重要区域（显着区域）。在 Grad-CAM 中，
神经元重要性权重 αkc估计为
在这里插入图片描述
其中 yc表示在 softmax 之前 c 类的梯度得分，Ak表示第 k 层的特征图激活。在计算每个特征图的神经元重要性权重后，我们可以通过对特征图进行加权线性组合，然后使用 ReLU 激活函数生成指示与 c 类相关的重要区域的热图，如下所示
在这里插入图片描述
然后，我们使用 Shapley 值 74 来评估每种输入模态（SAX 电影、4CH 电影和 SAX LGE）的影响。Shapley 值
是 AI 中使用的一种原则性归因方法，通过为每种输入模态分配特定预测的重要性值来量化各个输入特征的贡献。Shapley 值 75 的定义如下式所示：
在这里插入图片描述
其中 ϕi (v) 表示输入分量 i 的贡献值，即每个输入模态（参与者）的 Shapley 值，N 表示层数，v 是将层子集映射到实数的函数：v ∶ 2N → R，其中 v (∅) = 0，其中∅表示空集。参与者集合称为联盟。函数 v 称为特征函数：如果 S 是参与者联盟，则 v(S)（称为联盟 S 的价值）描述了 S 成员通过合作可以获得的总预期收益总和。总和扩展到 N 中不包含输入分量 i 的所有子集 S；还请注意（a，nb，c）是多项式系数。该公式也可以解释为
在这里插入图片描述
心血管疾病的诊断标准和正常对照 CAD 或缺血性心肌病：心肌梗死或缺血性心肌病的诊断基于欧洲心脏病学会、美国心脏病学会和美国心脏协会委员会标准76，侵入性冠状动脉造影 (CAG) 或冠状动脉计算机断层扫描血管造影显示明显狭窄，CMR 显示心内膜下或透壁 LGE 与匹配的冠状动脉。我们排除了没有可用 CAG 或由于心律失常或呼吸运动伪影导致图像质量不足的病例。

HCM：我们遵循 2020 年美国心脏协会和美国心脏病学会对 HCM 患者的诊断指南77。HCM 的临床诊断是通过 CMR 做出的，CMR 显示左心室任何部位的最大舒张末期壁厚≥15 毫米，且成人没有其他肥大原因。当 HCM 患者的家庭成员中存在更有限的肥大 (13-14 毫米) 或与阳性基因检测相结合时，可以诊断。我们排除了以下情况的病例：

心脏瓣膜疾病（主动脉瓣狭窄等）
长期不受控制的高血压
炎症性心脏病（结节病等）
浸润性心肌病（淀粉样变性、法布里病等）
CMR 前进行间隔肌切除术或酒精消融
CMR 图像质量差

DCM：DCM 的诊断基于世界卫生组织 78 的诊断标准。纳入标准基于左心室舒张末期直径增大 (>60 mm) 和左心室射血分数降低 (<45%)。排除标准如下：

冠状动脉明显狭窄 (>50% 狭窄，通过 CAG 或冠状动脉计算机断层扫描血管造影评估)
严重瓣膜疾病、高血压或先天性心脏病
急性或亚急性心肌炎的证据 (T2 加权图像和实验室检查)
医学证明中有任何其他代谢疾病
CMR 质量不足

LVNC。LVNC 的诊断基于先前的研究 32,79，如下：

存在致密化和未致密化 LV 心肌，具有双层外观，至少涉及 LV 心尖
长轴视图上的舒张末期致密化/致密化比率 >2.3，SAX 视图上的舒张末期致密化/致密化比率 ≥3
未致密化质量 > LV 整体质量的 20%
没有导致过度小梁形成的病理性（压力/容量负荷，例如高血压）或生理性（例如怀孕和剧烈体力活动）重塑因素

ARVC。ARVC 的诊断标准基于修订的工作组标准 80 评分，包括两个主要标准、一个主要标准和两个次要标准或四个次要标准。主要标准包括区域性右心室运动不能或运动障碍或右心室收缩不同步、右心室舒张末期容积与体表面积之比 >110 ml m−2（男性）或 >100 ml m−2（女性）或右心室射血分数 <40%；右心室游离壁心肌纤维化替代，心内膜心肌活检有或无脂肪组织替代；心电图检查有复极异常和去极化或传导异常。CAM。 CAM 的诊断基于心内膜心肌活检或心外活检标本在偏振光下显示阳性双折射和刚果红染色，以及原生和增强的CMR 成像，其模式与 CAM 一致：CMR 显示 LV 壁厚度超过 12 毫米，无其他已知原因，有或无弥漫性 LGE81。

RCM。RCM 的特征是心室充盈困难，心肌僵硬性增加。限制性心肌病定义为心室生理受限，舒张容积正常或减少52,82，具体如下：

左心室或右心室未扩张，舒张功能障碍
双心房扩张
射血分数保留 (LVEF ≥50%)
我们排除了符合以下标准的受试者：
左心室收缩功能降低
严重心房颤动
严重瓣膜病、高血压或先天性心脏病
冠状动脉明显狭窄。

肺动脉高压。肺动脉高压的诊断基于右心导管检查的结果。如果患者临床诊断为 PAH83，则纳入本研究：

平均肺动脉压 (mPAP) ≥25 mmHg
肺毛细血管楔压 (PCWP) <15 mmHg
静息时肺血管阻力 (PVR) >3 Wood 单位
我们排除了符合以下标准的受试者：
任何有心肌病、心肌炎、CAD、心肌梗死、瓣膜病或缩窄性心包炎的证据。
任何有呼吸系统疾病的证据。
心脏手术史

先天性心脏病——埃布斯坦畸形。埃布斯坦畸形的诊断依据是三尖瓣瓣叶顶端移位（≥8 mm m-2），且与下层心肌有纤维和肌肉附着31。患有其他伴随畸形（例如先天性矫正的埃布斯坦畸形转位）和有心脏手术史的患者被排除在外。

急性心肌炎。急性心肌炎的诊断基于欧洲心脏病学会心肌和心包疾病工作组推荐的临床疑似心肌炎诊断标准84，符合路易斯湖标准85或通过心内膜心肌活检确认即可。

临床急性心肌炎患者有以下症状：急性胸痛、急性心肌损伤征兆（心电图变化和/或肌钙蛋白水平升高）和炎症实验室标志物升高（例如 C 反应蛋白水平）。心脏 MRI 前排除 CAD。排除已有 CVD 的患者。

HHD。HHD 的诊断标准包括 (1) 长期、不受控制的动脉高血压病史和 (2) 向心性肥大左心室最大壁厚≥12 毫米。我们排除了患有以下疾病的患者：

任何其他原因导致的左心室肥大
心肌病
阻塞性冠心病
严重瓣膜病
炎症性心脏病
严重室性心律失常，如室性心动过速或左束支传导阻滞
CMR 成像质量差

正常对照。健康对照者被招募为志愿者，他们没有心血管疾病（包括心肌病、冠状动脉疾病、严重心律失常或传导阻滞、瓣膜疾病、先天性心脏病等）和其他器质性或全身性疾病，通过患者病史、临床评估、心电图和超声心动图进行综合评估。

报告摘要

有关研究设计的更多信息，请参阅与本文链接的《自然》投资组合报告摘要。

数据可用性

所有参与成像和数据收集的机构均获得了 IRB 批准：北京阜外医院，中国（2023-1935 年）。各相关伦理委员会和机构均免除了知情同意的需要。本研究未使用公开可用的数据集。去识别数据只能用于非商业学术目的，并且需要正式的材料转让协议和数据使用协议。请求应通过电子邮件提交给通讯作者（S.Z.、Y.-R.J.W. 或 K.Z.），地址为 cjrzha oshihua2009@163.com、wangyanran100@gmail.com 或 kk.zhao@siat.ac.cn。所有请求都将根据机构政策进行评估，以确定所请求的数据是否受知识产权或患者隐私义务的约束。通常，所有此类访问 CMR 数据的请求将在 1 个月内得到回复。示例本研究中的 CMR 数据可在补充视频中找到。

代码可用性

代码库的开源版本可在 GitHub 上获取，网址为
https://github.com/MedAI-Vision/CMR-AI，没有任何限制。

在这里插入图片描述

扩展数据图 1 | 心血管疾病和正常对照队列的纳入-排除级联。CVD，心血管疾病；CMR，心血管磁共振成像；SAX，短轴；4CH，四腔；LGE，晚期钆增强。

在这里插入图片描述

扩展数据图 2 | 用于开发筛查和诊断模型的心脏 MRI 演示。左栏显示获取 CMR 输入的心脏方向/视图。右栏列出每种模态的输入图像。SAX LGE 是 3D 静态体积，电影是 25 帧的视频序列。CMR，心血管磁共振成像；SAX，短轴；LGE，晚期钆增强。

在这里插入图片描述

扩展数据图 3 | 用于 CMR 解释的基于视频的 Swin Transformer 和 CNN-LSTM 框架的示意图。a、基于视频的 swin Transformer (VST) 的框架。该模型以心脏 MRI 序列为输入，通过 VST 固有的全局自注意和移位窗口机制提取不同特征，并输出分类分数。3D W-MSA，基于 3D 窗口的多头自注意模块；3D SW-MSA，基于 3D 移位窗口的多头自注意模块；WSA，窗口自注意模块。b、传统 CNN-LSTM（长短期记忆）的框架。每个 CMR 切片由 DenseNet-40–12（层 = 40；增长率 = 12）CNN 编码为特征向量特征 i。这些特征向量被顺序输入到 LSTM 编码器中，该编码器使用软注意层来学习所有切片的加权平均嵌入。

在这里插入图片描述