超过30亿年的进化在天然蛋白质空间中编码形成了一幅生物学图景。在此，作者证明在进化数据上进行大规模训练的语言模型，能够生成与已知蛋白质差异巨大的功能性蛋白质，并推出了ESM3，这是一款前沿的多模态生成式语言模型，可对蛋白质的序列、结构和功能进行推理。ESM3能够遵循结合了多种模态的复杂提示，并且对校准（alignment）反应灵敏，以此提高其准确性。作者用ESM3生成荧光蛋白。在作者合成的产物中，发现了一种与已知荧光蛋白差异极大（序列同一性为58%）的明亮荧光蛋白，据估计，这相当于模拟了5亿年的进化。

来自：Simulating 500 million years of evolution with a language model, Science, 2025

背景概述

如今存在的蛋白质是在数十亿年的自然进化过程中发展成现在的形式的，它们历经了巨大的进化筛选。在时间尺度上，大自然产生随机突变并进行选择，根据蛋白质无数的序列、结构和功能对它们进行筛选。因此，我们观察到的蛋白质模式反映了生物学深层隐变量的作用，这些变量在漫长的时间里塑造了蛋白质的进化。最近对地球生物多样性的基因测序研究正在对蛋白质的序列和结构进行编目，其中包含数十亿的序列和数亿的结构，这些信息揭示了生命演化过程中的变异模式。人们逐渐达成共识，在这些序列背后存在一种蛋白质生物学的基本 “语言”，并且可以通过语言模型来理解。

目前，已有多种蛋白质序列语言模型被开发和评估。研究发现，语言模型中产生的表征能够反映蛋白质的生物学结构和功能，并且这些表征是在没有针对这些属性进行任何监督的情况下学习得到的，其性能会随着规模的扩大而提升。在人工智能领域，人们发现了scaling law，该定律可以预测随着规模的增加，模型能力的增长情况，它描绘了计算能力、参数数量和数据量方面的前沿发展趋势。

在此，作者推出ESM3，这是一种前沿的多模态生成模型，能够对蛋白质的序列、结构和功能进行推理。ESM3是一个针对每个模态的离散token进行训练的生成式掩码语言模型。ESM3通过将3D原子结构编码为离散token来实现结构推理，而不是像近期的蛋白质结构预测模型（Accurate structure prediction of biomolecular interactions with AlphaFold 3）和生成模型（De novo design of protein structure and function with RFdiffusion）那样采用复杂的架构和三维空间扩散方法。对离散token进行all-to-all建模的可扩展性，这使得ESM3能够接受其任意模态组合的提示，从而实现对蛋白质的可控生成，生成结果符合提示组合的要求。

---

all-to-all 建模是指对离散token进行全面关联建模的方法。在 ESM3 模型中，蛋白质的序列、结构和功能都被表示为离散token。通过这种建模方式，模型能够对这些离散token进行全方位的处理和关联分析，实现对蛋白质多模态信息的综合理解和处理。

---

作者发现，ESM3对提示的响应非常灵敏，能够为复杂的提示组合找到创造性的解决方案，包括一些在自然界中找不到匹配结构的解决方案。各种规模的模型都可以通过校准更好地遵循提示，并且规模更大的模型对校准的响应要灵敏得多。ESM3还生成了一种变异绿色荧光蛋白（GFP）变体，其与现有蛋白质的差异程度相当于模拟了超过5亿年的进化。

ESM3

ESM3通过语言建模，实现了对蛋白质的三种基本属性——序列、结构和功能的可扩展生成模型构建。以往针对蛋白质的生成建模工作主要集中在单个模态上，并且在将蛋白质作为3D对象进行结构建模时，依赖复杂的架构和训练目标。到目前为止，已实现大规模的语言模型也是仅针对蛋白质序列。在ESM3中，序列、结构和功能通过离散token字母表来表示。这些模态作为单独的序列track进行输入和输出，并在模型内部融合到一个单一的潜在空间中。这种简洁性使ESM3能够利用可扩展的Transformer架构进行训练，其参数高达980亿。

ESM3通过在其所有track上进行生成式掩码语言建模目标的训练：
$$\mathcal{L}=-{\mathbb{E}}_{x,m}\frac{1}{|m|}\sum _{i\in m}\log p\left(x_i|x_{\setminus m}\right)$$

其中，$\mathcal{L}$表示损失函数，${\mathbb{E}}_{x,m}$是关于变量$x$和$m$的期望，$x$代表描述蛋白质的token，$m$是一个随机掩码，$|m|$是掩码中元素的数量，$i$是掩码中的索引位置，$p\left(x_i|x_{\setminus m}\right)$表示在给定除$x_i$之外的所有token $x_{\setminus m}$的情况下，$x_i$的预测概率。

在训练过程中，根据噪声调度对掩码进行采样，该调度会改变被掩码位置的比例，以便ESM3能看到许多不同的掩码序列、结构和功能组合，并从任意其他模态的组合中预测出完成的结果。这与传统的掩码语言建模不同，其监督是应用于所有可能的掩码率，而不是单一固定的掩码率。这种监督将给定先前token的任意组合下，对下一个token的所有可能预测的概率分布进行分解，确保可以从任何起点以任何顺序生成token。

要从ESM3生成蛋白质，需进行迭代采样token。从完全或部分掩码的上下文开始，token可以按任意顺序逐个采样或并行采样，直到所有位置都完全取消掩码（图1A）。除了能够进行生成任务外，ESM3的训练目标对表征学习也很有效。高掩码率可提高生成能力，而低掩码率则有助于提升表征学习效果。作者选择使用噪声调度来训练ESM3，以平衡其生成能力和表征学习能力。

ESM3是一种双向Transformer模型。序列、结构和功能token在输入时被嵌入并融合，然后通过一组Transformer模块进行处理（图1B）。在模型的输出端，多层感知器（MLP）头将最后一层的表征映射为每个track的token概率。ESM3使用token化，而不是专门的架构组件，在学习到的多模态特征空间中表示蛋白质的复杂性。这种方法实现了高效且高度可扩展的训练。

蛋白质结构由离散自编码器进行token化，该编码器经过训练，可将三维结构压缩为离散token（图1C）。作者提出了一种不变几何注意力机制，以高效处理三维结构。该机制在由每个氨基酸的key几何形状定义的局部参考系中运行，并通过转换到全局参考系，使局部参考系能够进行全局交互。每个氨基酸周围的局部结构邻域被编码为一系列离散token，每个氨基酸对应一个token。

在预测或生成蛋白质结构时，ESM3输出的结构token会通过解码器，解码器会重建完整的原子结构。自动编码器经过训练，利用一种几何损失来编码和重建原子坐标，这种损失用于监控键向量和法线的成对距离以及相对取向。这种token化方式能够实现蛋白质结构的近乎完美重建（在CAMEO数据集上的均方根偏差小于0.5 Å）。

由于每个结构token的局部邻域包含有关结构相邻部分的信息，作者还为模型提供了一种机制，使其能够在第一个Transformer模块中通过几何注意力机制直接以骨干原子坐标为条件进行计算。为了支持对结构的更高级理解，作者加入了二级结构（SS8）token和溶剂可及表面积（SASA）token的信息通道。描述生物活性的关键词，如结合、酶功能以及结构域或折叠分类等，能够对蛋白质的结构和功能进行更高级的语义描述。这些关键词源自InterPro和基因本体（GO）中对每个残基的文本描述，经过token化处理、嵌入操作后，在网络输入时进行加和。残基水平的注释则对单个残基的功能进行多热编码，例如催化位点和翻译后修饰。

---

多热编码（Multi-Hot Encoding）是对独热编码（One-Hot Encoding）的扩展，在文本分类、生物信息学等领域有着广泛应用。

• 定义与原理：在独热编码中，对于具有$n$个不同类别的变量，会用一个长度为$n$的向量来表示，向量中只有一个元素为1，其余为0，以表明该变量所属的类别。而多热编码允许向量中有多个1 ，用于表示一个样本可以同时属于多个类别。假设存在一个变量，它可以属于{A, B, C, D}这4个类别中的多个，当该变量属于A和C时，其多热编码可能是[1, 0, 1, 0] 。在这种编码方式下，向量的每一个维度都对应一个类别，值为1表示样本属于该类别，值为0则表示不属于。
• 在生物信息学中的应用：在分析蛋白质的功能位点时，一个蛋白质可能具有多种功能，如既具有催化功能，又具有结合功能。通过多热编码，可以将蛋白质所具有的多种功能用一个向量表示，向量中的不同位置对应不同功能，1表示具有该功能，0表示不具有，有助于研究人员从多个功能维度对蛋白质进行分析和研究。

---

• 图1. ESM3是一个能对蛋白质的序列、结构和功能进行推理的生成式语言模型。
• A) 使用ESM3进行迭代采样。以生成α/β水解酶为例，序列、结构和功能都可用于向模型发出提示。在每个时间步$t$，对部分被掩码的位置进行采样，直至所有位置都不再被掩码。
• B) ESM3的架构。序列、结构和功能在输入和输出时均表示为离散token的序列。该模型由一系列Transformer模块组成，所有序列在单个潜在空间中融合；第一个模块中的几何注意力机制允许以原子坐标为条件进行计算。ESM3在监督下预测被掩码的token。
• C) 结构的token化。每个氨基酸周围的局部原子结构被编码为token。
• D) 模型在三个规模上进行训练：分别具有14亿、70亿和980亿个参数。测试集上的负对数似然（对不同掩码率求平均后的NLL）作为Y轴，训练浮点运算次数（FLOPs）作为X轴，且展示了模型对不同输入条件的响应。
• E) ESM3 98B的无条件生成的结果（根据与训练集中最接近序列的序列同一性进行着色），由ESM3嵌入，并通过UMAP投影，同时展示来自UniProt的随机采样序列（灰色）。生成的结果具有多样性和高质量，覆盖了天然序列的分布范围。

最大的ESM3模型是在从序列和结构数据库中收集的27.8亿个天然蛋白质上进行训练的。由于与序列相比，通过实验确定的蛋白质结构只占一小部分，因此作者利用了预测结构。作者使用隐马尔可夫模型库为序列添加功能关键词注释。还利用逆折叠模型为所有结构（包括预测的结构）生成合成序列。总体而言，这使得训练数据增加到31.5亿个蛋白质序列、2.36亿个蛋白质结构和5.39亿个带有功能注释的蛋白质，总计7710亿个token。

作者训练了三个不同规模的ESM3模型，参数分别为14亿、70亿和980亿。在最初一系列评估架构超参数对表征学习性能影响的实验中，发现增加网络深度比增加宽度对模型性能的提升效果更显著。这一结果为最终架构选择相对较深的网络提供了依据，其中980亿参数的模型包含216个Transformer模块。

将ESM3的参数从14亿扩展到980亿，使得测试集中所有track的损失都有显著改善，其中序列损失的改善最为明显（图1D）。无条件和有条件负对数似然（NLL）之间的差距也随着模型规模的增大而扩大。在单序列结构预测方面，ESM3 98B超越了ESMFold（在CAMEO测试集中，平均局部距离差异测试（LDDT）得分分别为0.880和0.861）。无条件生成能够产生高质量的蛋白质，这些蛋白质在序列和结构上都具有多样性，涵盖了已知蛋白质的分布范围（图1E）。

研究结果表明，借助token化、高效架构，以及掩码token预测实现的语言模型，在表征和生成应用方面均能持续取得改进。这种方法使模型能够构建一个从数据中学习得到的共享多模态表征空间。随着计算资源和数据量的不断增加，该模型能够学习到越来越丰富、通用的特征空间。