干货！小样本分子性质预测新方法—

干货！小样本分子性质预测新方法——性质感知的关系网络

点击蓝字

关注我们

AI TIME欢迎每一位AI爱好者的加入！

分子性质预测能够识别具有目标性质的候选分子，在药物发现中发挥着重要作用。由于新药发现研究中已知药理性质的分子(有标签样本)少，分子性质预测本质上是一个小样本问题，很难使用常规的机器学习方法解决。

在已有的小样本的分子性质预测研究中，现有工作常直接使用小样本学习的经典方法，但是忽视了分子性质预测问题的特性，即在不同性质预测任务中起作用的子结构和分子间关系均是不同的。在这篇工作中，我们提出了新的小样本分子性质预测模型--性质感知的关系网络(PAR)。

我们首先引入一个性质感知的表示学习函数，将通用分子表征转换到与目标性质相关的子结构空间。然后，我们设计了一个性质自适应的关系图学习模块来联合估计分子之间的关系图并改进分子表征，使得标签信息可以在相似的分子之间有效地传播。

我们采用元学习策略，在任务中选择性地更新参数，以便对通用知识和目标性质专有知识进行分别建模。在基准分子性质预测数据集进行的大量实验表明，PAR始终优于现有方法，并且可以获得性质感知的分子表征并正确建模分子关系图。

本期AI TIME PhD直播间，我们邀请到百度研究院商业智能实验室资深研究员——王雅晴，为我们带来报告分享《小样本分子性质预测新方法——性质感知的关系网络》。

王雅晴：

百度研究院商业智能实验室资深研究员。于2019年博士毕业于香港科技大学计算机科学及工程学系，师从倪明选教授和郭天佑教授。研究机器学习并聚焦小样本学习的理论研究和产业实践，现有多篇成果发表在ICML、NeurIPS、WWW、SIGIR、EMNLP、JMLR、TIP等顶级会议及期刊。发表在ACM Computing Surveys的小样本学习综述为ESI认证的2021年热点和高被引论文。

Molecular Property Prediction分子性质预测

如下图所示，在药物研发流程中，最终只有很少量的分子能在湿实验中获得属性标签。这使得分子性质预测任务本质上是一个小样本学习任务。

Problem Formulation

我们将这个问题建模成如何从一大堆的分子性质预测任务中学习一个预测器。这个预测器仅需要提供少量的带标签分子，就能够泛化到当前的目标性质上。

具体而言，每一个任务就被建模成了一个2-way分类任务：在每一个任务之中，我们考虑的都是一个分子是否在每个特定性质上是否被激活这样一个二分类问题，即2-way。

如经典小样本学习的设定一样，在这个任务中会有一个训练集support set，里面包含的是有标签的数据。每一个类会有K个带标签分子，即一个任务提供2K个带标签分子作为监督信号。此外，还存与一个测试集query set用来评估模型效果。

Existing Works

已有的分子性质预测方法大多遵循一个固定的框架：把分子看成图，原子为图中的点，化学键为边，将分子送入图神经网络（GNN）之后即可得到分子表征（图表征）；之后再通过经典小样本学习方法得到分子性质预测的结果。

IterRefLSTM [Altae-Tran et al., ACS Central Science, 2017]基于Matching Networks [Vinyals et al., NeurIPS, 2016]，而Meta-MGNN [Guo et al., TheWebConf, 2021]则改进了MAML [Finn et al., ICML, 2017]。

Motivation

但是，现有工作均忽略了分子性质预测任务中两个非常重要的点。

第一点是，不同的分子性质其实是由于他们不同的子结构所决定的，这也是很多生化研究人员发现的。

第二点是，如果你考虑不同的性质，分子之间的关系是会发生变化的。比如说，当你考虑性质SR-HSE的时候，分子1和分子4因为有相同的label而比较接近。

而当我们在考虑性质SR-MMP的时候，我们会发现分子1和分子2又接近了。他们的关系其实是和当前我们要考虑的性质是密切相关的。所以，我们提出了Property-Aware Relation networks (PAR)。

PAR Framework

我们首先给出PAR的整体框架图。PAR有两个重要组成部分：Property-aware Molecular Embedding和relation graph learning。接下来，我们分别介绍这两部分。

Property-aware Molecular Embedding

由于不同的分子性质是由不同的分子子结构决定的，我们设计了这个模块来捕捉这个信息。下图以2-way 2-shot任务为例。

针对每个query set里的样本，我们需要预测出它在这个性质是active还是inactive。得到分子之后，我们通过GNN得到其表征，这个GNN可以是预训练得到的。我么的目标是使得通用的分子表征能够转用到跟当前性质相关的空间上。

首先，我们把两个active类的分子表征求一个平均，inactive的类也取一个平均，从而得到两个类的类代表。

在此之后，每一个得到的分子表征和两个类代表通过自注意力机制获得新的分子表征，这样新的分子表征就得到了需要预测的性质的信息。

Relation Graph Learning

在关系图学习的部分，我们采用了动态图学习的策略，旨在利用动态图学习的GNN网络更好地学习分子间关系以及分子表征。

这涉及到迭代的（1）估计分子关系图和（2）更新分子表征。特别的，我们对学到的分子关系图做了个稀疏的操作，比如说我们要求每个分子只能有K个邻居，从而避免选错邻居带来的错误监督信号。

Training and Inference

我们采用了元学习的方式。将模型中的参数分成泛用的参数以及特定性质相关的参数两类：

我们先从大量训练任务中学习一个较好的参数初始值：

随后，在每个任务内部，我们会把θ固定住，而只是去泛化Φ：

通过在训练过程中采用这种部分更新的策略，我们分别获取跨不同任务共享的知识和属性，可以更好的把通用的知识和当前性质有关的知识更好的区分开来，从而提升模型的训练效果。

Setup

实验部分，我们考虑了两组baseline，并使用了4个经典的分子预测数据集。

两组baseline：

Methods with graph- based encoder learned from scratch including Siamese [Koch et al., 2015], ProtoNet [Snell et al., 2017], MAML [Finn et al., 2017], TPN [Liu et al., 2018], and EGNN [Kim et al., 2019], IterRefLSTM [Altae-Tran et al., 2017];

Methods which leverage pretrained graph-based molecular encoder including Pre-GNN [Hu et al., 2019], Meta-MGNN [Guo et al., 2021], and Pre-PAR which is our PAR equipped with Pre-GNN.