POLYGCL: GRAPH CONTRASTIVE LEARNING VIA LEARNABLE SPECTRAL POLYNOMIAL filters
这篇工作的摘要和引言写的特别好(不愧是ICLR spotlight)
摘要
第一步,设定背景
Recently, Graph Contrastive Learning (GCL) has achieved significantly superior performance in self-supervised graph representation learning.
这句话确立了索要解决问题的背景和重要性。他指明了对比学习在无监督图表示学习的重要性
第二步,提出问题:
However, the existing GCL technique has inherent smooth characteristics because of its low-pass GNN encoder and objective based on homophily assumption, which poses a challenge when applied to heterophilic graphs.
在这里,作者详细的介绍了传统方法的挑战或者缺点,其标明传统GCN使用的低频GNN的假设在异配图上不成立
第三步,引入有监督学习的方法:
In supervised learning tasks, spectral GNNs with polynomial approximation excel in both homophilic and heterophilic settings by adaptively fitting graph filters of arbitrary shapes.
在监督领域,自适应匹配任意形状滤波器的谱GNN表现情况很出色
第四步,很自然的,他们在无监督领域匮乏
Based on the above analysis, a natural question arises: Can we incorporate the excellent properties of spectral polynomial filters into graph contrastive learning?
那么,有监督领域该如何做呢?
第五步,引入解决方案:
从高通信息来实现解决异配性问题。
第六步,解决方案以及细节
We propose POLYGCL, a GCL pipeline that utilizes polynomial filters to achieve contrastive learning between the low-pass and highpass views. Specifically, POLYGCL utilizes polynomials with learnable filters to generate different spectral views and an objective that incorporates high-pass information through a linear combination.We theoretically prove that POLYGCL outperforms previous GCL paradigms when applied to graphs with varying levels of homophily.
最后一步,套话,我们在很多数据集上都取得了不错的结果
引言
第一步:确定话题的重要性
Self-supervised representation learning, which aims to learn informative representations without the demand of costly handcrafted labels, has achieved a wide range of applications in areas such as computer vision, natural language processing, and multimodal (Chen et al., 2020; Grill et al., 2020; Devlin et al., 2019; Radford et al., 2021; Gao et al., 2023). On non-Euclidean graph data, Graph Contrastive Learning (GCL), has become a mainstream research direction in self-supervised scenarios, namely learning representations by capturing consistency across different views and optimizing the objective function based on mutual information maximization to distinguish positive and negative examples (Velicˇkovic ́ et al., 2019; Hassani & Khasahmadi, 2020; Peng et al., 2020; Zhu et al., 2020b).
首先,第一句设置了问题的背景:在CV,NLP等领域,对比学习取得了巨大的进展。其次,第二句限定了当前的研究范围:图对比学习成为自监督场景的主流研究方向,它通过捕获不同视图的一致性并基于互信息最大化的优化目标函数来学习以区分积极和消极示例。
第三部分是过去的方法常用了什么模块。
现有的大部分GCL都依赖于同配性假设。其往往采用低通滤波器来是的编码器和平滑临近节点的表示目标。因此,GCL在同配图上表现出色(承上启下句子)
第二步:当前的挑战以及成果(讲故事)
很自然的,接上句,过去方法用的这个模块的缺陷
异配图在现实世界很流行->监督异配图取得了很大的进展->光谱GNN取得了很好的成果->传统GNN在异配图的应用很欠缺->提出问题:我们如何有效的将谱多项式的属性引入到GCL中,以确保在同配和异配图的表现力?
第三步:具体的解决方法:
选择何种谱多项式
首先,一个问题:选择何种谱多项式?
说明在无监督的信息下,学习过滤器参数是困难的
如何解决这个问题?
为了解决这个问题,本文提出了PolyGCL。其通过光谱多项式过滤器对不同异配性水平的图进行学习。
第四步了,贡献
我们提出了polygcl,其将光谱过滤器引入到图对比学习中。Polygcl可以在同配图上进行有效学习,而无需传统GCL的复杂数据增强或者预处理
我们从理论上证明了高通信息在异性恋环境中的必要性。我们还验证了由低通和高通信息的简单线性组合策略构建的学习目标对下游任务具有理论保证。
相关工作
GCL
作为自监督的主要流派,GCL可以分为两类:
- 需增强的方法
-
- 无需增强的方法
-
光谱gnn
- 总体的写作风格:介绍低通滤波器->现有过滤器常用于多项过滤器->
- 从谱域的角度来看,GCN作为ChebNet的一阶逼近,已被证明是典型的低通过滤器,并已广泛用于图表示学习任务中。现有的作品经常考虑使用多项逼近过滤器函数,这样既保留了较强的匹配能力,又避免了拉普拉斯特征分解的O(N 3)复杂性。在考虑基的各种优秀性质的同时,有不同的多项选择,例如GPR-GNN的单调基,ChebNet的Chebyshev基础,以及BernNet中的非负伯恩斯坦基础等。尽管谱方程过滤器已被证明能够适合适用于同亲图和异亲图的任意过滤器函数,但它们仍然缺乏自我监督的应用。
-
方法部分
- 方法部分有点简陋,我学不得
-
证明部分–重要。明天以及后天得把这篇的证明推导完毕