图神经网络GNN简介

GNN

  • 1.DL库及数据集
    • 1.1 GNN通用DL库
    • 1.2 图数据集
  • 2. GCN
  • 3. GAT
    • 3.1 GAT注意力机制
  • 4. GIN
  • 参考文献

在这里插入图片描述
如果对图的基础知识,以及对图神经网络要解决的任务还不太熟悉,可以通过 A Gentle Introduction to Graph Neural Networks快速入门。

接下来推荐两篇GNN综述性的文章:A Comprehensive Survey on Graph NeuralNetworks以及Graph neural networks: A review of methods and applications。

下图是第2个综述里提到的ConvGNN的分类,即基于spectral-based 方法和基于spatial-based的方法。spectral-based(谱)方法,如果对谱聚类之类比较熟悉的话会容易上手点。

在这里插入图片描述

1.DL库及数据集

1.1 GNN通用DL库

pyg和dgl是比较火的两个图神经网络仓库。

但是用起来也有缺陷,比如使用比较流行的图数据集很方便,但是如果要自定义数据集,那就要对其数据集构建风格足够了解。因此对要使用新数据集的初学者并不是很友好。

1.2 图数据集

  • Graph Classification常用数据集

2. GCN

graph-convolutional-networks-gcn这个网页介绍的GCN很不错,下图主要来自这里。

另外也可以参阅GCN直观解析及代码实现。

在这里插入图片描述

这里我总结了一份GCN 图分类的代码,如果图nodes、features个数相同,邻接矩阵一致,可以直接支持batch操作。

3. GAT

Github:gordicaleksa/pytorch-GAT,是一份比较流行的GAT仓库,它关于cora数据集可视化的部分也是很精彩的。仓库中给出了GAT的3个实施例。

正如代码中所说,实施例1和2几乎一致且比较易懂,而且参考了官方实现;实施例3比较难懂但是效率高。

I've added 3 GAT implementations - some are conceptually easier to understand some are more efficient.
The most interesting and hardest one to understand is implementation #3.
Imp1 and imp2 differ in subtle details but are basically the same thing.
Implementation2 was inspired by the official GAT implementation: https://github.com/PetarV-/GAT

因此,对于初学者,接受起来有点困难,不太推荐。

这里推荐Diego999/pyGAT这个github,针对的数据集也是Cora,而且也不支持batch操作。如果要应用于图分类,还要改造下。

3.1 GAT注意力机制

在这里插入图片描述

结合Diego999/pyGAT代码,以及原论文,将GAT注意力机制的过程更清晰总结下,主要分为两步:

  • 各head attention:利用左图的过程,获取带mask(忽略无连接边的node)的self-attention系数;
  • multi-head attention:在各head-attention基础上进行concat/avg等操作,最后通过非线性层输出。

4. GIN

GIN(Graph Isomorphism Network)模型出自ICLR 2019论文HOW POWERFUL ARE GRAPH NEURAL NETWORKS?,对比了GIN与其他GNN模型在多个图分类数据集上的效果。

对应github/powerful-gnns也是比较友好的,同时支持batch训练、测试。参照其代码中构建图数据集的方法,也是不错的。

参考文献

[1] ★★★★A Comprehensive Survey on Graph NeuralNetworks
[2] GCN pytotch 实现:graph intro ai summer.ipynb
[3] ★★★★Best Graph Neural Network architectures: GCN, GAT, MPNN and more
[4] HOW POWERFUL ARE GRAPH NEURAL NETWORKS?
[5] Deep Graph Convolutional Neural Network (DGCNN)
[6] ★★★★Graph neural networks: A review of methods and applications
[7] book:Deep Learning on Graphs
[8] A Comprehensive Introduction to Graph Neural Networks (GNNs)
[9] A Gentle Introduction to Graph Neural Networks
[10] Keyulu Xu slides: Modeling Intelligence via Graph Neural Networks
[11] ★★★★★Understanding Convolutions on Graphs
[12] ★★★Yao Ma Slides:Graph Neural Networks: Models and Applications
[13] datacamp:simple GNN demo using torch_geometric

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/68258.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

图神经网络GNN 原理 详解 (一)

图神经网络(GNN) 一.背景 图神经网络的概念首先由 Gori 等人(2005)[16] 提出,并由 Scarselli 等人(2009)[17] 进一步阐明。这些早期的研究以迭代的方式通过循环神经架构传播邻近信息来学习目标节点的表示,直到达到稳定的固定点。该过程所需计算量庞大,而近来也有许多…

图神经网络GNN介绍

目录标题 图神经网络基础图基本模块定义图的邻接矩阵点特征的更新(重构)多层GNN 图卷积GCN模型GCN基本思想网络层数:基本计算 图注意力机制graph attention networkT-GCN序列图神经网络 图相似度 图神经网络基础 图基本模块定义 三个特征&a…

图神经网络(GNN)模型原理及应用综述

从数据结构到算法:图网络方法初探论文《Graph Neural Networks: A Review of Methods and Applications》木牛马论文阅读笔记https://www.cnblogs.com/ydcode/p/11050417.htmlhttps://zhuanlan.zhihu.com/p/102994627?utm_sourcewechat_session 文章目录 图神经网络…

图神经网络GAT最详细讲解(图解版)

前言 大家好,我是阿光。 本专栏整理了《图神经网络》,内包含了不同图神经网络的原理以及相关代码实现,详细讲解图神经网络,理论与实践相结合,如GCN、GraphSAGE、GAT等经典图网络,每一个代码实例都附带有完…

图神经网络(GNN)的简介

近年来,图神经网络(GNN)在社交网络、知识图、推荐系统甚至生命科学等各个领域得到了越来越广泛的应用。GNN在对图节点之间依赖关系进行建模的强大功能,使得与图分析相关的研究领域取得了突破。本文介绍了图神经网络的基本原理,以及两种高级的…

什么是图神经网络GNN?

一、什么是GNN 一句话概括图神经网络(Graphic Nuaral Network,GNN):将一个数据(一个图)输入到网络(GNN)中,会得到一个输出数据(同样是图)&#xf…

图神经网络简介,什么是图神经网络,GNN

目录 什么是图? 二、怎么把一些内容表示成图 2.1 怎么把图片表示成图 2.2 将一句话表示成图 2.3 其他信息转换成图的例子 2.3.1 分子结构表示成图 2.3.2 社会人物关系表示成图 2.3.3 其他可以表示成图的信息 三、哪些类型的问题有图结构数据 3.1 图层面的任务…

ChatGPT 火爆了,为什么不被开发者所欢迎?

可以说,ChatGPT是近几个月最受欢迎的话题之一,毕竟这个聊天机器人比它的前辈们“聪明”了很多,除了聊天之外,还会打草稿和编写代码,在某种程度上也能提高生产力。 记得 ChatGPT 最开始上线不久的时候,看到…

不需要等待列表,也不用魔法上网的Claude,能否比肩ChatGPT?

近期,国外Anthropic公司发布了Claude聊天机器人,堪比ChatGPT的最大竞争对手。一经推出,市场上就经常拿它俩来对比,因为推出Claude产品的Anthropic 公司是由多位前OpenAI前员工组成,两家公司,以及他们推出的…

漫画:骚操作系列(一文让你学会如何用代码判断“24“点)

“24点”是一种数学游戏,正如象棋、围棋一样是一种人们喜闻乐见的娱乐活动。它始于何年何月已无从考究,但它以自己独具的数学魅力和丰富的内涵正逐渐被越来越多的人们所接受。今天就为大家分享一道关于“24点”的算法题目。 话不多说,直接看题…

修改Discuz首页四格列表

优化经典四格版式下的用户界面 CSS,增加了表格间的分割线显示,使页面 UI 更为整齐 效果图: 修改步骤: 1.打开文件:template/default/style/t5/style.css 2.尾部新增样式: .category_newlist {padding: 0…

卡方检验四格表怎么做_SPSS案例实践:2*2四格表卡方检验

在某项调查研究中,所有受访家庭按照家庭收入被分为低收入家庭和中高收入家庭两类,现希望考察不同收入级别的家庭其轿车拥有率是否相同。 SPSS数据如下: 家庭是否拥有轿车是一个二结局的分类变量,要么有要么没有,互斥,所以该问题是一个典型的两个率的差异比较。 01 频数资…

AI漫画生成

文章目录 前言一、漫画生成怎么搞?二、White-box Cartoon Representations1.网络结构2.代码 附 前言 提示:这里可以添加本文要记录的大概内容: 例如:随着人工智能的不断发展,机器学习这门技术也越来越重要&#xff0c…

[四格漫画] 第523话 电脑的买法

翻译至:http://www.atmarkit.co.jp/ait/articles/1610/04/news018.html

四格漫画《MUXing》——发版后……

产品发版上线后,工作并没有结束…… 【本文首发于:百度MUX】http://mux.baidu.com/?p2736 【 关注百度技术沙龙】 本文转自百度技术51CTO博客,原文链接: http://blog.51cto.com/baidutech/770299 ,如需转载请自行联系…

四格漫画《MUXing》——度姐传说

MUXING用户研究工程师们热情、专业且富有亲和力。同时,他们也是群有故事的人…… 【本文首发于: 百度用户体验部】 http://mux.baidu.com/?p1169 【 关注百度技术沙龙】 本文转自百度技术51CTO博客,原文链接:http://blog.51cto.c…

四格漫画《MUXing》——请客记

年关将近,聚会增多,请客?还是被请?这是个问题…… 【本文首发于: 百度用户体验部】 http://mux.baidu.com/?p675 【 关注百度技术沙龙】 本文转自百度技术51CTO博客,原文链接:http://blog.51ct…

四格漫画《MUXing》——龙年大吉

2012世界末日就要来了!MUXING要集齐龙珠,唤出神龙,拯救世界!龙年必须要大吉! 【本文首发于:百度MUX】http://mux.baidu.com/?p2866 【 关注百度技术沙龙 本文转自百度技术51CTO博客,原文链接&a…

四格漫画《MUXing》——他们在干什么

黑夜给了我一双黑色的眼睛,我用它来追逐光明,但……他们在干什么? 【本文首发于: 百度用户体验部】 http://mux.baidu.com/?p1859 【 关注百度技术沙龙】 本文转自百度技术51CTO博客,原文链接:http://bl…

四格漫画《MUXing》——MUX诞生记

MUXING 是谁??!!据说与外星生物有关……是神秘的…… 木星(muxing),为太阳系八大行星之一,距太阳(由近及远)顺序为第五,亦为太阳系体积最大、自转…