[论文精读]Variational Graph Auto-Encoders

论文网址:[1611.07308] Variational Graph Auto-Encoders (arxiv.org)

英文是纯手打的!论文原文的summarizing and paraphrasing。可能会出现难以避免的拼写错误和语法错误,若有发现欢迎评论指正!文章偏向于笔记,谨慎食用

目录

1. 省流版

1.1. 心得

1.2. 论文总结图

2. 论文逐段精读

2.1. A latent variable model for graph-structured data

2.2. Experiments on link prediction

3. Reference


1. 省流版

1.1. 心得

(1)好短的文章捏,只有两页

1.2. 论文总结图

2. 论文逐段精读

2.1. A latent variable model for graph-structured data

        ①Task: unsupervised learning

        ②Latent space of unsupervised VGAE in Cora, a citation network dataset:

        ③Definitions: for undirected and unweighted graph G=\left ( V,E \right ), the number of nodes N=\left | V \right |, the adjacency matrix with self-loop and the diagnal elements all set to 1defined as A, the degree matrix is \mathbf{D}, the stochastic latent variables is z_i \in \mathbb{R}^{1 \times F}\mathbf{Z}=\left [ z_1,z_2,...,z_N \right ] \in\mathbb{R}^{N \times F}, node feature matrix \mathbf{X} \in \mathbb{R}^{N \times D}(但是没说这个节点特征是啥,估计自己随便定义吧)

        ④Inference model:

q(\mathbf{Z}\mid\mathbf{X},\mathbf{A})=\prod_{i=1}^Nq(\mathbf{z}_i\mid\mathbf{X},\mathbf{A})

with q(\mathbf{z}_i\mid\mathbf{X},\mathbf{A})=\mathcal{N}(\mathbf{z}_i\mid\boldsymbol{\mu}_i,\mathrm{diag}(\boldsymbol{\sigma}_i^2))

where \boldsymbol\mu = \mathrm{GCN}_{\boldsymbol{\mu}}(\mathbf{X},\mathbf{A}) is the matrix of mean vectors \mu _i;

\log \boldsymbol \sigma = \mathrm{GCN}_{\boldsymbol{\sigma}}(\mathbf{X},\mathbf{A})为啥左边要有个log啊

        ⑤A 2 layer GCN:

\mathrm{GCN}(\mathbf{X},\mathbf{A})=\mathbf{\tilde{A}}\mathrm{ReLU}(\mathbf{\tilde{A}}\mathbf{X}\mathbf{W}_{0})\mathbf{W}_{1}

where \mathbf{W}_{i} denotes weight matrix, \mathbf{\tilde{A}}=\mathbf{D}^{-\frac{1}{2}}\mathbf{A}\mathbf{D}^{-\frac{1}{2}}

        ⑥\mathrm{GCN}_{\boldsymbol{\mu}}(\mathbf{X},\mathbf{A}) 和 \mathrm{GCN}_{\boldsymbol{\sigma}}(\mathbf{X},\mathbf{A})共享\mathbf{W}_{0}的参数???什么玩意儿??为啥有俩,是引用了之前的什么高斯吗?

        ⑦Generative model:

p\left(\mathbf{A}\mid\mathbf{Z}\right)=\prod_{i=1}^{N}\prod_{j=1}^{N}p\left(A_{ij}\mid\mathbf{z}_{i},\mathbf{z}_{j}\right)

with p\left(A_{ij}=1 | \mathbf{z}_i,\mathbf{z}_j\right)=\sigma(\mathbf{z}_i^\top\mathbf{z}_j)

where \sigma \left ( \cdot \right ) represents the logistic sigmoid function

        ⑧Loss function:

\mathcal{L}=\mathbb{E}_{q(\mathbf{Z}|\mathbf{X},\mathbf{A})}\big[\log p\left(\mathbf{A}\left|\mathbf{Z}\right)\right]-\mathrm{KL}\big[q(\mathbf{Z}\left|\mathbf{X},\mathbf{A}\right)\|p(\mathbf{Z})\big]

where Gaussian prior p(\mathbf{Z})=\prod_{i}p(\mathbf{z_{i}})=\prod_{i}\mathcal{N}(\mathbf{z_{i}} | 0,\mathbf{I})

        ⑨作者觉得对于非常稀疏的邻接矩阵A,在损失函数中重新加权a) A_{ij}=1的项,或b) A_{ij}=0的子样本项可能是有益的。然后它们选择了a) 方法。

        ⑩If there is no node features, replace \mathbf{X} by indentity matrix

        ⑪Reconstruct adjacency matrix by non-probabilistic graph auto-encoder (GAE) model:

\mathbf{\hat{A}}=\sigma(\mathbf{Z}\mathbf{Z}^\top) , \mathrm{with}\quad\mathbf{Z}=\mathrm{GCN}(\mathbf{X},\mathbf{A})

2.2. Experiments on link prediction

        ①Prediction task: randomly delete some edges and keep all the node features

        ②Validation/Test set: deleted edges and unconnected node pairs with the same number

        ③Connection contained: 5% for val set and 10% for test set

        ④Epoch: 200

        ⑤Optimizer: Adam

        ⑥Learning rate: 0.01

        ⑦Hidden dim: 32

        ⑧Latent variable dim: 16

        ⑨Embedding dim: 128

        ⑩Performance comparison table with mean results and std error for 10 runs:

where * means w/o node features

3. Reference

Kipf, T. N. & Welling, M. (2016) 'Variational Graph Auto-Encoders', NIPS. doi: https://doi.org/10.48550/arXiv.1611.07308

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/365771.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Android 界面库 (二) 之 Data binding 详细介绍

1. 简介 回顾我们在前面文章《Android 界面库 (一) 之 View binding 简单使用》中学习的 View Binding,它旨在简化 View 与代码之间的绑定过程。它会在编译时期为每个 XML 布局文件生成相应的绑定类(Binding class),该类里包含了布局文件每个有 ID 的 Vi…

基于SpringBoot扶农助农政策管理系统设计和实现(源码+LW+调试文档+讲解等)

💗博主介绍:✌全网粉丝10W,CSDN作者、博客专家、全栈领域优质创作者,博客之星、平台优质作者、专注于Java、小程序技术领域和毕业项目实战✌💗 🌟文末获取源码数据库🌟 感兴趣的可以先收藏起来,…

利用 Docker 简化 Nacos 部署:快速搭建 Nacos 服务

利用 Docker 简化 Nacos 部署:快速搭建 Nacos 服务 引言 在微服务架构中,服务注册与发现是确保服务间通信顺畅的关键组件。Nacos(Dynamic Naming and Configuration Service)作为阿里巴巴开源的一个服务发现和配置管理平台&…

【单片机毕业设计选题24039】-基于单片机的太阳能储能智能恒温外卖柜设计

系统功能: 以单片机为控制核心,综合运用传感器、物联网、太阳能等技术,设计一种基于单片机为控制核心的智能恒温外卖柜。它由恒温系统、无线模块、智能提醒系统、供电系统等组成,通过太阳能电池板独立供电,利用太阳能储能元件驱动…

Linux网络编程:套接字编程

1.Socket套接字编程 1.1.什么是socket套接字编程 Socket套接字编程 是一种基于网络层和传输层网络通信方式,它允许不同主机上的应用程序之间进行双向的数据通信。Socket是网络通信的基本构件,它提供了不同主机间的进程间通信端点的抽象。一个Socket就是…

免费开源的后端API服务-supabase安装和使用-简直是前端学习者福音

文章目录 它是什么安装和部署关于安装关于部署1、注册用户2、创建组织3、创建项目 创建数据库表(填充内容)填充数据库表 使用postman联调API 它是什么 一个开源免费的后端框架,firebase的替代品。可以简单理解类似于headless cms&#xff0c…

浅谈定时器之泊松随机定时器

浅谈定时器之泊松随机定时器 “泊松随机定时器”(Poisson Random Timer),它允许你基于泊松分布来随机化请求之间的延迟时间,这对于模拟具有随机到达率的事件特别有用,如用户访问网站或服务的请求。 泊松分布简介 泊松分布是一种统计与概率…

HarmonyOS开发探索:父子组件手势绑定问题处理

场景一:父子组件同时绑定手势的冲突处理 效果图 方案 在默认情况下,手势事件为非冒泡事件,当父子组件绑定相同的手势时,父子组件绑定的手势事件会发生竞争,最多只有一个组件的手势事件能够获得响应,默认子…

有哪些方法可以恢复ios15不小心删除的照片?

ios15怎么恢复删除的照片?在手机相册里意外删除了重要的照片?别担心!本文将为你介绍如何在iOS 15系统中恢复已删除的照片。无需专业知识,只需要按照以下步骤操作,你就能轻松找回宝贵的回忆。 一、从iCloud云端恢复删除…

Transformer动画讲解 - 工作原理

Transformer模型在多模态数据处理中扮演着重要角色,其能够高效、准确地处理包含不同类型(如图像、文本、音频、视频等)的多模态数据。 Transformer工作原理四部曲:Embedding(向量化)、Attention(注意力机制)、MLPs(多层感知机)和Unembedding(模型输出)。 阶段一:…

网上下载的PDF文件为何不能复制文字?该怎么办呢?

不知道大家有没有到过这种情况?在网上下载的PDF文件打开之后,发现选中文字之后无法复制。甚至其他功能也都无法使用,这是怎么回事?该怎么办? 首先,有可能PDF文件是扫描文件,是扫描文件的话&…

Gradle学习-4 创建二进制插件工程

二进制插件工程创建有两种方式: 创建独立的工程,调试的时候,需要手动发布成一个二进制插件jar包,给其他工程里面引用,进行功能测试。这种方式是比较麻烦的。创建buildSrc子工程,它是一个大工程中的子工程&…

云计算【第一阶段(19)】磁盘管理与文件系统 LVM与磁盘配额(二)

目录 一、LVM概述 1.1、LVM机制的基本概念 ​编辑 1.2、LVM的管理命令 1.3、lvm存储 两种机制 1.4、lvm应用实例 二、磁盘配额概述 2.1、设置磁盘配额 2.2.1、实现磁盘限额的条件 2.2.2、linux磁盘限额的特点 2.2.3、磁盘配额管理 一、LVM概述 1.1、LVM机制的基本概…

大模型ReAct:思考与工具协同完成复杂任务推理

ReAct: Synergizing Reasoning and Acting in Language Models Github:https://github.com/ysymyth/ReAct 一、动机 人类的认知通常具备一定的自我调节(self-regulation)和策略制定(strategization)的能力&#xff0…

Java案例抢红包

目录 一:题目要求: 二:思路分析:(遇见问题先想出完整的思路逻辑再去动手事半功倍) 三:具体代码: 一:题目要求: 二:思路分析:&#x…

武汉星起航:跨境电商流量红利爆发,2023年出海企业迎突破增长

在数字时代的浪潮中,中国跨境电商以惊人的爆发力崭露头角,成为全球贸易的璀璨新星。2023年数据显示,跨境电商出口额高达1.83万亿元,同比增长19.6%,这一显著增速不仅刷新纪录,更为众多出海企业带来了前所未有…

【RabbitMQ问题踩坑】RabbitMQ设置手动ack后,消息队列有多条消息,只能消费一条,就不继续消费了,这是为什么 ?

现象:我发送5条消息到MQ队列中,同时,我在yml中设置的是需要在代码中手动确认,但是我把代码中的手动ack给关闭了,会出现什么情况? yml中配置,配置需要在代码中手动去确认消费者消费消息成功&…

浅谈Mysql Innodb存储引擎

一、Mysql整体架构 二、MySQL 5.7 支持的存储引擎 类型 描述 MyISAM 拥有较高的插入、查询速度,但不支持事务 InnoDB 5.5版本后Mysql的默认数据库,5.6版本后支持全文索引,事务型数据库的首选引擎,支持ACID事务,支…

Android Lint

文章目录 Android Lint概述工作流程Lint 问题问题种类警告严重性检查规则 用命令运行 LintAndroidStudio 使用 Lint忽略 Lint 警告gradle 配置 Lint查找无用资源文件 Android Lint 概述 Lint 是 Android 提供的 代码扫描分析工具,它可以帮助我们发现代码结构/质量…

linux中 nginx+tomcat 部署方式 tomcat挂掉设置自动启动

在Linux环境下,要实现当Tomcat挂掉后自动重启,可以通过编写Shell脚本结合cron定时任务或者使用系统守护进程(如Systemd、Upstart或SysVinit)来完成。 使用Shell脚本和cron定时任务 编写检查并重启Tomcat的Shell脚本:首…