Fair Graph RepresentationLearning via Diverse Mixture-of-Experts

发表于:WWW23
推荐指数: #paper/⭐⭐

问题背景:

背景

现实世界的数据很多样,阻止GNN学习公平的表示。当去偏见化后,他们面临着可学知识不足且属性有限的重大问题

解决方法:

应对公平训练导致可学习知识有限的挑战,G-Fame由多个专家神经网络组成,每个神经网络都包含自己的参数,以学习不同的知识,以实现节点表示的多样化。
此外,为了提高模型对可学习知识缺乏的抵抗力,我们提出了G-Fame++,其中我们从不同的角度设计了三种不同的策略:(1)从节点表示的角度,引入嵌入多样性正规化,使节点能够在消息传递过程中从邻居那里捕获更多不同的信息;(2)从层的角度出发,设计层多样性规则化,使不同层的输出多样化,使浅层和深层都能获得不同的表示;(3)从参数权重冗余的角度出发,提出专家权重正规化,使专家的权重参数多样化,使每个专家都能捕捉到不同的信息
框架图:

余知识

公平图增强

Fairness-Based 图增强

m i j = { 1 s i ≠ s j ∀ i , j ∈ N 0 o t h e r w i s e \left.m_{ij}=\left\{\begin{array}{cc}1&s_i\neq s_j&\forall i,j\in\mathcal{N}\\0&\mathrm{otherwise}\end{array}\right.\right. mij={10si=sjotherwisei,jN
其中, m i j = 1 m_{ij}=1 mij=1表示两个节点,他们拥有不同敏感属性是连接的。M代表mask矩阵去mask邻接矩阵。我们重新构建mask矩阵:(加了阈值)
r r ( m i j ) = { m i j with probability:  p ( m i j ) = 1 2 + δ 1 − m i j with probability:  p ( 1 − m i j ) = 1 2 − δ \left.rr(m_{ij})=\left\{\begin{array}{ll}m_{ij}&\text{with probability: }p(m_{ij})=\frac12+\delta\\1-m_{ij}&\text{with probability: }p(1-m_{ij})=\frac12-\delta\end{array}\right.\right. rr(mij)={mij1mijwith probability: p(mij)=21+δwith probability: p(1mij)=21δ
最后,公平矩阵可以表示为:
A f a i r = A ∘ r r ( M ) A_{f\boldsymbol{air}}=A\circ rr(M) Afair=Arr(M)
(相当于图结构学习)

公平训练

min ⁡ θ L ( D ; θ ) + λ ∥ θ ∥ 2 2 , s . t . Ω ( D ; θ ) < 0 , \min_\theta\quad\mathcal{L}(\mathcal{D};\theta)+\lambda\|\theta\|_2^2,\quad\mathrm{s.t.~}\Omega(\mathcal{D};\theta)<0, θminL(D;θ)+λθ22,s.t. Ω(D;θ)<0,

混合专家

y = ∑ i ∈ R q i ( x ) E i ( x ) , y=\sum_{i\in\mathcal{R}}q_i(x)E_i(x), y=iRqi(x)Ei(x),
其中,q是门控,E是专家
每层的门控由下个函数计算:
q i ( x ) = exp ⁡ ( H ( x ) i ) ∑ j = 0 N exp ⁡ ( H ( x ) j ) , q_i(x)=\frac{\exp(H(x)_i)}{\sum_{j=0}^N\exp(H(x)_j)}, qi(x)=j=0Nexp(H(x)j)exp(H(x)i),

模型架构

文章配图

G-FAME:图公平混合专家

传播函数:
h v ( l ) = COMBINE ( G-FAME ( l ) ( h v ( l − 1 ) ) , m v ( l ) ) ) , m v ( l ) = AGGREGATE ( { G-FAME ( l ) ( h u ( l − 1 ) ) , ∀ u ∈ N ( v ) } ) \begin{aligned}&h_{v}^{(l)}=\text{COMBINE}\left(\text{G-FAME}^{(l)}(h_{v}^{(l-1)}),m_{v}^{(l)})\right),\\&m_{v}^{(l)}=\text{AGGREGATE}\left(\left\{\text{G-FAME}^{(l)}(h_{u}^{(l-1)}),\forall u\in N(v)\right\}\right)\end{aligned} hv(l)=COMBINE(G-FAME(l)(hv(l1)),mv(l))),mv(l)=AGGREGATE({G-FAME(l)(hu(l1)),uN(v)})
实际就是GNN的传播函数
G − F A M E ( l ) ( h v ( l − 1 ) ) = ∑ i ∈ H ( l ) q i ( l ) ( h v ( l − 1 ) ) W i ( l ) ( h v ( l − 1 ) ) , \mathrm{G-FAME}^{(l)}(h_v^{(l-1)})=\sum_{i\in\mathcal{H}^{(l)}}q_i^{(l)}(h_v^{(l-1)})W_i^{(l)}(h_v^{(l-1)}), GFAME(l)(hv(l1))=iH(l)qi(l)(hv(l1))Wi(l)(hv(l1)),

G-FAME++ 加了多个正则化操作

样本多样性

嵌入正则化:让邻居样本相近,非邻居样本相远
L E D = − log ⁡ ∑ v j ∈ V exp ⁡ ( sin ⁡ ( z i , z j ) / τ ) ∑ v k ∈ V exp ⁡ ( sin ⁡ ( z i , z k ) / τ ) , \mathcal{L}_{ED}=-\log\frac{\sum_{\boldsymbol{v}_j\in V}\exp(\sin(z_i,z_j)/\tau)}{\sum_{\boldsymbol{v}_k\in V}\exp(\sin(z_i,z_k)/\tau)}, LED=logvkVexp(sin(zi,zk)/τ)vjVexp(sin(zi,zj)/τ),

层正则多样性

r cosine ( z l a , z l b ) = 1 ∣ V ∣ ∑ v i ∈ V ∣ z i l a ⊤ z i l b ∣ ∥ z i l a ∥ 2 ∥ z i l b ∥ 2 , r_{\text{cosine}}\left(z^{l_{a}}, z^{l_{b}}\right)=\frac{1}{|V|}\sum_{v_{i}\in V}\frac{\left|z_{i}^{l_{a}\top} z_{i}^{l_{b}}\right|}{\left\|z_{i}^{l_{a}}\right\|_{2}\left\|z_{i}^{l_{b}}\right\|_{2}}, rcosine(zla,zlb)=V1viV zila 2 zilb 2 zilazilb ,
用对比损失去让相近层数靠近,相远层数相远
r contrast ( z l a , z l b ) = − 1 ∣ V ∣ ∑ v i ∈ V log ⁡ exp ⁡ ( z i l a ⊤ z i l b ) exp ⁡ ( z i l a ⊤ z i l b ) + exp ⁡ ( z i l a ⊤ ( ∑ j ≠ i z j l b n − 1 ) ) r_{\text{contrast}}\left(z^{l_{a}}, z^{l_{b}}\right) = -\frac{1}{|V|} \sum_{v_{i}\in V} \log \frac{\exp\left(z_{i}^{l_{a}\top} z_{i}^{l_{b}}\right)}{\exp\left(z_{i}^{l_{a}\top} z_{i}^{l_{b}}\right) + \exp\left(z_{i}^{l_{a}\top} \left(\frac{\sum_{j\neq i} z_{j}^{l_{b}}}{n-1}\right)\right)} rcontrast(zla,zlb)=V1viVlogexp(zilazilb)+exp(zila(n1j=izjlb))exp(zilazilb)

L L D = ∑ l a , l b ∈ L ∣ a ≠ b r c o s i n e ( z l a , z l b ) + r c o n t r a s t ( z l a , z l b ) , \mathcal{L}_{LD}=\sum_{l_a,l_b\in L|_{a\neq b}}r_{cosine}(z^{l_a},z^{l_b})+r_{contrast}(z^{l_a},z^{l_b}), LLD=la,lbLa=brcosine(zla,zlb)+rcontrast(zla,zlb),

专家多样性

max ⁡ { W 1 ^ , . . . , W m ^ } ∈ S t − 1 { L M H S ( W ^ ) : = min ⁡ i ≠ j ρ ( W i ^ , W j ^ ) } \max_{\{\hat{W_1},...,\hat{W_m}\}\in\mathbb{S}^{t-1}}\{\mathcal{L}_{\mathrm{MHS}}(\hat{W}):=\min_{i\neq j}\rho(\hat{W_i},\hat{W_j})\} {W1^,...,Wm^}St1max{LMHS(W^):=i=jminρ(Wi^,Wj^)}
其中, ω ^ i = v e c ( W i ) ∣ ∣ v e c ( W i ) ∣ ∣ 2 \hat{\omega}_{i}=\frac{\mathrm{vec}(W_{i})}{||\mathrm{vec}(W_{i})||_{2}} ω^i=∣∣vec(Wi)2vec(Wi) S t − 1 : = { ω ^ ∈ R ∣ ∣ ∣ ω ^ ∣ ∣ 2 = 1 } \mathbb{S}^{t-1}:=\{\hat{\omega}\in\mathbb{R}| ||\hat{\omega}||_{2}=1\} St1:={ω^R∣∣∣ω^2=1} ρ ( ⋅ , ⋅ ) \rho(\cdot,\cdot) ρ(,)表示两个W的最短距离。

最终损失:

L G − F A M E + + = L G T + L E D + L L D + L M H S . \mathcal{L}_{\mathrm{G-FAME++}}=\mathcal{L}_{GT}+\mathcal{L}_{ED}+\mathcal{L}_{LD}+\mathcal{L}_{MHS}. LGFAME++=LGT+LED+LLD+LMHS.

其实,如上可以总结:需要让专家之间的差距变大,否则没有意义。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/423486.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

TC3xx系列芯片--PortDio模块介绍

1、模块介绍 Port(端口)是芯片与板上其他外设或逻辑电路交互的重要引脚&#xff0c;用于芯片发出控制信号或接收外部信号。通过GPIO模式或各类通讯模式&#xff0c;对板载设备进行控制。 Aurix TC3xx系列芯片具有丰富的Port连接&#xff0c;而且每个Pin脚具有多种功能复用&am…

搜索软件 Everything 的安装与使用教程

一、Everything简介 适用于 Windows 的免费搜索工具 Everything 是 Windows 的即时搜索引擎。发现、整理并轻松访问文件和文件夹&#xff0c;一切尽在指尖&#xff01; PS&#xff1a;Everything无法对文件内容进行搜索&#xff0c;只能根据文件名和路径进行搜索 二、Everyt…

面向对象程序设计之模板进阶(C++)

在之前我出过一篇博客介绍了模版的初阶:面向对象程序设计(C)模版初阶&#xff0c;接下来我们将进行模版的进阶学习&#xff0c;介绍关于更多模版的知识 1.非类型模版参数 模板参数分类类型形参与非类型形参 类型形参即&#xff1a;出现在模板参数列表中&#xff0c;跟在class或…

电力系统调度控制台的功能有哪些

在复杂多变的现代电力系统中&#xff0c;调度控制台作为其核心管理与控制的中枢&#xff0c;扮演着不可或缺的角色。它不仅是确保电网安全稳定运行的关键&#xff0c;也是实现电力资源高效配置的重要工具。那么&#xff0c;电力系统调度控制台究竟具备哪些关键功能呢? 首先&am…

Easyexcel导入数据,没有指定文件路径临时文件在什么位置?

1、SpringBoot接口导入Excel&#xff0c;MultipartFile转File public static File convertToFile(MultipartFile multipartFile) throws IOException {// 将 MultipartFile 转换为 byte[]byte[] bytes multipartFile.getBytes();// 创建一个临时文件File tempFile File.creat…

大模型时代的企业转型:RAG技术的进化与挑战

从2023年起开始火爆的大语言模型&#xff08;Large Language Model&#xff0c;LLM&#xff09;&#xff0c;如GPT/Gemini/通义千问/GLM/文心一言/豆包等&#xff0c;经过了一年多的比拼和进化&#xff0c;已经几乎涵盖了所有通用性、常识性的知识和理解力&#xff1b; 与之同…

基于Java+Mysql实现(web)大型企业管理系统

技术报告 第一章 系统概述 包括用户管理、权限管理、软件项目管理、软件模块管理、测试用例管理、测试任务分配、bug管理等功能。实现公司不同部门间团队协作&#xff0c;管理人员也能够更加有效的把控系统开发的进度。 本实验综合应用JavaWeb编程中的Servlet&#xff0c;JS…

iPhone 16分辨率,屏幕尺寸,PPI 详细数据对比 iPhone 16 Plus、iPhone 16 Pro、iPhone 16 Pro Max

史上最全iPhone 机型分辨率&#xff0c;屏幕尺寸&#xff0c;PPI详细数据&#xff01;已更新到iPhone 16系列&#xff01; 点击放大查看高清图 &#xff01;

电商api接口:让数据成为生产力的第一利器

随着电子商务的蓬勃发展&#xff0c;数据已成为推动业务增长和优化用户体验的关键因素。为了满足商家和开发者对多元化电商服务的需求&#xff0c;聚合电商 API 接口平台应运而生。这类平台通过整合多个电商平台的 API 接口&#xff0c;为商家和开发者提供一站式的数据服务&…

Apisix离线安装

上传离线包 #ll apisix-3.2.2-0.el7.x86_64.rpm apisix-base-1.21.4.1.8-0.el7.x86_64.rpm apisix-dashboard-3.0.1-0.el7.x86_64.rpm cyrus-sasl-2.1.26-24.el7_9.x86_64.rpm cyrus-sasl-devel-2.1.26-24.el7_9.x86_64.rpm cyrus-sasl-gssapi-2.1.26-24.el7_9.x86_64.rpm cyr…

HTB-Unified(log4j2漏洞、MongoDb替换管理员密码)

前言 各位师傅大家好&#xff0c;我是qmx_07&#xff0c;今天给大家讲解Unified靶机 渗透过程 信息搜集 服务器开放了SSH服务&#xff0c;HTTP服务 访问网站 验证log4j2漏洞 8443端口&#xff1a;UniFi 网络 &#xff0c;访问查询 是否有Nday漏洞利用 可以观察到UniFi的版…

【网络安全的神秘世界】渗透测试基础

&#x1f31d;博客主页&#xff1a;泥菩萨 &#x1f496;专栏&#xff1a;Linux探索之旅 | 网络安全的神秘世界 | 专接本 | 每天学会一个渗透测试工具 渗透测试基础 基于功能去进行漏洞挖掘 1、编辑器漏洞 1.1 编辑器漏洞介绍 一般企业搭建网站可能采用了通用模板&#xff…

【计算机网络】电路交换、电报交换、分组交换

【计算机网络】电路交换、电报交换、分组交换 目录 【计算机网络】电路交换、电报交换、分组交换1. 电路交换2. 电报交换3. 分组交换4. 基于分组交换~“虚电路交换”技术 1. 电路交换 电路交换&#xff08;Circuit Switching&#xff09;:通过物理线路的连接&#xff0c;动态地…

linux_L2_linux删除文件

linux 删除文件 在Linux下删除文件有多种实现方法&#xff0c;以下是其中几种常见的方法&#xff1a; 方法一&#xff1a;使用rm命令删除单个文件 rm 文件路径例如&#xff0c;删除当前目录下的文件file.txt&#xff1a; rm file.txtQuestion :当你在Linux系统中使用rm命令删…

Git学习尚硅谷(005 idea集成git)

尚硅谷Git入门到精通全套教程&#xff08;涵盖GitHub\Gitee码云\GitLab&#xff09; 总时长 4:52:00 共45P 此文章包含第27p-第p32的内容 文章目录 忽略特定文件在家目录里创建这个文件在.gitconfig文件里配置这个文件 配置IDEA定位到git程序进行添加文件初始化本地库添加单个…

Mini-Omni 语言模型在流式传输中边思考边听说应用

引入简介 Mini-Omni 是一个开源的多模态大语言模型,能够在思考的同时进行听觉和语言交流。它具有实时端到端语音输入和流媒体音频输出的对话能力。 语言模型的最新进展取得了显著突破。GPT-4o 作为一个新的里程碑,实现了与人类的实时对话,展示了接近人类的自然流畅度。为了…

下一代 AI 教育:知识图谱RAG + 多智能体,听老师的话没前途,让老师听你的才是正道

下一代 AI 教育&#xff1a;知识图谱RAG 多智能体&#xff0c;听老师的话没前途&#xff0c;让老师听你的才是正道 下一代 AI 教育&#xff1a;基于最本质的用脑方式学习 理解 记忆&#xff1f;学习的 3 个层次文科&#xff1a;关联理解 关联分析 关联记忆秒背古诗古文商业…

前端用html写excel文件直接打开

源码 <html xmlns:o"urn:schemas-microsoft-com:office:office" xmlns:x"urn:schemas-microsoft-com:office:excel" xmlns"http://www.w3.org/TR/REC-html40"> <head><meta charset"UTF-8"><!--[if gte mso 9]&…

打架监测识别摄像机

打架监测识别摄像机 是一种用于监控和识别打架行为的智能监控设备。这种摄像机利用先进的人工智能和计算机视觉技术&#xff0c;能够准确识别出监控画面中发生的打架事件&#xff0c;从而及时采取必要的应对措施。 打架监测识别摄像机的工作原理是通过对监控画面的实时分析和识…

YOLOv8 人体姿态估计动作识别关键点检测(代码+教程)

YOLOv8 人体姿态判断 项目介绍 YOLOv8 人体姿态判断 是一个基于最新YOLOv8模型的深度学习项目&#xff0c;旨在识别和分析人体姿态。该项目利用先进的计算机视觉技术和深度学习框架&#xff0c;通过摄像头捕捉实时图像或处理存储图像&#xff0c;识别人体的关键点&#xff0c…