走进知识图谱(二)【世界知识图谱篇】知识表示的经典模型与平移模型及基于复杂关系建模的知识表示学习

        上篇文章提到,该系列文章将主要围绕世界知识图谱和语言知识图谱这两大类知识图谱进行展开,并且提到知识图谱的主要研究包括了知识表示学习、知识自动获取和知识的推理与应用三大部分。今天主要介绍世界知识图谱的知识表示学习,其中包括经典的知识表示学习模型、平移模型和平移模型的一个变种——基于复杂关系建模的知识表示学习。

        知识表示学习

        知识图谱的知识表示主要解决的问题就是:如何把知识图谱中结构化的知识更好的表示成计算机可以高效率处理应用的形式。因为知识图谱中的结构化知识虽然对于人类来讲看上去很好理解,但是其本身的图结构,对于计算机来说是很难利用的。因此,把知识图谱中的知识表示成计算机易于处理的低维稠密向量,不仅可以方便计算机高效处理,还可以解决原本知识图谱中表示存在的结构稀疏的问题。而知识图谱中的主要内容包括实体和关系两者,因此知识图谱的知识表示的核心就是:对知识图谱中的实体和关系,以及实体和关系之间的联系这三者进行表示,并且是表示成低维稠密向量。

        知识表示存在以下几个问题:1. 实体和关系的种类众多 2. 实体和关系的形式众多 3. 以上两者导致的知识图谱中的实体和关系不准确针对知识表示存在的问题。

        研究人员的研究方案也就包括:1. 如何充分表示不同的实体和关系,以及解决其中的不准确信息 2. 如何把同一个实体和关系的不同形式表现出来,即融入世界知识在不同形式的信息载体中的信息。

        知识表示学习旨在将实体与关系表示为低维连续空间之中的向量,在此使用粗体的符号 h, t,r 表示头尾实体与关系对应的表示向量。

知识表示学习的经典模型

        知识表示的经典模型主要包括:结构向量模型(Structure Embedding,SE)、语义匹配能量模型(Semantic Meaching Energy,SME)、隐变量模型(Latent Factor Model,LFM)、矩阵分解模型(RESCAL及其改进HolE)。

1. 结构向量模型结构向量模型为头实体与尾实体分别设计了一个关系特化的映射矩阵 r, Mr, ,这些映射矩阵将会在训练过程中进行自动更新。模型对每个三元组(h,r,t)的评分函数定义为:

E(h,r,t)=∥M r,1​ h−M r,2t∥

|| || 是欧式距离,其公式是:d(x,y) = sqrt( (x1-y1)^2 + (x2-y2)^2 + ... + (xn-yn)^2 )。M r,1​·h是实体h在关系r下的嵌入向量,M r,2·t是实体t在关系r下的嵌入向量。这里的意思是,两个实体之间在关系r下的距离,等于两个实体的嵌入向量在关系r的映射矩阵下的欧式距离。欧式距离越小,两个实体的距离越小。即这两个实体和关系r之间联系非常大。

2. 语义匹配能量模型语义匹配能量模型与结构向量模型不同,使用低维向量表示实体及关系。在此之上,模型使用矩阵映射、点乘等操作,对实体与关系的联系进行评估。具体地,语义匹配能量模型设计了线性形式与双线性形式两种对元组的评分函数。

E(h,r,t)=(M1​h+M2​r+b1​)⊤(M3​t+M4​r+b2​)

E(h,r,t)=((M1​h⊙M2​r)+b1​)⊤((M3​t⊙M4​r)+b2​)

其中,⊙是element-wise(Hadamard)积;M1, M2, M3, M4是投影函数的权重矩阵,b1, b2是偏置。
3. 隐变量模型隐变量模型将实体表示成低维向量。将关系表示为双线性变换矩阵Mr ,在知识表示学习效果与计算复杂度方面都有显著改善。模型的评分函数为:

E(h,r,t) = hMrt

4. 矩阵分解模型。矩阵分解模型基于矩阵分解的方式进行知识表示学习,其中以 RESCAL模型和HolE模型为代表。

平移模型(TransE)

        平移的思想在Bordes 等研究者在2013年提出知识表示学习算法平移模型TransE之前就被广泛应用,以Word2Vec为例。它是Google AI 2013年提出的一种词向量模型,它通过训练一个神经网络来学习词之间的联系,并将词映射到一个低维空间中。平移模型将实体和关系映射至同1个低维向量空间,将实体与实体之间的关系表示为实体之间的平移操作。 

 平移模型的思想就是两个头尾实体可以表示成一个实体向量等与另一个实体向量与关系向量的和。其评分函数为:

E(h, r, t) = ||  h + r - t || L1/L2

由于只考虑了向量之间的平移操作,平移模型的计算复杂度大大降低并且学到的知识表示在知识图谱补全等任务方面的效果也得到了显著提升。但是其也存在:

  • 过于理想化的平移假设,在对知识图谱中的复杂关系进行建模时往往存在问题
  • 仅仅关注知识图谱三元组的局部信息,而忽略了知识图谱网络的全局结构与关系之间的推理逻辑
  • 只关注了知识图谱自身的网络结构信息,忽略了众多多源异质的丰富信息,如文本、实体类型与图像等信息

等问题,因此研究人员陆续提出了多个基于平移模型TransE的改进模型,下面先介绍一种基于复杂关系建模的知识表示学习。

基于复杂关系建模的知识表示学习

        TransE模型(经典的平移模型)无法解决复杂关系建模的问题,因为它只能对1对1的关系进行建模,对于1对多和多对多的关系则无法建模。而其改进模型TransR则可以很好的解决该问题。

TransR 与传统模型的主要差异在于它为 每种关系定义了单独的语义空间 ,并使用不同的映射矩阵 Mr 定义从实体空间到各个关系空间的映射。

TransR可以让每个实体针对每个关系有不同的映射结果,可以很好的解决1对多和多对多的关系。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/86735.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

uniapp 左右滑动切换页面并切换tab

实现效果如图 要实现底部内部的左右滑动切换带动上方tab栏的切换&#xff0c;并且下方内容要实现纵向滚动 &#xff0c;所以需要swiper&#xff0c;swiper-item,scroll-view组合使用 tab栏部分 <view class"tabs"><view class"tab_item" v-for&…

完成图像反差处理

bmp图像的前54字节为图像头&#xff0c;第19个字节开始4字节为图像宽&#xff0c;第23字节开始4字节为图像高&#xff0c;图像大小为&#xff1a;972*720*3542099574&#xff0c;为宽*高*像素点头&#xff0c;如下&#xff1a; 图像的反差处理

⌈算法进阶⌋图论::并查集——快速理解到熟练运用

目录 一、原理 1. 初始化Init 2. 查询 find 3. 合并 union 二、代码模板 三、练习 1、 990.等式方程的可满足性&#x1f7e2; 2、 1061. 按字典序排列最小的等效字符串&#x1f7e2; 3、721.账户合并 &#x1f7e1; 4、 839.相似字符串组&#x1f7e1; 5、 2812.找出最安全…

智能优化算法:猎豹优化算法-附代码

智能优化算法&#xff1a;猎豹优化算法 文章目录 智能优化算法&#xff1a;猎豹优化算法1.猎豹优化算法1.1 初始化1.2 搜索策略1.3坐等策略1.4攻击策略 2.实验结果3.参考文献4.Matlab5.python 摘要&#xff1a;CO算法是Mohammad AminAkbari等人于2022年受自然界猎豹狩猎启发而提…

JUL 日志 - 最简单易用的Java日志框架

在正式的生产环境下是不能使用 System.out 进行日志记录的 因为 System.out 不能提供时间、线程、执行过程 等信息&#xff0c;如果要手动打印输出则会非常麻烦 而日志就帮我们把这些事给干了 接下来我们学一个最简单的日志框架 JUL JUL全称Java util Logging是java原生的日志框…

支付整体架构

5.4 支付的技术架构 架构即未来&#xff0c;只有建立在技术架构设计良好的体系上&#xff0c;支付机构才能有美好的未来。如果支付的技术体系在架构上存在问题&#xff0c;那么就没有办法实现高可用性、高安全性、高效率和水平可扩展性。 总结多年来在海内外支付机构主持和参与…

Nginx负载均衡以及keepalived高可用实验

Vip 10.1.122 Keepalived-master 10.1.1.132Keepalied-backup 10.1.1.133Realserver_1 10.1.1.136Realserver_2 10.1.1.137 四台机器上安装nginx&#xff0c;编译安装的话需要另外安装pcre包支持&#xff0c;安装在/usr/local/nginx Keepalived-master 和backu…

Vue+SpringBoot后台管理系统:Vue3+TypeScript项目搭建(一)

写在开始:一个搬砖程序员的随缘记录文章目录 一、Node安装二、Vue CLI安装三、相关的版本四、创建Vue3TypeScript项目五、Vue项目初始化六、项目启动 一、Node安装 查看Note版本 node -v查看npm版本 npm -v然后将npm升级至最新版本 npm -g install npm将npm下载源换至http:…

项目中使用git vscode GitHubDesktopSetup-x64

一、使用git bash 1.使用git bash拉取gitee项目 1.在本地新建一个文件夹&#xff08;这个文件夹是用来存放从gitee上拉下来的项目的&#xff09; 2.在这个文件夹右键选择 git bash here 3.输入命令 git init (创建/初始化一个新的仓库) 4.输入命令 git remote add origin …

生成式人工智能模型:提升营销分析用户体验

使用生成式人工智能来改善分析体验&#xff0c;使业务用户能够询问有关我们数据平台中可用数据的任何信息。 在本文中&#xff0c;我们将解释如何使用新的生成式人工智能模型 ( LLM ) 来改善业务用户在我们的分析平台上的体验。假设我们为零售销售经理提供 Web 应用程序或移动应…

【问题解决】Git命令行常见error及其解决方法

以下是我一段时间没有使用xshell&#xff0c;然后用git命令行遇到的一些系列错误和他们的解决方法 遇到了这个报错&#xff1a; fatal: Not a git repository (or any of the parent directories): .git 我查阅一些博客和资料&#xff0c;可以解决的方式&#xff1a; git in…

迅镭激光PL12050重载型激光切管机中标国内知名企业美的集团!

近日&#xff0c;迅镭激光重型激光切管机中标国内知名企业——美的集团! 成立于2002年的菱王电梯&#xff0c;是美的集团暖通与楼宇事业部旗下的专业电梯品牌 &#xff0c;业务覆盖电(扶)梯的研发、设计、制造、销售、安装和维保&#xff0c;自主研发的8m/s超高速电梯和8吨超重…

题34(在排序数组中查找元素的第一个和最后一个位置)

使用二分查找 此题的关键在于找到左端点和右端点 找中点 两种操作 左端点用第一个方式 右端点用第二种&#xff0c;避免死循环 二分模板 class Solution { public:vector<int> searchRange(vector<int>& nums, int target) {if(nums.size()0) return{-…

Hadoop理论及实践-HDFS读写数据流程(参考Hadoop官网)

NameNode与DataNode回顾 主节点和副本节点通常指的是Hadoop分布式文件系统&#xff08;HDFS&#xff09;中的NameNode和DataNode。 NameNode&#xff08;主节点&#xff09;&#xff1a;NameNode是Hadoop集群中的一个核心组件&#xff0c;它负责管理文件系统的命名空间和元数据…

搭建Docker环境

目录 一、docker环境搭建 1、卸载旧版本docker 2、安装依赖和设置仓库 3、安装docker 4、启动并加入开机启动 5、验证是否安装成功 二、利用docker搭建nginx 1、拉取镜像 2、启动容器&#xff0c;部署nginx 一、docker环境搭建 1、卸载旧版本docker yum remove docke…

C++笔记之字节数组的处理

C笔记之字节数组的处理 code review! 文章目录 C笔记之字节数组的处理1.字节数组打印2.将字节数组转换为十六进制字符串并打印3.将字符串转为字节数组4.将字节数组转为字符串5.字节数组和字符数组的区别6.字节数组用于二进制数据存储7.字节数组用于网络通信数据传输8.使用 un…

如何创造千亿项目?合法合规的绿色消费增值积分,或许能冲出赛道

电商行业的竞争越来越激烈&#xff0c;大部分的电商平台都面临着这三大难题&#xff1a;如何吸引用户、如何留存用户以及如何让用户为平台带来更多的效益。为了解决这三大问题&#xff0c;我们提出了创造千亿项目的商业模式——绿色消费增值积分系统&#xff0c;帮助企业冲出赛…

文档控件DevExpress Office File API v23.1新版亮点 - 支持.NET MAUI

DevExpress Office File API是一个专为C#, VB.NET 和 ASP.NET等开发人员提供的非可视化.NET库。有了这个库&#xff0c;不用安装Microsoft Office&#xff0c;就可以完全自动处理Excel、Word等文档。开发人员使用一个非常易于操作的API就可以生成XLS, XLSx, DOC, DOCx, RTF, CS…

维深(Wellsenn):2023中国消费端VR内容开发商调研报告(附下载

关于报告的所有内容&#xff0c;公众【营销人星球】获取下载查看 核心观点 国内互联网大厂商入局VR&#xff0c;字节跳动、网易表态明确。字节跳动2021年收购国内头部VR硬件厂商PICO后&#xff0c;加速构建VR内容生态&#xff0c;2021年 成立海南创见未来当前已推出VR视频应用…

Docker安装 elasticsearch-head

目录 前言安装elasticsearch-head步骤1&#xff1a;准备1. 安装docker2. 搜索可以使用的镜像。3. 也可从docker hub上搜索镜像。4. 选择合适的redis镜像。 步骤2&#xff1a;拉取elasticsearch-head镜像拉取镜像查看已拉取的镜像 步骤3&#xff1a;创建容器创建容器方式1&#…