AliCoCo:阿里电商知识图谱核心技术揭秘 Alibaba E-commerce Cognitive Concept Net

电商技术进入认知智能时代,在搜索推荐等电商核心业务场景上使用电商认知图谱,将给亿万用户带来更加智能的购物体验。

本文介绍 AliCoCo 的背景、定义、底层设计、构建过程中的一些算法问题,以及在电商搜索和推荐上的广泛应用,并分享 AliCoCo 从诞生到成为阿里巴巴核心电商引擎的基石这一路走来的思考。

从搜索推荐到认知智能

近年来电商搜索、推荐算法已经取得了长足的进步,但面对用户多样化的需求,目前的电商体验依然还称不上"智能"。

多年来,我们的搜索引擎在引导用户如何输入关键字才能更快地找到需要的商品,而这种基于关键字的搜索,适用于对明确清楚具体商品的用户。在商品推荐中,重复推荐、买过了又推荐、推荐缺少新意等问题也是经常为人诟病。当前的推荐系统更多的是从用户历史行为出发,通过 i2i 等手段来召回商品,而不是真正从建模用户需求出发。深究这些问题背后的原因,其根源在于电商技术所依赖的底层数据,缺少对于用户需求的刻画

很多时候,用户面临的往往是一些问题或场景,如"举办一场户外烧烤"需要哪些工具?在淘宝上购买什么商品能有效"预防家里的老人走失"?他们需要更多的"知识"来帮助他们决策

具体来讲,目前淘宝管理商品的体系,是一套基于 类目 - 属性 - 属性值 ( CPV,Category-Property-Value )  的体系,它缺乏必要的知识广度和深度,去描述和理解各类用户需求,从而导致基于此的搜索、推荐算法在认知真实的用户需求时产生了语义的隔阂,从而限制了用户体验的进一步提升。

为了打破这个隔阂,让电商搜索、推荐算法更好地认知用户需求,我们提出建设一种新的电商知识图谱,将用户需求显式地表达成图中的节点构建一个以用户需求节点为中心的概念图谱,链接用户需求、知识、常识、商品和内容的大规模语义网络:阿里巴巴电商认知图谱 ( Alibaba E-commerce Cognitive Concept Net ),简称 AliCoCo。

我们希望 AliCoCo 能为电商领域的用户理解、知识理解、商品和内容理解提供统一的数据基础。经过两年的努力,我们已经完成了整体的结构设计和核心数据的建设,并在电商搜索、推荐等多个具体的业务场景落地,取得了不错的效果,提升了用户体验。

本文作者:搜索推荐事业部认知图谱团队 Xusheng Luo, Luxin Liu, Yonghua Yang, Le Bo, Yuanpeng Cao, Jinhang Wu, Qiang Li, Keping Yang and Kenny Q. Zhu

AliCoCo

如下图所示,AliCoCo 是一个概念图谱,主要由四部分构成:

1.电商概念层(E-commerce Concepts)

2.原子概念层(Primitive Concepts)

3.分类体系(Taxonomy)

4.商品层 (Items)

在电商概念层(E-commerce Concepts),作为 AliCoCo 最大的创新点,我们将用户需求显式地用一个符合人话的短语表示为图中的节点,如“户外烧烤(outdoor barbecue)”、“儿童保暖(keep warm for kids)”等,并称之为“电商概念”。用户需求虽然一直被提及,但在电商领域,还未被正式地定义过。在很多下游应用(如推荐系统)的工作中,常常用类目或品类节点(商品的分类)作为用户需求的表达。但用户需求是远不止于这些的,很多场合下,用户面临的是一个“场景”或者“问题”,他们并不知道具体什么商品可以帮助解决,因此我们将用户需求的定义进一步泛化为电商概念,具体详见下文章节。所有用于表示用户需求的电商概念组成了这一层。

在原子概念层(Primitive Concepts),我们为了更好地理解上面讲到的电商概念(即用户需求),我们将这些短语进行拆解细化到词粒度,用这些细粒度的词来更系统地描述用户需求,这些细粒度的词称为“原子概念”。如对于电商概念“户外烧烤”而言,它可以被表示成“动作:烧烤 & 地点:户外 & 天气:晴”,这里的“烧烤”、“户外”和“晴”都是原子概念。所有原子概念组成了这一层。

在分类体系(Taxonomy)中,为了更好地管理上述的原子概念,我们构建了一个描述大千世界基本概念的分类体系,它不局限于电商领域,但目前是为电商领域的概念理解所服务。在这一层中,我们定义了诸如“时间”、“地点”、“动作”、“功能”、“品类”、“IP”等一级分类(class),并在每个分类下继续细分出子分类,形成一颗树形结构。在每个分类中,包含了分类的实例(instance),即原子概念,如上述的“烧烤”、“户外”和“晴”就分属于“动作 - 消耗性动作”、“地点 - 公共空间”和“时间 - 天气”。同时,不同分类之间有不同的关系(relation),如“品类 - 服饰 - 服装 - 裤子”和“时间 - 季节”之间定义了一个“适用于(季节)”的关系。因此,相应的会有一条三元组实例:<棉裤,适用于,冬季>。

如果将上述的分类体系和原子概念层合起来,实际上可以看做一个相对完整的本体(Ontology),它和 Freebase、DBpedia 等大家熟知的开放领域的知识图谱非常相似,唯一的区别是我们的实例不仅有实体(entity),还包括了大量的概念(concept)。而相比 Probase,ConceptNet 等概念图谱,我们又定义了一套完整的类型系统(type system)。

在商品(内容)层,阿里巴巴平台上数十亿的商品和内容,将会和电商概念、原子概念层进行关联。如和“户外烧烤”相关联的商品可能会包括烧烤架、炭火、食材等等。但这里要注意的一点是,有些商品可以关联到“户外烧烤”这个电商概念,但不一定可以和相应的原子概念“户外”直接关联。对于商品来说,电商概念像是这个商品会被用于的某个场景,而原子概念更像是细粒度的属性,用于刻画商品的特性。

综上所述,在 AliCoCo 的体系中,用户需求被表达成短语级别的电商概念。在这之下,有一套定义完备的分类体系和原子概念实例去描述所有的电商概念。最后,电商平台上的所有商品都会和电商概念或是原子概念相关联。下面,我们详细介绍每一层的细节以及在构建过程中所遇到的算法问题。

分类体系(Taxonomy)

AliCoCo 的分类体系是一个巨大的树形结构,包含了百万级别的原子概念实例。由于分类体系的构建,对专家知识的要求非常高,并且这部分的设计对于整个知识体系都至关重要,因此我们人工定义了约 20 个一级分类(下图),其中专为电商领域所设计的有:“品类”、“图案”、“功能”、“材质”、“花色”、“形状”、“气味”、“口味”。每个一级分类还会继续细分为二级、三级,直至叶子分类,其中对于电商领域最为重要的“品类”包含了约800个叶子分类。诸如“时间”、“地点”、“受众”、“IP”等分类和开放领域的知识图谱可以交融,如“IP”中包含了大量的明星、运动员、电影、音乐等。

原子概念层 (Primitive Concepts)

在原子概念层,我们希望这些细粒度的词能够去完整地描述所有的用户需求,这是用于组成电商概念的基础,在这一层,我们主要讨论两个问题:

原子概念词汇的挖掘

原子概念之间的上下位关系构建

词汇挖掘

在定义好分类体系之后,一般有两种方式快速扩充分类下的实例(词汇)。

第一种是融合多种来源的结构化数据,这种方法采用的技术通常是本体对齐(ontology matching),在实践过程中,我们主要采用规则+人工映射的方式将不同来源的结构化数据对齐到我们的分类体系进行词汇的融合。

第二种是通过在大规模的语料上进行自动挖掘来补充分类下的词汇,这里我们将其定义为序列标注任务,并采用基于 BiLSTM+CRF [1] 的模型来挖掘发现分类下的新词。由于叶子分类的数量过于庞大,我们使用一级分类作为label,先对词汇进行粗粒度的挖掘。

上图为 BiLSTM+CRF 模型的简单示意,BiLSTM(双向 LSTM)层用于捕捉句子上下位的语义特征,而 CRF(条件随机场)层则用于捕捉当前词的 label 和前后词 label 之间的相关性。而在模型挖掘得到可能属于某个分类的新词之后,后续还会经由众包投放审核、外包质检等人工把关环节,最终才会入库成为真正的原子概念。不同的原子概念可能拥有相同的名字,但分属不同的类别,代表了不同的语义,每个原子概念有一个 ID,这也是 AliCoCo 未来可以用概念消歧的基础。

上下位关系构建

在某个一级分类下的词汇挖掘到一定量后,我们需要继续将所有词汇分到不同层次的类别中去,这个过程可以抽象成为一个上下位关系发现(hypernym discovery)的过程:给定一个下位词,在词表中找到其可能的上位词。我们采用基于 pattern 的无监督方法和基于 projection learning 的监督方法两种方式结合来完成上下位关系的构建。

Pattern based

基于 pattern 的方式 [2] 是最直观且准确率最高的方法,通过归纳和发现一些可用于判断上下位关系的 pattern,从文本句子中直接抽取上下位词对。典型的 pattern 如“XX,一种XX”、“XX,包括XX”等。但这种方式的缺点是默认上下位词对在句子中必须共现,会影响召回。此外,利用中文的一些特点,我们可以用过“XX裤”一定是“裤子”等来自动构建起一批置信度较高的上下位关系。

Projection learning

Projection learning 的方式是给定一个下位词 embedding 和上位词 embedding ,有监督去学习一个映射函数 ,使得 和 尽可能地接近。这方面有很多前人的工作 [3, 4],其中有一些工作会先将不同的词进行聚类,在每个类别上分别学习不同的映射,取得了较好的效果。具体地,我们学习一个打分函数,用于表征一对候选词之间的上下位关系强弱,并使用多个 matrix 来模拟不同维度的特征(隐式的聚类),其中第 k个 score 计算如:。最后将 k 个 score 过一层全连接得到最终的probability:。之后我们采用交叉熵损失函数进行训练。模型中使用的预训练的词向量是在前面提到的电商语料上用 word2vec 进行训练的。同时,我们针对部分品类词在语料中出现较为稀疏的问题,用 ALaCarte embedding [5] 进行了强化,其主要思想是学习一个映射关系矩阵 ,利用稀疏词 周围的 context 的 embeddings 之和 对其进行表征:

而 A 可以通过利用语料中所有的词 进行训练得到:

Active learning

模型产出候选和众外包审核是一个同时进行的过程,人工审核的数据可以不断反哺强化模型。因此,我们在迭代的过程中,考虑用 active learning 来进一步提升效率,降低人工审核的成本。我们采用了一种 uncertainty and high confidence (UCS) 的 sampling strategy,除了考虑模型难以判断正负的样例之外(预测值接近 0.5),我们还额外添加了一定比例的高置信度判正的样例一起送标,这是因为在上下位关系的判别中,很容易被诸如同义或者相关关系所干扰,尤其在前期样本数量少且质量不一,以及负采样不均衡的情况下,模型对于区分相关关系和上下位的表现不是太好。而通过人工标注纠正这样的判断错误,可以及时惩罚这一类的误判。实验表明这样的策略可以帮助我们减少 35% 的人力成本。

电商概念层 (E-commerce Concepts)

在电商概念层,每一个节点代表了一种购物需求,这种购物需求可以用至少一个原子概念来描述。我们首先介绍电商概念的定义,然后介绍电商概念是如何被挖掘和生成的,最后介绍电商概念和原子概念之间的链接。

电商概念的定义

我们定义一个符合标准的电商概念,需要满足以下要求:

1)有消费需求

即一个电商概念必须可以让人很自然地联想到一系列商品,反例如“蓝色天空”、“母鸡下蛋”等就不是电商概念。

2)通顺

反例如“仔细妈咪肥皂”等就不是电商概念。

3)合理

即一个电商概念必须符合人类常识,反例如“欧式韩风窗帘”、“儿童性感连衣裙”等就不是电商概念,因为一个窗帘不可能即是欧式还是韩风的,而我们通常不会用性感去修饰一件儿童的连衣裙。

4)指向明确

即一个电商概念必须有明确的受众,反例如“儿童宝宝辅食”等就不是电商概念,因为儿童的辅食和宝宝的辅食差别较大,会造成用户的疑惑。

5)无错别字

反例如“印渡神油”等。

电商概念的生成

我们采用一个两阶段的方式来生成电商概念:首先我们用两种不同的方式生成大量的候选,然后用一个判别模型来过滤那些不满足我们的标准的候选。

候选生成

候选生成有两种方式,一种是从文本语料中去挖掘可能的短语,这里我们采用了 AutoPhrase [6] 在大规模的语料上进行挖掘,语料包括电商生态内的 query log,商品的标题、评论,还有很多达人商户写的购物攻略等。另一种方式是用词粒度的原子概念进行组合生成短语粒度的电商概念。我们挖掘并人工审核了一些 pattern 来赋值生成,部分 pattern 如下图所示:

我们可以通过“[事件]用的功能”这个 pattern 来生成“旅游用的保暖帽子”这样的电商概念。而这些 pattern 可以和下面的判别过程结合,通过迭代的方式来进行不断地挖掘和补充。

电商概念判别

判断一个候选短语是否满足电商概念的要求,最大的挑战是上文提到的第三点,即“合理”,要符合人的常识。其他一些要求我们可以通过字级别或是词级别的语言模型就能过滤掉大部分的 badcase,但常识错误的识别对机器来说是非常困难的。此外,电商概念判别任务中的候选短语又严重缺少上下文信息,进一步增加了判别的难度。

为了解决这个难题,我们设计了一种知识增强的判别模型(如下图所示),整体是一个 Wide&Deep [7] 的结构。在 Deep 侧,我们利用字级别和词级别的 BiLSTM 来提取特征,同时对于词级别的输入,我们还加入了一些词性特征如 POS tag 和 NER label 等。为了进行知识增强来辅助常识理解,我们将部分词链接到 Wikipedia 上,如“性感”就可以找到对应的页面。然后将页面上的 gloss(通常是一段简单的介绍)用 Doc2vec [8] 的方式进行 encode 得到知识表达。在经过 self-attention + max-pooling 之后将两者融合。在 Wide 侧,我们主要计算了 concept 的一些统计特征,包括了 BERT [9] 语言模型产出的 ppl 值。最后,通过一个全连接层我们得到最终衡量一个候选短语是否符合电商概念要求的分数。

我们希望模型能辅助我们过滤掉大量的 badcase,此后我们对模型判别正确的电商概念通过众包投放审核和外包多轮质检的方式来保证数据质量。同时,审核入库的数据会继续迭代地帮助模型进一步提高准确率。

和原子概念的链接

对于那些通过从原子概念组合而得到的电商概念,它们天然地和原子概念关联了起来,但对于那些从文本中直接挖掘得到的短语概念,我们需要进一步将它们和原子概念层进行链接,以便更好地去理解和描述这些用户需求。回顾前文提到的电商概念“户外烧烤”,我们需要预测“户外”是一个“地点”,“烧烤”是一个“动作”。但“烧烤”在我们的体系中也有可能是一个“电影”,所以这里的难点在于如何进行消歧。我们把这个任务定义为一个短文本的 NER 任务,由于电商概念普遍只有 2-3 个词组成,缺少上下文也让这个任务具有挑战。

为了解决这个问题,我们设计了一种文本增强的方式,对短文本中待链接的词进行外部上下文的补充,用以为消歧带来额外的信息辅助。模型如上图所示,左边部分是比较常规的特征抽取,右边是一个信息增强的模块。我们将目标词映射到高质量的外部文本中,通过 doc2vec 将其周边的上下文信息 encode 成 embedding,最终最为额外的输入融合到最终的表达中。此外,由于部分电商概念中的原子概念可以属于多个类型,如“乡村半身裙”中的“乡村”,既可以是“地点”,也可以是“风格”。因此我们将 CRF 层改为 Fuzzy-CRF [10],用以建模多个正确的 label 序列:

商品关联 (Item Association)

在构建完原子概念和电商概念层之后,最重要的是将电商平台上的所有商品进行关联。前面提到原子概念更像是属性,因而我们更关注商品与电商概念的关联,因为后者表达的是一个用户需求,常常有着较为复杂的语义。此外,电商概念与商品的关联不能直接从对应的原子概念到商品的关联组合得到,因为会出现“语义漂移”的问题。例如“户外烧烤”所需要的商品,往往和属性“户外”没有任何关系。我们将这个问题抽象为一个语义匹配(semantic match)[11, 12] 的问题,因为现阶段我们暂时只用到商品侧标题的信息(实际上商品是一个多模态的结构,有着非常丰富的文本、图像甚至越来越多的商品开始有了短视频的介绍)。这个任务最大的挑战依旧在于我们的电商概念非常简短,直接进行匹配,往往会遇到诸如某些不那么重要词对结果产生了巨大的影响等问题。

针对上述难点,我们在语义匹配模型上引入了一些必要的外部知识来提升性能。具体模型如上图所示,除了常规的特征抽取,attention 注意力机制模块等建模商品和电商概念之间的关联外,我们主要做了两个地方的增强:

1)引入了电商概念对应的原子概念的特征表达,增加了类型等结构化信息。

2)引入外部 Wikipedia gloss,对部分词进行知识增强,以更好地建立与商品之间的关联。引入这些知识带来的典型的优点,例如在关联“中秋节送礼”时,可以把不包含中秋节字样的的月饼类商品给排上来。

应用

目前,AliCoCo 已经基本完成了 1.0 版本的建设,共包含 2.8m 的原子概念,5.3m 的电商概念,超过千亿级别的关系。淘宝天猫上超过 98% 的商品均已纳入到 AliCoCo 的体系之中,平均每个商品关联了 14 个原子概念和 135 个电商概念。通过对用户需求的统计,相较于之前的商品管理体系,AliCoCo 对于搜索 query 中用户需求的覆盖从35%提升到了 75%。

AliCoCo 已经支持了阿里巴巴集团核心电商的多个业务应用,这里我们主要介绍在电商搜索和推荐上已经落地的、正在进行的,以及将要进行的一些应用。

电商搜索

相关性是搜索引擎的核心问题,其最大的挑战在于用户输入的 query 和商品端之间存在语义隔阂。AliCoCo 中已经为大量的原子概念和电商概念关联了相应的商品,为商品理解提供了从用户视角出发的大量标签,同时 AliCoCo 包含了大量的同义和上下位关系,这些数据帮助了搜索相关性取得显著的提升,从而进一步改善了用户体验。

语义搜索和自动问答一直人们对于搜索引擎的梦想。在电商的场景中,我们可以充分发挥 AliCoCo 的优势,当用户搜索命中电商概念的时候,通过一个知识卡片的形式透出该电商概念下多样化的商品,类似 Google 的知识图谱帮助搜索引擎在用户检索一些实体时透出知识卡片。如上图(a)所示,当用户在淘宝搜索“烘焙”时,命中了相应的电商概念“烘焙工具”,于是会透出一个卡片,上面的商品按照不同品类来进行排序展示。此外,我们还可以透出一些对于烘焙知识的文字解释用于辅助用户进行决策。而电商场景中的自动问答,更多出现在语音交互的场景中,我们可以在家里问天猫精灵“周末要组织一场户外烧烤,我需要准备哪些东西?”,AliCoCo 可以为这样的场景提供底层知识的支持。

电商推荐

目前电商推荐主要以商品推荐的形式为主,但为了满足用户丰富多样的购物需求,我们也需要为用户做一些主题式的推荐,让用户能够明显感知到推荐系统能更人性化地在满足其购物需求。AliCoCo 中的电商概念,正是为了表达用户需求,同时 2-3 个词的长度也非常适合直接推送给用户。如上图(b)中所示,在手机淘宝首页信息流推荐中,我们在商品坑位之间插入了以电商概念为主题的知识卡片,当用户点击卡片时,就会跳到相应的页面,展示该电商概念下的商品。这个应用目前已经稳定运行了超过一年,满足了用户多样化的推荐需求,进一步提升了用户的满意度。

此外,电商概念简短的文字也非常适合用作推荐理由展示在商品坑位中,进一步吸引用户,如上图(c)所示。AliCoCo 为可解释的推荐提供了数据基础。

总结

为了支持电商技术从个性化时代全面迈入认知智能时代,我们投入了巨大的心血和努力探索并构建了全新一代的电商知识图谱 AliCoCo,目前 AliCoCo 已成为阿里巴巴电商核心引擎的底层基础,赋能搜索、推荐、广告等电商核心业务。同时,通过海量的线上用户反馈,AliCoCo 也在不断地对其自身的结构和数据进行补充与完善,形成了一个良性生长的循环。对于 AliCoCo 2.0 的方向,我们未来考虑:

1)继续补充大量电商常识性关系,如将电商概念与原子概念的链接,从短文本 NER 扩展成属性推理任务,我们需要为“男孩T恤”预测出“季节:夏天”,尽管“夏天”没有出现在文本之中,这样的购物常识对于进一步理解用户需求、改善购物体验是非常有帮助的。

2)将电商概念和商品之间的关系建模为概率分,根据分数来进一步将用户体感进行分层,让用户有更明显的感知。

3)AliCoCo 将响应集团国际化和本地化的战略,朝着多语言(multi-lingual)和餐饮等方向进行探索。

参考文献

[1] Zhiheng Huang, Wei Xu, and Kai Yu. 2015. Bidirectional LSTM-CRF models for sequence tagging. arXiv (2015).

[2] Marti A. Hearst. 1992. Automatic acquisition of hyponyms from large text corpora. In Proceedings of the 14th conference on Computational linguistics - Volume 2, volume 2, pages 539–545. Association for Computational Linguistics.

[3] Josuke Yamane, Tomoya Takatani, Hitoshi Yamada, Makoto Miwa, and Yutaka Sasaki. 2016. Distributional hypernym generation by jointly learning clus- ters and projections. In Proceedings of COLING 2016, the 26th International Conference on Compu- tational Linguistics: Technical Papers, pages 1871– 1879.

[4] Dmitry Ustalov, Nikolay Arefyev, Chris Biemann, and Alexander Panchenko. 2017. Negative sampling improves hypernymy extraction based on projection learning. In Proceedings of the 15th Conference of the European Chapter of the Association for Compu- tational Linguistics: Volume 2, Short Papers, pages 543–550, Valencia, Spain. Association for Compu- tational Linguistics.

[5] Khodak, Mikhail, et al. "A la carte embedding: Cheap but effective induction of semantic feature vectors." arXiv preprint arXiv:1805.05388 (2018).

[6] Jingbo Shang, Jialu Liu, Meng Jiang, Xiang Ren, Clare R Voss, and Jiawei Han. 2018. Automated phrase mining from massive text corpora. IEEE Transactions on Knowledge and Data Engineering 30, 10 (2018), 1825–1837.

[7] Heng-Tze Cheng, Levent Koc, Jeremiah Harmsen, Tal Shaked, Tushar Chandra, Hrishi Aradhye, Glen Anderson, Greg Corrado, Wei Chai, Mustafa Ispir, et al. 2016. Wide & deep learning for recommender systems. In Proceedings of the 1st Workshop on Deep Learning for Rec- ommender Systems. ACM, 7–10.

[8] Quoc Le and Tomas Mikolov. 2014. Distributed representations of sen- tences and documents. In International conference on machine learning. 1188–1196.

[9] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. 2018. Bert: Pre-training of deep bidirectional transformers for language understanding. arXiv preprint arXiv:1810.04805 (2018).

[10] Jingbo Shang, Liyuan Liu, Xiang Ren, Xiaotao Gu, Teng Ren, and Jiawei Han. 2018. Learning named entity tagger using domain-speci c dictionary. arXiv preprint arXiv:1809.03599 (2018).

[11] Po-Sen Huang, Xiaodong He, Jianfeng Gao, Li Deng, Alex Acero, and Larry Heck. 2013. Learning deep structured semantic models for web search using clickthrough data. In Proceedings of the 22nd ACM international conference on Information & Knowledge Management. ACM, 2333–2338.

[12] Liang Pang, Yanyan Lan, Jiafeng Guo, Jun Xu, Shengxian Wan, and Xueqi Cheng. 2016. Text matching as image recognition. In Thirtieth AAAI Conference on Arti cial Intelligence.

引入机器学习算法搭建推理引擎

我们设计了一套框架来实现知识表示和推理。此外:知识图谱实体、关系、词林(同义词、上下位词)、垂直知识图谱(例如地理位置图谱、材质图谱)、机器学习算法模型等都纳入进来做统一的描述。

按照不同场景,我们把推理分为:上下位和等价推理;不一致性推理;知识发现推理;本体概念推理等。例如

1. 上下位和等价推理。检索父类时,通过上下位推理把子类的对象召回,同时利用等价推理(实体的同义词、变异词、同款模型等),扩大召回。 例如,为保护消费者我们需要拦截 “产地为某核污染区域的食品”,推理引擎翻译为 “找到产地为该区域,且属性项与“产地”同义,属性值是该区域下位实体的食品,以及与命中的食品是同款的食品”。

2. 不一致推理。在与问题卖家对弈过程中,我们需要对商品标题、属性、图片、商品资质、卖家资质中的品牌、材质、成分等基础信息,做一致性校验。比如说标题中的品牌是Nike而属性或者吊牌中品牌是Nake,如下图所示,左边描述了商品标题、属性、吊牌上的品牌信息是一致的,推理为一致。右边为吊牌和商品品牌不一致的商品,被推理引擎判断为有问题的商品。

3. 知识发现推理。一致性推理的目的是确保信息的确定性,例如通过一致性推理我们能确保数据覆盖到的食品配料表正确。但消费者购物时很少看配料表那些繁杂的数字。消费者真正关心的是无糖、无盐等强感知的知识点。为了提高消费者购物体验,知识发现推理通过底层配料表数据和国家行业标准例如:

无糖:碳水化合物≤ 0.5 g /100 g(固体)或100 mL(液体)

无盐:钠≤5mg /100 g 或100 mL

我们可以把配料表数据转化为“无糖”“无盐”等知识点。从而真正地把数据变成了知识。通过AB test验证,类似知识点在前端导购中极大地改善了消费者购物体验。

▌推理引擎背后技术框架

首先,推理引擎把自然语言通过语义解析(semantic parsing)转换为逻辑表达式(logical form)。语义解析采用了结合神经网络和符号逻辑执行的方式:自然语言经过句法、语法分析、 NER、 Entity Linking, 被编码为分布式表示(distributed representation),句子的分布式表示被进一步转义为逻辑表达式。

在分布式表示转换为逻辑表达式的过程中,我们首先面临表示和谓词逻辑(predicate)操作之间映射的问题。我们把谓词当做动作,通过训练执行symbolicoperation,类似neural programmer中利用attention机制选择合适的操作,即选择最有可能的谓词操作,最后根据分析的句法等把谓词操作拼接为可能的逻辑表达式,再把逻辑表达式转换为查询等。过程示意如下图所示。

其次,逻辑表达式会触发后续的逻辑推理和图推理。逻辑表达式在设计过程中遵循以下几个原则:逻辑表达式接近人的自然语言,同时便于机器和人的理解。表达能力满足知识图谱数据、知识表示的要求。应该易于扩展,能够非常方便的增加新的类、实体和关系,能够支持多种逻辑语言和体系,如Datalog、OWL等,即这些语言及其背后的算法模块是可插拔的,通过可插拔的功能,推理引擎有能力描述不同的逻辑体系。

以上下位和等价推理为例:“产地为中国的食品”,”

用逻辑表达式描述为:

∀x: 食物(x) ⊓ (∀ y: 同义词(y,产地)) (x, (∀ z: 包括下位实体(中国, z)))

随后找同款:

∀t, x: ($ c:属于产品(x, c) ⊓属于产品(t, c))

此外,推理引擎还用于知识库自动补全。我们基于embedding做知识库补全。主要思路是把知识库中的结构信息等加入embedding,考虑了Trans系列的特征,还包括边、相邻点、路径、实体的文本描述 (如详情)、图片等特征,用于新关系的预测和补全。

参考资料:

https://developer.aliyun.com/article/754652

https://blog.csdn.net/zzc_zhuyu/article/details/105298956

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/42754.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

天池NLP大赛来了!

Datawhale赛事 主办方&#xff1a;阿里云天池、问天引擎 “阿里灵杰”问天引擎电商搜索算法赛已在阿里云天池平台拉开帷幕。本次比赛由阿里巴巴集团智能引擎事业部主办&#xff0c;阿里云天池平台承办&#xff0c;诚邀社会各界开发者共同探索智能零售场景AI新动力&#xff01;…

“问天号”已就位!喻京川2013年畅想的《中国空间站》,即将启航星辰大海!...

你是否曾震撼于《星际迷航》中恢弘的太空场景&#xff1f;是否曾在曲折而唯美的光线中想象过黑洞的模样&#xff1f;或许你还未曾深入了解过太空美术&#xff0c;但它离我们从不遥远。 太空美术&#xff0c;描绘了人类对太空最真实的畅想。 2013年&#xff0c;现为北京天文馆画…

太强了!阿里开源自研高性能核心搜索引擎Havenask

编辑 &#xff5c; Tina 近期&#xff0c;阿里开源了自研的大规模分布式搜索引擎 Havenask&#xff08;内部代号 HA3&#xff09;。 Havenask 是阿里巴巴内部广泛使用的大规模分布式检索系统&#xff0c;支持了淘宝、天猫、菜鸟、优酷、高德、饿了么等在内整个阿里的搜索业务&a…

ThinkServer SR590 V2(联想问天系列)CPU在BMC显示使用率高,通过关闭Power下的C-States解决

ThinkServer SR590 V2&#xff08;联想问天系列&#xff09;CPU在BMC显示使用率高&#xff0c;通过关闭Power下的C-States解决 关键词&#xff1a;CPU CPU使用率比较高 CPU使用率 BMC使用率高 CPU阈值 摘要&#xff1a;ThinkServer SR590 V2&#xff08;联想问天系列&#xff…

聚观早报 | “问天” 实验舱成功升天;微博将显示MCN机构名称

今日要闻&#xff1a;“问天” 实验舱成功升天&#xff1b;微博账号将显示MCN机构名称&#xff1b;苹果将推出Apple Watch Pro&#xff1b;英孚教育辟谣无法运营&#xff1b;易趣网宣布8月12日关闭 “问天” 实验舱成功升天 2022年7月24日14点22分&#xff0c;搭载中国问天实验…

阿里灵杰问天引擎电商搜索 -- 数据说明

比赛数据 corpus.tsv 介绍&#xff1a;语料库&#xff0c;从淘宝商品搜索的标题数据随机抽取doc&#xff0c;量级约100万。 格式&#xff1a;doc_id从1开始编号的&#xff0c;title是是商品标题。 1 铂盛弹盖文艺保温杯学生男女情侣车载时尚英文锁扣不锈钢真空水杯 2 可爱虎…

“阿里灵杰”问天引擎电商搜索算法赛 - 数据说明2022

任务和主题 本次题目围绕电商领域搜索算法&#xff0c;开发者们可以通过基于阿里巴巴集团自研的高性能分布式搜索引擎问天引擎&#xff08;提供高工程性能的电商智能搜索平台&#xff09;&#xff0c;可以快速迭代搜索算法&#xff0c;无需自主建设检索全链路环境。 本次评测…

使用postman进行post请求传递中文导致后台接收乱码的问题

使用postman进行post请求传递中文导致后台接收乱码的问题 1.个人猜测估计是如果header里不指明编码的话&#xff0c;经过tomcat服务器时会导致转换乱码信息&#xff0c;这样就算你在filter里配置了EncodingFilter相关的过滤器也无济于事。。 解决方法就是在header指定下charse…

TortoiseGit安装中文语言包无法切换语言

TortoiseGit安装中文语言包切换不了中文&#xff0c;网上有很多解决方案思路 1、检查TortoiseGit版本要和语言包版本一致或语言包版本要高于TortoiseGit版本 2、查看语言包版本就莫名其妙的好了 3、主要原因是TortoiseGit默认的是US语言&#xff0c;安装语言包之后语言包不会…

TortoiseSVN 设置中文语言包

简介 简明快速讲解中文安装的全过程。 版权所有&#xff1a;_ OE _, 转载请注明出处&#xff1a;http://blog.csdn.net/csnd_ayo 简介相关下载安装设置总结解惑 相关 TortoiseSVN 下载与安装 [立即前往] 下载 简体中文包 64 位 [一键下载] [百度云下载] [官网下载] 简…

快速生成数据库ER图的方式

dbdiagram 简述 快速简单的数据库模型设计工具&#xff0c;可以帮助您使用其自己的特定于域的语言&#xff08;DSL&#xff09;来绘制数据库图。最主要的是免费。 dbdiagram 地址 https://dbdiagram.io/ dbdiagram 效果 Draw.io 简介 对于基于Web的使用免费&#xff0c;对…

如何创建ER图

如何看懂ER图 一、建实体 建一个实体的几个要素 1、类名 2、主键 3、属性&#xff08;字段&#xff09; 4、如果与其他实体有关系&#xff0c;则需要有外键&#xff08;Foreign Key&#xff09; 二、关系 以老师与学生关系为例&#xff1a;1:1型 1个教师对应0或1项排课 一个教…

用mysql workbench生成ER图

下载安装mysql workbench画图啦白白 下载安装mysql workbench 首先是下载mysql workbench,windows系统的自己百度,我用的是ubuntu 14.04LTS,百度到的结果有点坑,叫我去官网,但是选择平台后就没下文了T_T,最后忽然想起系统自带有软件中心,直接去本机自带的ubuntu softwore cen…

ER图详解及实例

文章目录 ER图基本概念ER图实例 ER图基本概念 ER图分为实体、属性、关系三个核心部分。在ER图中&#xff0c;实体是长方形&#xff0c;属性是椭圆形&#xff0c;关系为菱形。 实体&#xff08;entity&#xff09;&#xff1a; 即数据模型中的数据对象&#xff08;即数据表&…

ER图转为关系模式(超详细,超简单)

相关系列&#xff1a; ER图转为关系模式 无损分解和保持依赖 3NF分解与BCNF分解 正则覆盖与候选码 如何设计ER图&#xff08;弱实体集&#xff09; 如何设计ER图&#xff08;映射基数&#xff09; 目录 1.简单属性的强实体集2.派生属性不出现3.复合属性由子属性代替3.多值属性也…

如何画数据库ER图

一、ER图基本概念 ER图分为实体、属性、关系三个核心部分。在ER图中&#xff0c;实体是长方形&#xff0c;属性是椭圆形&#xff0c;关系为菱形。 1、实体&#xff08;entity&#xff09; 即数据模型中的数据对象&#xff08;即数据表&#xff09;&#xff0c;用长方体来表示&…

使用Navicat生成ER关系图并导出

1.打开已经设计好的表视图界面 2.点击右下角的按钮切换到ER视图 3.在数据库名字上&#xff0c;右击选择逆向数据库到模型 4.选择导出&#xff0c;导出格式有三种&#xff0c;pdf、svg和png

如何将ER图转化为关系模型(超详细、含例题)

本文转载自&#xff1a;http://blog.csdn.net/HaoDaWang/article/details/78098937?locationNum4&fps1 超级感谢博主分享 本篇博文中的例题只涉及到N:M和N:M:P的转换&#xff0c;大家看完后可以再去看下下面这几个例题 https://blog.csdn.net/Flora_SM/article/details/…

python turtle绘图-案例集锦(小猪佩奇、哆啦A梦、小黄人、樱花树、皮卡丘、汉诺塔、高达、星空等)

绘图之前先要安装turtle模块 python 2&#xff1a; pip install turtlepython 3: pip3 install turtle1.小猪佩奇&#xff1a; import turtle as t t.pensize(4) t.hideturtle() t.colormode(255) t.color((255, 155, 192), "pink") t.setup(840, 500) t.speed(2…