对话式AI系列:中关村科金领域知识中台建设方法论与实践

依托于对话式AI技术的智能对话系统,相对于传统的营销服系统(如呼叫中心、客服系统)而言,不仅仅是一款连接用户的沟通系统,更是一款拥有决策能力的、以自然语言进行人机对话交互的系统,具备实时交互能力、客户洞察能力、业务决策能力、最佳实践总结能力。完整的智能对话系统包含三个主要的子系统:客户洞察系统、领域知识中台和对话引擎。其中,领域知识中台主要负责对企业内的领域知识做全生命周期管理,通过人机交互的方式将企业的核心生产要素、核心价值活动做统一化、标准化处理,帮助企业解决知识难以集中管理、难分享、难传承的问题。领域知识中台可以同时支撑对内的知识检索、员工培训以及对外的精准营销、客户服务等。

1、领域知识中台建设初衷:更加高效的留存、挖掘、管理、传承知识资产

在经历了信息化、网络化之后,越来越多的企业开始意识到,很多业务场景下的智能化应用都依赖于领域知识库的建设,智能程度的高低往往取决于自身拥有的知识资产的多少,这在知识复杂度高的行业里尤为明显。知识成为企业核心资产和创新驱动力的时代已悄然来临,越来越多的管理者开始重视企业内部统一的知识中台建设。

然而,在现阶段很多企业仍然通过员工培训、文档管理和数据管理来间接地管理和传播知识。员工培训的方式效率低下、成本过高;文档的方式粒度大,难以定位到知识片段;数据的方式粒度过细,对业务人员不够友好。因此,多数企业会面临以下几项问题:

  • 知识难留存:现有的IT系统对知识的保留比较分散,并且非强制化和制度化。同时,大量的知识和经验都是非结构化的,很多IT系统也不支持对非结构化数据进行留存。
  • 知识难挖掘很难有效实现隐性知识资产显性化,企业在内外部信息环境变化快的状况下,即便掌握了数据,仍难及时做出响应或决策。
  • 知识难管理:企业管理者难以把知识当作自身的资源和所有物去管理,难以对知识资产的价值做评估。在员工培训、营销、客服等场景下,知识维护的入口和管理界面分散在不同系统里,有时甚至同一个场景(如客服)下的不同渠道(如官网、小程序、呼叫中心)都没有统一管理。
  • 知识难传承:骨干员工离职会影响企业的总体价值,老员工的经验无法沉淀,新人培养周期长。

2、领域知识中台建设方法论:两类用户、三类知识和六步建设法

为了解决上述问题,尤其是为了在营销服等系统中提升用户对话过程中的准确度,中关村科金总结过往在金融、政务、医疗等行业的实践经验,提出了一套构建领域知识中台的方法论,其核心内容可总结为:两类用户、三类知识和六步建设法。

两类用户包括知识官和知识工程师。知识官往往是企业内的高级专家,负责定义全局概念体系和管理知识。知识工程师往往是业务一线的基层管理者,负责贡献单条知识。

三类知识包括事实知识、原理知识和技能知识。以往的研究主要集中在事实知识上,原理知识多是按照技术路线区分,技能知识多是从管理学视角出发,科技公司极少能够给出IT方面的实现方案。三类知识与两类用户的关系如图1所示。

图1  两类用户与三类知识的关系

六步建设法按照处理流程串行实施并形成闭环,完整地实现了从各类包含显性知识和隐性知识的数据源中抽取出陈述性知识和程序性知识并做形式化表示,然后以多种方式提供知识服务,最后促进已有知识的迭代和新知识的产生,如图2所示。

 

图2 六步建设法

六步建设法具体包括以下步骤:

  1. 知识建模:为了有效组织领域内业务活动中的几类关键数据,需要建立起知识的模型,定义出两个概念体系。一个是类别体系,包含领域内的类别、类别所包含的属性及其约束、类别间的关系类型;另一个是任务体系,包含领域中要面对的场景、场景下的细分任务、处理任务所需考虑的判断条件和工作流程等。有些领域在国家主管部委或行业联盟组织的推动下建立了相应的国标、行标,便于成员间的数据共享和流程标准化。
  2. 知识抽取:知识抽取的目的是为了从数据源中抽取出知识片段,理解其语义后再做有序的组织和存储。涉及的知识通常是明确定义的、事实性的信息,这些信息来自不同的数据源、具有不同的结构。对不同数据源进行知识抽取的方法各有不同:从结构化数据中获取知识的操作常被称为映射(Mapping),需要编写映射脚本,其难点在于复杂的关系表的处理,包括嵌套表、多列、外键关联等;从半结构化和非结构化数据中获取知识的操作单元常被称为包装器(Wrapper),其难点在于包装器的生成、更新和维护。从非结构化文本中抽取知识时就是广义上说的抽取器(Extractor),其中三个最重要的子任务是:实体识别、关系抽取和事件抽取。
  3. 知识管理:广义的知识管理被定义为“对知识、知识创造过程和知识的应用进行规划与管理的活动”。此处狭义的知识管理作为知识中台的一项系统功能是指:通过提供用户交互接口对事实知识库、原理知识列表、技能知识库中的知识条目做体系化组织,如增删改查、推荐、问答、订阅分享等操作,并最终存储于数据库中。
  4. 知识计算:三类知识除了供人类用户使用,还应该被计算机无歧义的调用执行,为上层的应用系统提供API接口调用。由于三类知识经过体系化的整理,相当于人工的建立起更多的结构关联,拉近了相似知识片段间的语义距离,从而使其超越了字符串匹配式的语义计算方法,作为一项基础服务进一步提升上层应用系统的性能。
  5. 知识应用:知识在真实条件下经过有效性和稳定性验证后,可在组织内部进一步推广应用。应用层常见的使用方式有两种,一种是较为通用的技术型应用,如可视化洞察、信息检索、推荐系统、问答系统等;另一种是具有行业特色的解决方案型应用,如金融反欺诈、快消品营销、工业维保等。无论以何种形式服务于用户或应用层系统,均需收集实际的应用反馈结果,以用于上述步骤的更新优化,从而形成闭环。
  6. 知识演化:知识的有效应用并不是终点,知识中台带来的一项额外的增值是促进知识的动态演化,形成良性循环。随着内外部新知识片段不断加入到统一的知识体系中来,系统及时发现已有知识之间相似性、主动的推送给最有可能与之产生交互的人,从而对已有知识进行更新、促进新知识的应用和启发式创新。

3中关村科金知识中台技术方案:实现数据全生命周期管理

为了实现从收集原始数据到产生应用决策的全生命周期的各个步骤,作为领先的对话式AI技术解决方案提供商,中关村科金总结了在银行、信托、证券、公安、社保、制造、医疗等10多个行业500多客户的项目经验,形成了一套知识中台的技术实现方案,该方案包括六大子系统,技术架构如图3所示。

 

图3  技术架构图

  1. 数据接入子系统:用于将分散于各个数据源中的数据统一进行采集、解析、去重和变换,并对这些任务做调度、优化与监控。
  2. 知识抽取子系统:用于通过一系列技术方法从数据接入子系统所提供的结构化数据和非结构化数据中抽取出实体、关系、属性等知识片段。
  3. 人机交互子系统:用于为知识工程师和知识官提供可视化的多轮交互界面,不断新增、修改和更新三类知识。
  4. 知识管理子系统:用于对已有的知识做底层存储,并保证知识表示规范的兼容性、一致性,明确不同知识子类型的形式化表示方法、相关约束、子类型间的关系等,常用的知识子类别包括词典、类别、属性、实例、指标、规则、模型、工作流等。
  5. 知识计算子系统:一方面用于自动化的执行已有的各类原理知识和技能知识;另一方面基于演绎、规则、模型,融合逻辑学和图论算法对已有知识做进一步的融合整理后进而获取新知识。
  6. 知识应用子系统:用于提高资源优化配置效率,对接并帮助企业内的办公系统、生产系统、协作系统等,以实现科学决策、精准决策、高效决策。较为普遍的应用需求包括可视化、检索、推荐、问答,行业特性相关的应用多为利用图模式匹配算法做团伙发现、关联推荐、关系推理等。

在没有知识中台的情况下,企业仍然可以管理知识、利用数据解决业务问题,就像在没有数据仓库的情况下,企业也能做数据管理一样。但有了知识中台之后,可以让知识体系更清晰,知识复用更高效。中关村科金知识中台技术解决方案成功克服了以下几项关键技术挑战,并为企业客户带来相应的增值:

  • 通过知识表示技术,使知识更加可解释,使其同时表示为人类语言和机器语言,既具有一定的业务可解释性,便于业务人员理解和传播,又可以无歧义地在计算机上执行,便于自动化地做知识关联和输出预测建议。
  • 通过知识抽取技术,建立企业内部全局统一视图,为企业内不同职能部门提供全局视角,使各自的语言体系得以对齐,提升跨部门的协作效率,便于成果整合和复用。
  • 通过知识增强技术,将节点的网络结构信息、上下位等关系信息、节点本身的属性信息等融入到节点的表示方法里,提升下游AI任务(如检索、推荐、问答、规划、预测等)的准确度。
  • 通过人机交互技术,促进知识创新,让机器及时发现相似性知识,并主动推送给相关人员,以人在回路(Human-in-the-loop)的方式产生新类比、新启发,促进新一轮的知识创造。

4、总结展望:知识中台是企业面对未来市场竞争的战略布局

随着人工智能、大数据技术的普及,很多行业感受到来自技术的倒逼压力,数字化转型已然成为不可逆转的发展趋势。数字化转型的首要步骤是数据在线,随后是智能化应用。对话式AI是营、销、服等多个场景中均需应用的技术,其背后的支撑是客户洞察和领域知识。

领域知识中台的建设不单是为了让各种对话场景更加智能,还可以支持企业内信息检索、员工培训、产品研发等场景,是知识密集型企业在数字化转型之路上必经的一站。

现阶段知识中台的建设仍面临很多技术挑战,如:

  • 构建成本问题:对于结构化数据需要复杂的数据治理工作,对于非结构数据需要大量的标注工作。
  • 推理准确度问题:知识计算为搜索、推荐等上游任务的准确度带来提升,但其独特的应用价值在于具有可解释性的推理,需要在领域知识不完备且数据总量大的情况下进行快速准确的推理。
  • 形式化表示问题:一切知识应用问题归根结底都在于知识表示,已有技术成果多集中在事实知识上,对于原理知识和技能知识的研究仍缺乏深入的数学和认知理论基础,现有的一些实践技术路线难以统一。
  • 多模态问题:随着5G、物联网和感知技术的普及,企业非结构化数据的占比会越来越高,从语音、图像、视频的多模态数据中联合抽取知识的需求会越来越多,通过终端设备以多模态交互、人机协同的方式辅助实时决策的需求对技术和产品设计而言将是双重挑战。

放眼未来,各类知识密集型行业均需建立自己的行业大脑,行业大脑将会成为企业在市场竞争中的战略控制点,由企业自身运营维护,知识作为企业资产不断地沉淀和更新。知识中台将会成为企业数字化转型中打通底层数据和上层应用的关键组件,帮助企业解决知识难留存、难挖掘、难管理、难传承的问题,为企业在新经济环境下的市场竞争做战略布局。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/32075.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

战疫,微软资深高管的十余年远程办公管理经验

微软的传奇不止于员工从不需要上下班打卡,而是整个企业年复一年、日复一日的跨国协同。微软的员工分布在全球各地,它是如何协同全球员工,打造全世界市值万亿美元的公司。 出品 | 微软科技(ID:mstech2014) C…

微软 154 页研究论文刷屏,对 GPT-4 最全测试曝光,称其初次叩开 AGI 的大门!...

整理 | 苏宓 出品 | CSDN(ID:CSDNnews) 2019 年,微软用 10 亿美元砸进 OpenAI,两者展开为期数年的合作。 当时两家对外公开的合作内容包括,微软和 OpenAI 将联合开发新的 Azure AI 超级计算技术&#xff0c…

百度文心大模型 3.5 斩获7个满分、三个第一;苹果正在测试 AppleGPT 产品;谷歌给员工断网,降低网络攻击风险|极客头条

「极客头条」—— 技术人员的新闻圈! CSDN 的读者朋友们早上好哇,「极客头条」来啦,快来看今天都有哪些值得我们技术人关注的重要新闻吧。 整理 | 梦依丹 出品 | CSDN(ID:CSDNnews) 一分钟速览新闻点&…

抗衡微软,三款国产软件接力金山WPS,身体力行,不愧是国产之光

说到金山WPS,大家喜闻乐见的,莫过于,它与微软抗衡30余载的发展史了。 金山WPS 众所周知,金山WPS刚推出那会儿,全球风靡,揽下了中国乃至全球的大部分办公市场。 直至1995年前后,微软的Office 9…

使用CAD圆和多边形内、外接圆命令绘制图形。使用CAD多线段命令绘制图形

如下图所示根据标注的尺寸,用CAD画图软件绘制出一样的图形: 目标对象 操作工具 操作系统:Windows10 CAD软件:CAD梦想画图(轻量级CAD、国产CAD软件) 步骤 1.先使用CAD圆命令绘制一个圆,半…

最新多模态模型MiniGPT-4 开源 | 提前感受GPT-4的识图能力 | 基于Vicuna构建的LLM | 能够生成图片描述 | 根据手写文本指令构建网站

概述 最新多模态模型MiniGPT-4 开源:它使用先进的大型语言模型 (LLM)--Vicuna(其中 Vicuna 是基于 LLaMA 构建的)进行调优,在文本语言方面可以达到 ChatGPT 能力的90%。在视觉感知方面,作者采用了与BLIP-2相同的预训练视觉组件,其中该组件由EVA-CLIP的ViT-G/14和Q-Forme…

2022年图灵奖颁给了76岁以太网之父!一篇失败的博士答辩论文,成就了互联网时代

【导读】2022年图灵奖得主,是以太网的先驱Bob Metcalfe。如今全世界5亿人之所以可以愉快地上网冲浪,都离不开他的发明。 就在昨晚,ACM公布了2022年度图灵奖获奖人选——以太网发明者Bob Metcalfe,以表彰他对以太网的发明、标准化…

CodeGeeX 2.0版本重大升级:通过聊天对话的方式直接操作代码

CodeGeeX 2.0版本正式上线!从命名上看这是一次大版本的升级。 上个月,CodeGeeX在VSCode和JetBrains IDEs的插件中,加入了智能问答(Ask CodeGeeX)功能,让用户可以在IDE中通过问答对话的方式解决技术问题。本…

亚马逊巴西站对中国商家正式开放试运营,如何快速提升销量

近日,亚马逊全球开店宣布,亚马逊巴西站对中国商家正式开放试运营,在亚马逊巴西站试运营期间,亚马逊卖家是能获得很多扶持的,比如说大量额外引流资源支持,营销方面,巴西卖家是可以使用优惠券&…

Lazada运营技巧是什么?想爆单的看过来!

很多Lazada卖家都希望能爆单,对引流十分关键,但是转化率却不高。明明投入了广告,但是没有效应。其实是因为Lazada运营方向不对,流量多不等于转化多。要正确的运营,才能让流量最大化,让转化率提高。也就是La…

2019如何操作亚马逊无货源店群?如何开店运营?

“工欲善其事必先利其器”,想要做好亚马逊无货源店群,首先我们需要知道什么是亚马逊无货源,它是怎样的一种运营模式?开店之前我们又应该准备些什么? 亚马逊无货源模式并不是说没有货源,它也是有货源存在的&…

沃尔玛、Shopee、亚马逊测评养号如何最大程度提高listing产品销量

打造一条优质的、有吸引力的listing对于每个做跨境电商的都很重要,那沃尔玛也不例外。产品的listing写得越好,就有可能获得更高的曝光和更高的转化!今天就跟大家讲一下沃尔玛listing优化的几大因素。Listing的优化不仅仅只有关键词的优化、文…

7个实用有效的shopify运营策略,跨境电商卖家必知

关键词:shopify运营、跨境电商卖家 您的Shopify 在线商店是使用当今最好的平台之一构建的。2022 年第二季度,Shopify 在美国电子商务平台中占据最大市场份额,约占美国所有在线业务的 32%。 这也意味着电子商务品牌之间的竞争比以往任何时候都…

亚马逊店铺运营的五个方法

作为世界级别的电商平台来讲,想要运营好亚马逊店铺肯定是需要很大的困难的,那么接下来我就要告诉你该怎样去运营。 1、给自己店铺产品做测评 亚马逊测评,相信这个词对很多跨境电商卖家来说并不陌生,因为大家都知道它能迅速帮助自…

国际站、速卖通、Lazada店铺运营技巧?如何提升销量?

现在国际站、速卖通、Lazada平台开店的卖家越来越多,如何让店铺稳定的使用下去,是每一个卖家都需要思考的问题。现在我们一起来看一看,有哪些运营上需要注意的事项。 1选择产品 不管什么平台都是一样,产品是根本,只有…

RapperBot僵尸网络最新进化:删除恶意软件后仍能访问主机

自 2022 年 6 月中旬以来,研究人员一直在跟踪一个快速发展的 IoT 僵尸网络 RapperBot。该僵尸网络大量借鉴了 Mirai 的源代码,新的样本增加了持久化的功能,保证即使在设备重新启动或者删除恶意软件后,攻击者仍然可以通过 SSH 继续…

Linux:僵尸进程 Zombie;waitpid

文章目录 参考僵尸进程的表象出现僵尸进程的情况一种产生Coredump,而磁盘空间不够用一种父进程未有waitpid回收子进程僵尸进程的影响system 函数调用执行的子进程waitpid参考 https://linux.die.net/man/2/waitpid 僵尸进程的表象 https://mzhan017.blog.csdn.net/article/…

了解僵尸网络攻击:什么是僵尸网络,它如何传播恶意软件以及如何保护自己?

进行系统安全安排的专业人员非常了解“僵尸网络”一词。通常用于被劫持的计算机/系统链,如果指示恢复性和健壮的系统,则应很好地理解“僵尸网络”一词,因为它们的错误使用会导致巨大的混乱。 文章目录 前言一、僵尸网络定义僵尸网络如何工作&…

对话情感识别与生成 | (1) 对话情感识别与生成简述

原文地址 文章目录 1. 介绍2. 对话情感识别2.1 任务介绍2.2 数据集介绍2.3 相关工作介绍 3. 对话情感生成3.1 任务介绍3.2 数据集介绍3.3 相关工作介绍 4. 总结5. 参考资料 1. 介绍 近年来,随着自然语言处理技术的快速发展,人机对话系统受到了很多关注…

前端VUE聊天框样式

简单记录一下项目中聊天框样式&#xff0c;方便以后直接复用&#xff0c;仅供参考~~~~ 先看一下我要实现的样式吧 下面这个是效果图 上面这个是效果图 <!-- recordContent 聊天记录数组--><div v-for"(itemc, indexc) in recordContent" :key"indexc…