案例研究ㅣ中国银联:图技术发展与应用实践

导读

“图”是事物及关联关系的抽象表达,现实世界中存在着大量可以用图来表示的关系数据,而用来存储和计算这些关系数据的就是图数据库。

2023年7月6日下午,由世界人工智能大会组委会办公室指导,创邻科技主办的世界人工智能大会(WAIC2023)-图技术激活数据要素论坛召开,聚焦金融业图技术的场景化落地实践。 创邻科技成立于2016年,致力于赋能用户洞察关联数据,充分挖掘数据资产价值,是国内领先的自研图数据库供应商,其全自主研发的原生分布式高性能图平台Galaxybase已在金融、能源、互联网、公安等行业深耕,标杆客户包含五大行、头部股份制银行、城商行、农商行、电网、腾讯等多家头部客户,在线支撑超万亿点边规模的图应用服务。

会上,中国银联大数据图计算平台负责人潘骏介绍了银联自2019年以来在图技术方面的探索,为金融机构图数据建设提供经验借鉴。

摘要

中国银联是全球三大卡品牌之一。2019年以来,中国银联开始从平台、底图和模型三大方向开展图数据库建设,在技术和业务两侧都实现了深度发展。截至2022年,银联已完成200亿点边规模的统一关系底图设计开发投产,深度应用于户经营、风险控制、业务合规、业务运营等业务场景。

关键发现

中国银联拥有纷繁复杂的海量数据,内部上连收单、商户,下连发卡的四方模式天然构成了一张关系图谱。图技术通过数据的关联分析能够更好地洞察全局数据,实现智能风控;同时还能够有效克服因业务发展需求而带来的计算性能瓶颈、数据挖掘困难等技术挑战;

为避免出现数据的冗余、重复、膨胀等情况,应将相同数据存放在同一个物理位置下,中国银联设计了包含200亿点边关系的统一关系底图,并基于统一关系底图构建场景模型;

目前市场上大多数图数据库产品在AP(图计算)场景和TP(图查询)场景各有侧重,但基于中国银联的实践经验,很多业务场景中既需要AP计算也需要TP查询,需要统一的技术路线解决AP和TP场景的融合问题。

分享专家:潘骏,中国银联大数据图计算平台负责人
作者:沙丘社区分析师团队

01 案例企业

中国银联股份有限公司(以下简称“中国银联”)成立于2002年,是经国务院同意,中国人民银行批准,在合并18家银行卡信息交换中心的基础上,85家机构共同出资成立的中国银行卡联合组织。

2022年,中国银联支付系统的银行卡交易额为162.27亿美元,根据尼尔森报告,2022年中国银联借记卡的交易份额为40.03%,首次超过Visa,成为全球第一大借记卡。

02 业务挑战

面对存在大量关联关系的数据存储和查询场景,传统关系型数据库在业务开展过程中暴露出一定不足,具体来看:

中国银联是世界三大卡品牌之一,通过上连收单、商户,下连发卡的四方模式转接清算业务,这些元素天然构成一张关系图谱。中国银联有着纷繁复杂的的海量数据,如果想进一步分析挖掘业务数据内在的关联关系和价值,促进业务发展,需要能够洞察全局的数据分析手段。传统关系型数据库很难对存在网络拓扑结构的数据进行充分刻画,无法存储,也就无法查询和计算。

银联作为我国的卡组织,具有保障金融安全和维护金融稳定的职责,需要对信用卡可疑交易、洗钱、网络赌博等违法违规行为予以监控和打击,这些行为中往往存在着较为复杂的资金链路及团伙行为。在打击和侦测和黑灰产业的违规行为时,传统关系型数据库使用多表join的方式实现资金链路计算,存在性能瓶颈,并且在对团伙、社区的挖掘在技术上无法实现。
在这里插入图片描述

03 解决方案

图技术的价值在于可视化和简化复杂关系、深度分析和洞察发现、灵活性和可扩展性、解决复杂问题,以及支持智能决策和优化。这些价值使得图技术成为处理和分析复杂数据、支持智能决策和优化的重要工具和方法。

自2019年以来,中国银联多方面推进图技术在银联的发展,包括平台建设以及基于平台的底图建设和模型建设,平台从无到有、底图从十亿扩展到上百亿,模型已有十多个投产,在技术上也不断纵向深入,探索图技术在业务场景的应用。具体来看:
在这里插入图片描述

2019年:开源图计算产品探索。 中国银联基于开源图计算产品,构建了十亿级别持卡人关系图谱并完成持卡人社区、信用卡可疑交易的模型开发。

2020年:商业版图计算产品试点。 完成基于商业版图计算产品的大数据图计算平台开发并与银联的大数据平台打通,构建百亿点边规模的统一关系底图。

2021-2022年:规模化商业版图计算产品。 完成两百亿点边规模的统一关系底图,完成图神经网络、SynchroTrap算法十多个图模型的开发,并深度应用于银联业务运营、业务规范、风险控制、云闪付用户经营等业务场景。

2023年至今:图AI技术深度融合。 随着ChatGPT的诞生,大模型技术快速发展,中国银联正进一步加强图技术与其他人工智能技术的深度融合。

中国银联大数据图计算平台架构分为4层:

最底层为数据源层,依托于银联大数据离线库,当中存有交易数据、用户数据、商户数据、机构数据等,每日批处理PB级的数据量级。通过数据接口层达到图数据层,统一关系底图作为底座,支撑图查询、图规则、图算法、图机器学习、图神经网络等图任务。应用层支持用户经营、风险控制、业务合规、业务运营等业务场景。

在这里插入图片描述

(1)图构建

在设计统一关系底图时,中国银联最初的设想是针对不同业务场景设计不同的小图,但会出现数据的冗余、重复、膨胀等情况,相同的数据应该存放在同一个物理位置下。

因此,中国银联基于交易流水、交易汇总、账户信息等数据源,将重要元素统一在一起,设计了包含200亿点边关系的统一关系底图,包括银行卡、手机号、身份证、云闪付注册用户信息、商户、机构信息、交易信息等。

基于统一关系底图,中国银联构建了包括信用卡可疑交易、反洗钱、网络赌博、信用卡代还、异常交易片段、云闪付轻社交、持卡人社区、商户社区等场景模型。

在这里插入图片描述

(2)图查询

用户关系查询:输入脱敏后的两个手机号,可以查询它们之间的最短路径,如下图所示,左右两个手机号通过6条绑定关系边、4条转账边、2条云闪付用户推荐边建立了联系。

商户关系查询:输入两个商户号,可以查询它们之间的最短路径,如下图所示,左右两个商户(阳光天地商城某商户、长泰商业广场某商户),通过三条短时公共卡边建立了联系,从交易中反映出的从阳光天地到长泰商业广场的最短时间为(677+476+1404)/60=42.6分钟。

在这里插入图片描述

(3)图规则

基于手机号、银行卡、云闪付用户号等身份元素之间的绑定、注册、认证、拉新、转账互动等关系边,中国银联构建十亿级云闪付关系子图,通过图谱相似度规则进行云闪付用户亲密度的计算,进行潜在好友的分析和推荐。

在这里插入图片描述

(4)图算法

持卡人社区发现:基于统一关系底图中的银行卡、手机号、设备号、身份证、云闪付用户号之间的绑定、注册、认证等强关系边,采用联通分量算法形成虚拟社区ID,基于百亿图谱划分出十亿级别的持卡人社区。根据关系边的渠道来源、更新时间、当前状态等进行权重打分、对规模超大的社区使用标签传播算法进行进一步剖分。

可疑交易子图发现:基于每个持卡人社区可以进行可疑交易发现,考虑每个持卡人社区内的信用卡交易和借记卡交易,在极短时间或者跨日在不同商户进行消费交易和代付交易满足一定的时间金额上协同模式,则可能存在可疑卡交易行为。

在这里插入图片描述

(5)图机器学习

中国银联通过构建基于SynchroTrap算法实现业务合规侦测,分成三个主要的步骤:相似度图谱构建、图社区划分和图异常检测。

在这里插入图片描述

首先构建相似度图谱:

定义两张卡如果在相似时间段内在同一商户发生消费,则两张卡具有相似性。计算任意两张卡之间在一段时间内出现相似性行为的商户数、商户+时间段数、交易笔数三个数值作为两张卡间的相似度得分。以卡为顶点,卡与卡之间的相似度商户数若大于等于2则连接一条边,构建相似度图谱。

在这里插入图片描述

其次进行图社区划分:

将卡与卡间边上的相似度涉及商户数、商户+时间段数、交易笔数按一定比例加权并标准化后作为最终边的权重。然后使用Louvain算法进行社区划分,将关系比较紧密的卡片划为一个社区,得到若干个时空行为同步的银行卡社团。

在这里插入图片描述

由于相似度计算出来的社区划分可能存在巧合性,因此需要进行图异常检测。计算每个社区的规模和内部的紧密程度作为描述社区的特征,基于所有社区及其特征,使用孤立森林算法进行异常检测,通过量化评分找到业务上直观理解“规模过大”或“过于紧密”的异常银行卡社区,最终找到异常商户。

在这里插入图片描述

典型异常案例如下,某个异常社区中的两张卡某个月内在百余家商户发生时空上的高度协同,且交易商户序列不断循环,经进一步分析,该异常社区中有类似异常行为的银行卡还有一百多张。因此,将该类交易识别为由机器程序自动化、批量化上送的非真实交易。

在这里插入图片描述

(6)图神经网络

网络赌博存在有标注的收款卡,但如果直接以图的形式散播可能会出现误伤,需要进行一定的判断。中国银联采用三层图神经网络结构,结合少量标注样本及大量未标注样本进行模型的训练,训练过程中只计算标注样本的交叉熵损失,但会不断吸收未标注样本的特征。

在这里插入图片描述

04 未来展望

未来图技术的探索上,中国银联注重如下三个方面:

第一,场景融合。 目前市场上大多数图数据库产品在AP(图计算)场景和TP(图查询)场景各有侧重,但基于中国银联的实践经验,很多业务场景中既需要AP计算也需要TP查询,需要统一的技术路线解决AP和TP场景的融合问题。

第二,金融安全。 金融IT系统对系统本身的安全性、稳定性、可靠性方面要求非常高,发生机器故障时如何保证任务不停、快速恢复等还需解决,图技术目前仍较为创新,还有进一步提升空间。

第三,技术革新。 在人工智能飞速发展的时代,图、机器学习、深度学习、大模型、因果推断等各类技术层出不穷,百花齐放且相互交织,未来将顺应历史的潮流、跟随时代的步伐,在大模型、深度学习、因果推断与图的交叉的领域进行积极探索和落地。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/66430.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

大模型跨界研究:计算精神病学发现,大模型居然比人类更焦虑

夕小瑶科技说 原创作者 | 小戏、iven 纽约时报的记者凯文鲁斯(Kevin Roose)在 2 月份和必应的大模型 Sydney 聊了两个小时天,却惊讶的收到了这样一条回复“我是 Sydney,我爱上了你”。 鲁斯向 Sydney 讲了一些关于荣格“黑暗自我”…

不好意思,都ChatGPT-5了,IDEA 该换了!

因公众号更改推送规则,请点“在看”并加“星标”第一时间获取精彩技术分享 点击关注#互联网架构师公众号,领取架构师全套资料 都在这里 0、2T架构师学习资料干货分 上一篇:ChatGPT研究框架(80页PPT,附下载)…

一日一技:助力大语言模型训练,无压力爬取六百亿网页

这是「进击的Coder」的第 832 篇技术分享 作者:kingname 来源:未闻 Code “ 阅读本文大概需要 8 分钟。 ” ChatGPT 一炮而红,让国内很多公司开始做大语言模型。然后他们很快就遇到了第一个问题,训练数据怎么来。有些公司去买数据…

GoDaddy惨遭网页插入JavaScript脚本

2019独角兽企业重金招聘Python工程师标准>>> Oracle软件工程师Igor Kromin在自己的部落格揭露,他意外发现网域注册与网页托管商GoDaddy,会在没有经过使用者同意之下,将JavaScript脚本注入到托管网站中。Igor Kromin之所以发现GoDa…

围观!有钱人是如何惨遭被绿的?

来 源:费加罗夫人(ID:iiiFigaro) 要想生活过得去 基金难免有点绿 不如我们就直接当一回勇士 直面绿绿的人生 前方高能 请欣赏迷人的绿色风景 基金能涨多少 就看各位爸爸的在看有多少了???? *关于作者:费加罗夫人…

阿里内网惨遭开源的“顶级Nginx完全开发指南”

Nginx是著名的Web服务器,性能优异,运行效率远超传统的 Apache、Tomcat,广泛应用于国内外诸多顶级互联网公司。 Nginx功能强大,架构复杂,学习、维护和开发的门槛较高。为了帮助大家跨越这一障碍,小编就给大家分享一份据说是华为大…

免费换电池还倒塞用户200,iPhone惨遭“耐用”反噬

多年来 iPhone 最为诟病的几个缺点之一肯定少不了电池。 在 Android 已经普及4、5000mAh 大电池加快充组合的情况下,iPhone 仅有 Pro Max(Plus)勉强及格。 更难受的是今年3月,官方换电池还迎来了幅度不小的涨价。 苹果这是在建议我…

一经推出就惨遭GitHub哄抢,什么SQL优化笔记如此出众?

收获不止SQL的优化,抓住SQL的本质 收获,不止SQL优化,真正实用好工具。从数据库体系结构、表和索引设计、高效SQL写法、高级SQL语法、多种优化工具等知识,甚至还得分析业务特点,以及了解优化器的缺点都提供了很好的方法…

android8.0索尼z5,Z5 惨遭抛弃?索尼公布 Android 8.0 升级机型

索尼在 IFA 上发布了预搭载 Android 8.0 奥利奥的 Xperia XZ1/XZ1 Compact 后,同时放出了可以升级 Android O 的具体机型名单,我们来看一下。Xperia X Xperia X Performance Xperia XZ Xperia X Compact Xperia XZ Premium Xperia XZs Xperia XA1 Xperia…

Windows Phone惨遭微软放弃

微软在电脑操作系统上的用户保有量一直处于遥遥领先的地位,特别是最新的Windows 10系统,一经推出,市场表现就比较好,但相比起来,微软的手机操作系统Windows Phone就被贴上“差等生”的标签了。 自微软2013年9月2日收购…

腾讯申请元宇宙相关商标,惨遭被驳回

根据企查查信息显示:最近,腾讯音乐娱乐科技(深圳)有限公司申请的“律动元宇宙”商标遭到驳回,目前商标状态为等待驳回复审,商标申请日期为 2021 年 9 月。 除了腾讯,此前多家公司申请元宇宙相关…

mate10 Android 功耗,华为mate10续航评测比拼惨遭完爆

国行华为mate10正式发布,被花粉们最关心的价格十分感人,售价3899元起!除了价格还有最关心的就是电池续航,据了解这次华为mate10和mate10 pro电池容量都是4000毫安。就在国行mate10发布后,国外就有测评达人将一加5、三星…

iPhone14 全系配置曝光,性能惨遭阉割

产业分析师郭明錤给出了最新 iPhone14 的预测报告,最值得注意的是配置方面。 郭明錤认为,在 iPhone14 系列中,仅有两款 iPhone14 Pro 会升级到 A16 处理器,而另外两款 iPhone14 将继续采用 A15 处理器(iPhone13同款&am…

一位姐姐的朋友惨遭前同事诈骗

请注意,现在的骗子花样越来越多了,所有向你所要个人信息,提供借贷的,都不要信任。 待我慢慢到来,就是这位姐姐的朋友,跟她以前的男同事发生的一起贷款,征信,诈骗的事件 那前同事让这…

亚马逊App换logo,惨遭全网黑

西雅图IT圈:seattleit 【今日作者】 Powerball选号机 身体和灵魂总有一个要 走在买PowerBall的路上 不知道有没有小伙伴注意到 最近自己手机上出现一了个 不大眼熟的App logo 这个App就是亚马逊本逊 过去许多年来它的图标 一直是个购物推车 改版前后的两个logo的样子…

某程序员哀叹:提出离职后被公司挽留,千万别留!自己拒绝offer留下来,却惨遭边缘化!...

‍‍ ‍‍提了离职被公司挽留,该不该留? 这大概是许多职场人都会遇到的问题,一位程序员用亲身经历告诉大家:千万别留! 楼主提离职后被挽留,拒了offer留下来,没想到领导态度变得很差,…

druid的java占位符条件查询,惨遭DruidDataSource和Mybatis暗算,导致OOM

先遭DruidDataSource袭击 事发 一个平凡的工作日,我像往常一样完成产品提出的需求的业务代码,突然收到了监控平台发出的告警信息。本以为又是一些业务上的bug导致的报错,一看报错发现日志写着java.lang.OutOfMemoryError: Java heap space。 …

上班时间做“副业”被抓,程序员惨遭解雇,还要退还所有工资

大家好,我是校长。 01 做副业被抓 前几天看到 CSDN 报道的一篇新闻。有一个程序员在一个月内两次未能在截止期限之前顺利完成工作,然后呢,主管很生气,很恼火。由于团队项目不能按时完成的话,团队其他的成员的绩效也会跟…

惨遭恶搞的微软与 Github

来源 | 公众号:程序猿 恭喜 GitHub 正式加入 Office 365 大家庭! 怎样?有其他开发者吗? 这简直是神预言 GitHub被收购后,GitLab 露出了欣慰的表情 很遗憾,现在不是了 我们的时代要来了 透过屏幕&#xff0c…

惨遭 openssl 不同版本毒打的一天

事情是这样的,是由一个加密的sql文件引发的惨案。 我被这些报错信息毒打了差不多8个小时,然后终于找到了答案,之所以写下来这篇文章,希望能帮到与我遭受同样痛苦的人。 先来看下这个文件: test.des3 里面是个sql文件 我的解密环境…