通过关系网络进行欺诈检测和欺诈团伙发现

近年来搞金融诈骗的越来越厉害啦,除了团伙化、组织化的趋势,有的居然每个月还有固定的推广费呢。那么,如何从数据的角度去鉴别诈骗团伙呢?以下“朝阳35处”出品的这篇文章,介绍了如何利用关系网络,通过无监督学习算法,挖掘诈骗团伙的特征,从而识别诈骗团伙的反欺诈技术。

从常见的两种反欺诈模型说起

金融欺诈,一般是指采用虚构事实或者隐瞒事实真相的方法,骗取公私财物或者金融机构信用的犯罪形式。几乎所有涉及金钱和服务的商业模式都会受到欺诈的攻击。通信、保险、贷款和信用卡申请是一些最容易出现金融欺诈的领域。

目前并没有一个通用的反欺诈框架可以识别并防范所有形式的欺诈。在每一个领域,金融欺诈都有不同的形式和特征,因而,一个应用于信用卡申请的反欺诈模型并不能直接应用于保险领域。

一种最常用的反欺诈模型,是通过建立一个规则引擎或者机器学习模型来描述欺诈行为的特征,从而将欺诈行为从正常操作中区别开来。在反欺诈规则引擎中,这些甄别欺诈行为的规则依赖于从大量历史案例中总结出来的“专家知识”。例如,如果一个人申请贷款所用的手机号与其常用的手机号不一致,则这笔申请的欺诈风险就被认定稍高一些。

另一种则是反欺诈机器学习模型,它指的是采用数据挖掘方法,基于历史数据(即,已知的欺诈申请和正常申请的数据)而建立的分类模型。这类模型的训练往往需要大量数据。

两者有何区别?上面提到的规则引擎可以看作是一种特殊的最简单的机器学习模型:决策树模型。决策树模型具有极好的可解释性,因而,即使数据量不足,也可以通过专家知识来补全规则集。而广义上的反欺诈机器学习模型往往指的是采用更复杂的算法建立的模型(如随即森林、深度学习等)。这些模型的训练需要大量的历史数据并且其结果通常很难解读。

不论是规则引擎还是机器学习模型,都是从历史案例中发现金融欺诈时重复出现的个体行为模式。这个方法在很多领域被证明为有效(例如,用于审核个人还款能力意愿的信用评分模型),然而在解决金融欺诈问题时表现一般, 原因有两个

其一,金融欺诈的模式随时间不断演化和发展,而不仅仅是重复出现在历史案例中的个体行为模式;

其二,随着反欺诈技术的进步,金融欺诈越来越难以由个体完成,而是需要通过团伙有组织的进行。

关系网络提供了全新的反欺诈分析角度

基于上述金融欺诈发生的两个特点,采用关系网络进行反欺诈检测变得越来越重要。关系网据指的是一种基于图的数据结构,由节点和边组成,如下图1所示。每个节点代表一个个体,每条边为个体与个体之间的关系。关系网络把不同的个体按照其关系连接在一起,从而提供了从“关系”的角度分析问题的能力。这更有利于从正常行为中识别出到异常的团伙欺诈行为。

图1

关系网络的结构取决于如何定义个体与个体之间的关系。如果人与人存在“关系”指的是彼此认识,那么最终的网络结构将是一个无标度网络,其典型特征是在网络中的大部分节点只和很少节点连接,而有极少的节点与非常多的节点连接。如果将“关系”定义为亲属关系,则最终的网络结构将是一个个非连通的子图,每个子图代表一个家族。

在解决实际问题的时候,关系的定义需要依据业务需求并且常常极为复杂。例如,某市公安局为了摸清犯罪嫌疑人的团伙,定义了24种人与人之间的关系。在反欺诈领域,如何定义“关系”更是需要保密,这是为了避免欺诈团伙采取针对性地防范策略,本文对这部分内容就不做过多的说明了。

图2展示了由从某一线城市抽样的20,000余条贷款申请数据所构成的关系网络。因为所定义的“关系”均为强关系,所以图的结构不是一个连通的无标度网络,而是由一个个孤立的“团”组成的网络。其中,大部分的“团”由两个个体组成,他们之间通过某种关系相连。个别的“团”是由几十甚至上百个体组成的具有复杂结构的网络。

图2

网络分析在反欺诈中的独道运用

接下来,我们来讨论关系网络在反欺诈中的应用场景,主要分为监督模型和无监督模型两种情况。所谓的监督模型,指的是在已知“好”和“坏”标签的前提下,尝试从历史数据中,挖掘出欺诈团伙的典型特征和行为模式,从而能够有效的识别出金融欺诈团伙。监督模型虽然在预测准确性上有不错的表现,但是,实际情况中,“好”和“坏”的标签往往很难得到。因此,在没有标签信息时,无监督模型分析也变得尤为重要。当然,本文提到的分析方法只是关系网络在反欺诈场景中的冰山一角,更多的算法模型需要结合实际业务需求进行设计和开发。

典型运用一:异常检测

异常检测是在无监督模型学习中比较有代表性的方法,即在数据中找出具有异常性质的点或团体。在检测欺诈团体的情况下,异常检测被认为是比较有效果的。以贷款申请为例,许多团伙会选择共享一些申请信息,如提供同一个皮包公司的地址作为公司信息,或者联系人电话重合程度高。因此,在关系网络中,大多数的正常的个体应该是独立的节点,或者与另一个节点组成规模为二的团体(在这种情况下,多数可能为家人或亲友关系)。若出现三个点以上甚至十几个点关系密切时,则这些团体可被归为异常。上文中的20,000笔贷款申请组成的关系网络中含有300多个团体,团体规模分布由下图所示,其中大部分团体的规模较小,当团体规模超过某一阈值时,其可被认为异常。

图3

我们对团体规模大小和欺诈度的相关性进行了分析。其中,欺诈度的定义为:欺诈度=团体中欺诈申请者的数目/团体中申请者总数。我们通过行业内的网贷黑名单数据来判定某一个体是否为欺诈申请者。相关性结果如下图所示,其中,横坐标表示团体规模大小,纵坐标表示欺诈度。可以看出,当团伙只有两个人时,欺诈度的中位数是0,而当规模变大时,欺诈度陡然增加。当团体规模大小为三人时,欺诈度最高,达到30%,其次为规模超过六人的团体。

图4

异常检测并不能够明确的给出一个团体是否欺诈,但是可以通过这种方法排查出可疑的团伙,从而进行调查。该算法并不是基于历史数据挖掘隐藏的欺诈模式,因而常常能够有效地识别出新出现的未曾记录的欺诈行为。

典型运用二:团体分群

分群是一种常常被用于客户精准营销的无监督聚类算法,根据客户各个维度的信息,将其归并于某一特定群组,并对不同群组的客户采取差异化的营销策略。除了用于精准营销,分群算法还可以用于离群行为的检测,即,检测哪些客户的行为与同一群体的其他客户不同。这些离群行为或是预示着这些客户处于某些特殊事件情境中,或是预示着欺诈行为。这一部分主要和前文提到的异常检测相关,这里不再赘述。

与客户分群不同,团体分群不仅依赖于团体中每个个体的特征,还依赖于整个团体作为一个整体的特征。这一方面使得团体分群拥有足够丰富的数据维度,另一方面也增加了问题的复杂性。一般来说,团体的特征可以分为 (1)和网络结构相关的团伙拓扑特征以及(2)和个体信息相关的团伙实体特征这两个大的维度。其中,团体的拓扑特征包括团的节点的数量、平均自由度、团体中节点间最长的最短路径等;团的实体特征包括团中男女比例、最大年龄差,平均年龄、团体总资产、团体总负债等。

团体分群即是对给定网络中的团体依据以上特征进行区分,从而挖掘有潜在欺诈风险的团体的方法。举一个简单的例子,以团体中的男性占比和年龄差者两个特征来对网络中的团体进行分群。作为以家人关系而形成的团体,一般由三人形成,多为两男一女或两女一男,男性占比33%或67%,并且年龄差一般为20-30岁。具有这种性质的团体一般为家庭团体,因而风险性较小。但对于人数较多,男性占比高,而且年龄差较小的团体,则有可能是欺诈团伙,需要进一步调查。

实际问题中,描述一个团伙的数据维度非常丰富,有时可多达数十个,这就对分群造成了困难(在高维空间中,寻找点的集群并不是一件容易的事,俗称“维度灾难”)。一个常用的解决方法是先对高维数据进行降维,然后再在低维空间中进行聚类。图5是对一组数据中由贷款申请构成的300多个团体进行分群的结果。在这个分析中,我们用男女比例、最大年龄差、有车个体占比、有房个体占比、有贷款个体占比和买理财产品个体占比这六个维度对团伙进行描述。我们采用t-SNE(t-Distributed Stochastic Neighbor Embedding)算法对高维数据进行降维和DBSCAN聚类算法对低维数据进行分群。由图5可见,在低维空间中,确实存在明显分隔的集群,这说明团体分群在实际操作中的可行性。

图5

(每一个点代表一个团体,上述数据可以分为八个集群)

我们对图5中每一个集群进行分析。集群1中的团体男女比例1:1,年龄相差0-5岁,集群中无人有贷款或买理财产品。这个集群很可能描述了由年轻情侣构成的团体。对于集群2中的团伙,男女比例2:1,年龄相差15-30岁,每个团伙中平均有一人有车和房,并且背有贷款,这个集群很可能描述了由父母子女构成的“团伙”。按照同样的方法可以对图5每一个集群进行分析,这里不一一赘述。尽管我们没有“好”、“坏”标签,无法得知哪个集群含有大量欺诈团伙,但是我们可以依据经验和专家知识筛选出可疑的集群,为进一步调查做好准备。例如集群6中全部由男性“团伙”构成,年龄相差0-10岁,团伙中大量个体都背有贷款。这个集群的欺诈嫌疑就比其他集群要高一些,下一步就可以继续对其进行进一步的调查。

本文利用关系网络结合无监督学习算法,对反欺诈中的团伙作案进行了简单的研究。随着数据的积累和金融诈骗模式的升级,关系网络在反欺诈中的作用将变得越来越重要。后续文章将介绍应用监督学习算法结合关系网络数据预测欺诈团伙的实例,敬请期待!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/43794.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

新的RA Group勒索软件针对美国组织进行双重勒索攻击

一个名为“RA Group”的新勒索软件组织针对美国和韩国的制药、保险、财富管理和制造公司。 新的勒索软件行动始于 2023 年 4 月,当时他们在暗网上启动了一个数据泄露站点,以发布受害者的详细信息和被盗数据,采用了大多数勒索软件团伙使用的典…

超千万安卓用户安装某诈骗APP、英国勒索软件攻击数量翻倍|10月27日全球网络安全热点

安全资讯报告 攻击者劫持Craigslist电子邮件传播恶意软件 Craigslist内部电子邮件系统本月被攻击者劫持以传递令人信服的消息,最终目的是避免Microsoft Office安全控制来传递恶意软件。 这些电子邮件从真实的Craigslist IP地址发送,通知用户他们发布的广…

深入诈骗团队

最近接到任务,调查一个诈骗团伙 上面有一个注册接口,直接先注册一个用户看看他们怎么诈骗的 好家伙,用户赚了8个亿,充值过的用户直呼内行。这种站点一看就是那种诈骗团伙的杀猪盘,使用的那种tp5的框架一键搭建&#xf…

【安全资讯】网络犯罪集团通过COVID-19诈骗等手段获利5500万美元

作者|星辰大海来源|嘶吼网发布时间|2021-02-24 美国执法部门逮捕了一家总部位于加纳的网络犯罪集团的6名 “头目”,据称他们最早曾在2013年就发起了一系列的金融诈骗骗局,其中包括恋爱诈骗、商业电子邮件泄露攻击等多种…

防不胜防,10分钟就被AI骗走430万!真实诈骗案震惊全网

来源:量子位 本文为2891字,建议阅读7分钟 本文介绍AI诈骗案件背后的技术和机制。 防不胜防,10分钟就被AI骗走430万! 这是这两天震惊全网的真实诈骗案件。 据包头警方发布,一公司老板接到朋友的微信视频电话&#xff0c…

当诈骗团伙撞上网络安全研究员,会发生什么?

勤恳好学的小凯,工作之余报名了一个培训。 这天,他接到电话,对方说:因为疫情原因,培训不得不取消,现在我们正在统一退款给学员,麻烦你加一下我们的退款群,给你安排退款。 小凯心想…

记一次勒索病毒中招 (赎金已交)

从没想过自己会中勒索病毒 因为用电脑几十年, 自己也算比较懂电脑的, 使用习惯一直都很好 某天起床, 打开E盘, 一眼就发现自己中了勒索病毒 随即马上开始根据扩展名进行research, 看看有没有救 很容易能找到病毒名, 然后得到以下情报 1 很多网站会提供杀毒软件, 和数据恢复软件…

伊朗称以色列和美国可能是加油站网络攻击的幕后黑手、新型勒索软件或成为最大的新兴风险|11月1日全球网络安全热点

安全资讯报告 美国TrickBot恶意软件开发者或将面临60年监禁 一名据信是TrickBot恶意软件开发团队成员的俄罗斯国民已被引渡到美国,目前面临可能使他入狱60年的指控。 起诉书称,38岁的Vladimir Dunaev,也被称为FFX,是一名恶意软件开…

在其他国家被揭穿骗子又盯上非洲? 这几个骗子公司可把非洲人民坑苦了……...

来源 | Bitcoin 编译 | Guoxi 责编 | Carol 出品 | 区块链大本营(blockchain_camp) 网上有这么一句话来形容投资:“你看中的是别人的收益,别人看中的是你的本金。”的确,投资一直是一场富贵险中求的赌博,加…

当程序员遇上电信诈骗犯 黑掉对方电脑!成功反制

来源:站长之家 作者:站长之家 电信诈骗手段花样百出,让许多普通民众防不胜防。日前,一程序员遇上电信诈骗犯后,却机智设下陷阱,让诈骗分子栽了跟斗。不得不说这个程序员套路太深,下面就来一起看…

一个有趣的英文文献翻译工具——CopyTranslator

Github链接:https://github.com/elliottzheng/CopyTranslator/blob/master/README_zh.md 百度网盘下载地址:https://pan.baidu.com/s/1mySoacl-V6tGE2xCH79wyQ#list/path%2F 在做英文文献阅读过程中,有时候遇到长段文字难以去理解&#xff…

写论文时如何翻译外文文献?

搞科研就是集所有既有成果为大成者。 想要论文写得好,一定要有丰富的知识储备和对该领域专业技能的熟练掌握,这其中不可能少的了外文文献的知识储备。 外文文献的阅读十分重要。那么阅读的前提是什么呢?翻译! 外文文献翻译是对…

如何快速的翻译并阅读外文文献

本文适用一些想要快速了解文献内容的童鞋。在进行查找文献时,不可避免要查找外文文献,其中以英文居多,当然也有可能涉及到其他语言。像楼主这样学了十几年英语,然而听说读写弱鸡的人,面对英语时,会头痛。要是查到其他语言的文献时,估计要死的心都有了。然而不用害怕,在…

php的外文参考文献_php英文文献翻译及参考文献

php英文文献翻译及参考文献 php 英文文献翻译及参考文献 PHP is a scripting language originally designed for producing dynamic web pages. It has evolved to include a command line interface capability and can be used in standalone graphical applications. While…

有哪些将英文文献翻译为中文的网站或软件?

你的英语怎么样呢?你是否看到英文资料就头疼呢?是否经常用翻译工具翻译呢?相信很多小伙伴拿到全是英文的文档资料,脑袋就大了,最常见的操作就是一段一段的复制到翻译工具翻译。今天我们要来分享的两个翻译工具就是可以…

英文文献翻译神器SCITranslate V17--一键翻译整篇文献

SCITranslate是一款可以对英文文章进行全文翻译的神器,内置多引擎翻译,各类专业的复杂词汇都可以翻译出来,医学生也可以放心使用。而且通过SCITranslate翻译出来的文章语句简练、通顺,软件支持人工翻译,进一步提升论文…

英文文献翻译软件,你知道哪些呢?

点击上方“3D视觉工坊”,选择“星标” 干货第一时间送达 https://www.zhihu.com/question/348037868/answer/1103006023 申明:本文仅做学术分享,侵删。 作者:独角兽 https://www.zhihu.com/question/348037868/answer/965847620 相…

精选3款论文翻译神器,直接翻译PDF全文英文文献!

全文翻译神器 SCI Translate 17.0 SCI Translate 是来自国外的一款方便实用,功能强大的论文翻译软件。只需轻轻框选,就可以实现段落甚至整页的快速精准翻译!! 权威例句翻译:其中SCI双语论文例句40万,医学单…

哪些软件翻译英文文献比较准确呢?

来自: https://www.zhihu.com/question/348037868/answer/1103006023 编辑:王萌 澳门城市大学(深度学习冲鸭公众号) 本文仅作学术分享,若侵权,请联系后台删文处理 一 作者:量子位 https://www.zhihu.com/question/3480…

非常简单的语音朗读功能

不知道大家有没有发现,在System.Speech.Synthesis命名空间下有一个SpeechSynthesizer类,它可以指定的文本内容进行语音朗读,而且,这个类用起来也严重简单,简单到什么程度? 试试看。 首先,新建一个项目&am…