【洞见观点】金融领域隐私计算平台间的互联互通技术实践与研究

目录

互联互通的定义

互联互通的原则

互联互通演进史

第一阶段:业务驱动不同厂商的隐私计算平台一对一对接

第二阶段:厂商自定义自己的互通规范

第三阶段:形成行业统一的标准规范

互联互通的实现路径

第一层次:管理系统互通

1)节点发现

2)资源管理

第二层次:算法协议互通

1)核心算法的设计原理不同

2)支撑算法运行的功能组件的差异化

第三层次:计算原语互通

互联互通的展望


背景介绍:随着隐私计算技术的发展,越来越多的技术服务厂商研发了自己的隐私计算平台,或服务于自有生态,或服务于金融机构,或服务于政府机构,将原本独立存在的数据孤岛连接了起来,实现了“数据的可用而不可见”。但是因为不同的隐私计算平台基于自有知识产权的算法原理和系统设计实现,且目前闭源的平台居多,平台之间原生无法完成信息的交互,将“数据孤岛”变成了“数据群岛”。以金融机构为例,作为数据的应用机构,往往面对着和不同的数据提供机构合作时,需要部署不同隐私计算平台的情况,存在着严重的系统建设和运营成本浪费,因此“互联互通”成为了隐私计算在金融领域应用正在面临的新挑战。

为了解决金融领域隐私计算平台互通性的问题,北京金融科技产业联盟、中国信通院等标准化组织正在积极推动互联互通的标准建设,本文将从技术视角解读金融领域隐私计算跨平台互联互通的演进历程和未来展望。

互联互通的定义

隐私计算常用技术方案包括:联邦学习、安全多方计算、可信执行环境、同态加密等,不同的技术方案之间因为技术实现的底层原理和应用场景的不同,互通的技术难度较大,所以业界共识的“互联互通”一般而言,指的是同类技术方案之间的“互联互通”。

隐私计算平台的互联互通指基于不同设计原理和功能实现的隐私计算平台之间协同完成某一项隐私计算任务的能力,具体指不同隐私计算平台间通过统一规范的系统接口、算法协议、操作流程等实现数据资源和计算能力的交互与协同,解决使用不同隐私计算平台的数据提供方和数据应用方之间的协作问题,实现资源与价值的跨平台互联互通。

互联互通的原则

隐私计算跨平台互联互通以求同存异为原则,关注跨平台协同能力基础环节的标准化,也保留个性化和可扩展性。

对于通信协议、资源管理、任务调度、算法协同等互联互通的基础环节形成统一共识,提出标准化的技术规范;

对于具体的算法实现和平台个性化服务功能等不同平台间的差异化设计支持自定义扩展。

互联互通演进史

随着隐私计算技术的演进,隐私计算平台互联互通的发展过程分为三个阶段

第一阶段:业务驱动不同厂商的隐私计算平台一对一对接

大型的数据提供机构已有或已在研发自己的隐私计算平台,需要应用其数据的机构客户会被要求部署和使用数据提供方的隐私计算平台。

大型的数据应用机构,如:银行、保险等金融机构,不可能对接一份外部数据就搭建一套对方提供的平台,这在金融机构内部的流程和业务对接都是不小的工作量,难以实施落地。

另外,比如:银行总行和不同的省分机构、业务中心,可能分别部署了不同隐私计算厂商的平台,在银行内部的信息共享也会碰到互联互通的需求。

在这种情况下,基本上是针对某个具体的业务,对应的隐私计算厂商一对一来进行技术对接,这是一个互相适配的过程,同时需要一致的节点管理、资源管理,以及具体所采用算法的流程设计。

在业务驱动下,以“通“为目的的一对一平台互通是可以实现的。双方挑选相对标准且双方都认可的算法,而不需要是一个包含自己很多独特优化特点的算法,以一方为主导进行对接,从业务推进上来讲,这是一种周期比较短、且可落地的实现方式。

第二阶段:厂商自定义自己的互通规范

随着业务规模的发展,隐私计算厂商在服务金融客户的过程中会碰到更多的互通需求,同时也随着第一阶段的实际落地,厂商会定义自己的互通规范或者互通方法,明确如果要和自己的平台对接,需要采用什么样的通信协议、报文封装和加密算法,以及算法的流程如何实现和对接,形成一份互通文档,也包含一些方便对接的工具类或SDK包。但是由厂商自己声明的互通规范,无法形成行业标准和约束,需要有商业合作的推动、合作方的主动配合才能够实现互联互通

第三阶段:形成行业统一的标准规范

目前隐私计算平台的互联互通处在第三个阶段,隐私计算厂商连接了不同的“数据孤岛”,但是因为彼此之间无法直接互通,又形成了“数据群岛”,不同的隐私计算厂商同时在做互通对接,将彼此构建的数据生态打通,在数据的群岛之间又架设了无数的桥梁。

图片

图1:数据孤岛-数据群岛-重复互联

数据群岛的形成有商业的原因,也有技术的原因,因为每个群岛存在自己的生态,也有为自己生态来定制化的自有算法或工程优化,它的存在是合理的。

但是互联互通从本质上来讲,是一个系统对接的过程,可能会有一些技术上精巧的设计,但是最终目的是一个“通”字,所以需要的是一个统一的标准指引,让大家能够参考实现。

目前金融行业的标准制定组织北京金融科技产业联盟也在组织金融行业系列标准的起草和撰写,引导和推动隐私计算行业的良性发展。

统一的标准,必定会带来一些硬性的定义,比如:通信的协议,报文的格式,如果这里都没有统一的定义,互通基本上是没办法落地的,当然这里必须要采用行业通用的实现方式,并且圈出建议隐私计算厂商实现的方式,这样让不同的隐私计算平台可以在统一的信道上完成“对话”。如果要实现这个目标,必然需要不同的厂商来做改造和配合,但是这是一个有利于行业良性发展、非常值得做的工作。

标准的统一也不希望抹除所有的个性,比如:自研的加密组件、独特的算法实现,包含自己独有的知识产权,不期望公开的信息,这时就需要围绕“通”的目标,提供组件化的定义,允许组件内部是黑盒的方式,预先定义输入和输出,屏蔽内部的实现细节。

互联互通的实现路径

从隐私计算平台的系统架构视角由上到下,从技术落地的视角由易到难,隐私计算平台互联互通的实现方式分为三个层次

图片

图2:互联互通实现层次

第一层次:管理系统互通

管理系统互通指不同的隐私计算平台可以在应用层完成系统的管理功能互通,如:节点发现、资源管理等,完成在不同的平台之间业务层的互联互通。

1)节点发现

不同的隐私计算平台之间可以通过预先定义的节点发现协议进行彼此节点的互认,可以建立节点间的网络连接,确认彼此身份,并在此基础之上实现机构之间合作关系的建立、暂停和结束等完整业务流程。

2)资源管理

不同的隐私计算平台之间通过资源管理接口的统一定义和对接,实现对金融领域数据资源的命名空间统一定义、唯一确定,为计算任务的执行完成输入数据资源的标准化定义。

不同的隐私计算平台基于各自的算法原理和系统设计实现,平台之间原生无法完成信息的交互,因此需要首先约定不同隐私计算平台之间的通信规范,在此基础之上定义报文格式、参数内容等,才能完成后续的消息内容交互、协作指令执行等流程。

第二层次:算法协议互通

不同的隐私计算平台之间的差异主要在两个部分:

1)核心算法的设计原理不同

隐私计算技术服务厂商自己的核心知识产权,不同的算法设计影响到数据计算的逻辑、数据交互的流程,正是算法的设计原理不同造成了不同的隐私计算平台之间无法互通。

2)支撑算法运行的功能组件的差异化

包括:通信模块、加密组件、资源管理、任务管理、模型管理、节点管理、授权管理等在内的诸多功能组件均是不同的技术服务厂商结合自身的技术积累和场景应用而实现的,存在很大的差异化。

从“互联互通“的架构设计角度上看,支撑算法运行的功能组件偏重于工程的实现,可以通过标准规范的方式进行逐步的统一,如:

a. 采用统一的通信协议:使用HTTPS进行隐私计算信令消息的同步,使用GRPCS进行数据内容的交互;

b. 采用统一的加密组件:使用预先约定好的高强度加密算法,使用满足安全性要求的随机数生成机制;

c. 采用统一的资源定义:使用统一的命名空间方式来定义不同数据集的标识,做到全局的唯一;

d. 采用统一的任务调度对隐私计算任务定义统一的任务管理原语,控制任务的全生命周期运行;

e. 采用统一的模型格式定义算法的模型封装格式,做到模型可以在不同隐私计算平台之间迁移部署,应用于批量预测和在线推理服务;

f. 采用统一的节点管理:规定统一的节点发现协议,节点认证机制,如:机构证书、机构签名等;

g. 采用统一的授权管理:制定统一的资源授权申请流程,以及授权操作类别、授权周期、授权次数等。

在完成功能组件的标准化规范之后,不同的隐私计算平台可以形成可容纳不同“算法插件”的“统一外部功能框架”。

图片

图3:统一外部功能框架

关于“核心算法”的统一,存在两种方式

1)对于具体的某一种算法,可以基于算法原理的论文在技术服务厂商之间形成一种标准的设计方式,即此种算法的设计是公开透明的,不同的厂商可以采用自己的技术栈实现计算的逻辑、交互的流程,完成不同隐私计算平台的互通。

图片

图4:各参与方自研标准算法插件完成互通

2)类似于预先标准化功能组件,把“核心算法”看做一个黑盒,对算法本身的设计不做定义,而对算法的基本信息、输入、输出规范定义:

a. 算法基本信息:算法名称、算法原理说明文档或论文引用、算法必需的参与方角色、参数配置模板;

b. 算法输入:参与方信息(算法执行需要的参与方访问信息:IP地址、端口等,及对应的参与方角色信息),参与数据集(数据方角色参与计算的数据集标识信息),参数配置(根据“参数配置模板”生成的算法配置信息);

c. 算法输出:报告信息(结果模型的评估指标、数据贡献度、结果数据集的统计分布信息等),结果模型(算法训练迭代得出的模型结果、结果数据集、算法输出的中间数据结果),日志信息(训练过程中的重要步骤的日志信息,便于调试和问题追踪)。

在算法的周边信息定义完成之后,算法可以通过“算法插件”的形式由不同的技术服务厂商发布,在满足安全认证和授权要求的前提下,插件化集成到对方的隐私计算平台,进行同构化的算法插件之间的互联互通。

图片

图5:一方自研算法组件部署到另一方完成互通

第三层次:计算原语互通

不同的隐私计算平台往往采用了不同的算法或协议实现方式,如:安全多方计算平台可能采用了秘密分享协议、不经意传输、混淆电路等不同的技术实现路径,联邦学习平台对算法的拆解和实现方式不同,采用的同态加密算法或多方计算方式不同等。

但是无论哪种隐私计算技术实现方案,都可以将算法或协议进行最小粒度的计算原语分解,以安全多方计算采用的ABY3秘密分享协议为例,互通参与方需要参照该协议原理的流程定义,进行原始数据的密文化拆分,在密文基础上进行加密计算算子的实现。

参照协议原理,我们可以分别在每个步骤中,实现计算原语的抽象和定义,在不同的隐私计算平台之间对计算原语进行各自的实现,在原语层次实现互联互通,继而再基于底层计算原语的中层算法实现、上层应用服务实现平台的互联互通。

互联互通的展望

随着隐私计算行业互通系列标准的制定落地,隐私计算跨平台的对接必然会推动隐私计算平台的百花齐放,在服务金融行业数字化转型提升金融行业资源配置效率强化风险管控能力等方面有效促进金融业务的创新发展,助力于发展基于数据驱动的经济和商业模式,反向刺激数据要素的生产,推动数据的开放和应用,完成金融行业数字化和智能化的数据新基建。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/66303.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

港科资讯 | 香港科技大学经济学博士2023招生夏令营

为了让有志于在经济学领域继续深造的学生与我们的师生互动,感受科大校园的学习、研究和生活环境,香港科技大学(科大)商学院经济学博士项目将于今夏举办为期两天的招生夏令营,我们欢迎广大优秀学子踊跃申请。 优秀的参与…

教授专栏37 | 黄昊: 发展虚拟资产, 须监管教育并行

文 / 黄昊教授 全球第二大虚拟货币交易所FTX早前 「爆煲」 申请破产,其创办人兼行政总裁SamBankman-Fried (SBF) 辞任行政总裁。FTX于2019年成立后,先后共获10多亿美元融资,当中不乏知名机构,包括红杉资本、软银、淡马锡及贝莱德等…

FinTech活动 | “金融科技创新应用与发展”研讨会25日在金融街举办

8月25日,由北京金融街服务局、国家金融与发展实验室金融科技研究中心主办,金融科技50人论坛、神州信息协办,中国人民大学国家发展与战略研究院、中国人民大学国际货币研究所、浙江大学互联网金融研究院、中关村互联网金融研究院、深圳市金融科…

香港科技大学有什么好的专业?

香港科技大学创办于1991年10月,是一所坐落于香港清水湾半岛的公立研究型大学。大学设有4个学院:工学院、理学院、人文社会科学学院和工商管理学院,还设有2个研究院:香港科技大学公共政策和行政研究生院和香港科技大学霍英东研究院…

达观数据荣获长三角金融科技研究院和《金融电子化》2021中国金融科技领军企业

近日,由长三角金融科技研究院和《金融电子化》杂志社联合主办的“2022金融科技创新与应用外滩高峰论坛暨第二届长三角金融科技创新与应用全球大赛总决赛”中,达观数据凭借数字化信贷办公机器人项目在此次比赛中脱颖而出,荣获“2021中国金融科…

港科招生 | 香港科大DBA(工商管理博士)项目介绍和科研成果分享

香港科大DBA(工商管理博士) 项目介绍和科研成果分享 科技会减少我们对官方数据的依赖吗? 在追求卓越研究和创新思维的抱负下,香港科技大学商学院延续其 30 年的卓越历史,坚定不移地致力于学术独创性和严谨的科研项目。…

【金融科技前沿】【长文】金融监管、监管科技以及银行业监管报送概述

上周金融科技前沿课程的主题是《监管科技》,韩海燕老师从金融监管引入,介绍了我国的金融监管体系,接着进入监管科技的详细讲解。我觉得最主要的是弄清楚监管科技的定义,以及在实际的银行业应用场景中具体的运作流程是怎么样的。韩…

毗邻华尔街,哥伦比亚大学、纽约大学如何将金融科技的理论与实践结合?

互联网技术正在深刻变革我们的生活,其中,自然少不了金融这一与我们生活息息相关的领域。互联网技术不仅能够解决金融行业的在传统融资、清算、投资管理、借贷、支付、保险等领域的原有挑战,还能极大发挥出金融数据的价值。 我们把这个互联网技…

金融领域7大数据科学案例

金融领域7大数据科学案例 1 金融领域有哪些典型数据问题? 2 金融领域应用那些数据科学方法? 近年来,数据科学和机器学习应对一系列主要金融任务的能力已成为一个特别重要的问题。 公司希望知道更多技术带来的改进以及他们如何重塑业务战略。…

报道丨香港科技大学今年增设金融科技专业!

移动支付、电子货币、区块链、金融大数据、机器学习和认知计算等技术已经开始广泛渗透金融行业,金融科技已上升到国家战略层面,金融业在科技推动下的发展日新月异,对人才也提出了更高的要求,因此,培养新型金融科技人才…

港科资讯 | 香港科大EMBA校友会2021-2022最佳案例奖颁发

香港科大EMBA校友会冠名的香港科大商学院2021-2022 最佳案例奖于12月5日举行颁奖仪式。第三届校友会常务副主席许坚真校友及第四届校友会常务副主席高静校友做为颁奖嘉宾出席了颁奖典礼。 来自香港科大商学院资讯、商业统计及运营学系刘绍民(Ronald Lau)…

教授专栏04 | 谭嘉因:全球八大金融科技枢纽发展之[香港如何迈向全球领先地位]...

文 / 谭嘉因教授 金融科技是“金融”和“科技”两个词的结合,指通过科技手段对传统金融行业所提供的产品和服务进行创新。近年来,金融科技在全球范围内快速发展,为用户提供便捷、全天候、低成本的金融服务,并形成了数十亿美元级的…

中国社科院与美国杜兰大学金融管理硕士项目,引领你走在金融行业前沿

作为金融领域从业人员时刻都在关注行业最新资讯,只有掌握一手的前沿讯息,才能在职场上无往不胜。针对在职的你,如何利用业余时间让自己更增值呢,中国社科院与美国杜兰大学金融管理硕士项目引领你走在金融行业前沿。 金融管理硕士…

chatgpt赋能python:使用Python创作动画:介绍

使用Python创作动画:介绍 Python是一种广泛使用的高级编程语言,被许多工程师和科学家用于数据分析、人工智能等各种应用。但是,除了这些领域外,Python也可以用于创作动画。 在本文中,我们将探讨如何使用Python创建动…

chatgpt赋能python:使用Python进行动画制作指南

使用Python进行动画制作指南 在过去,动画制作是一个需要大量手动绘画和剪辑的艰巨工作。但随着计算机技术的发展,许多人可以通过使用3D建模和动画软件来轻松地制作动画。不过,这些软件往往非常昂贵,不适合所有人使用。 Python是…

chatgpt赋能python:Python如何绘制二维图表

Python如何绘制二维图表 在数据可视化的过程中,绘制图表是必不可少的一环。Python作为一种高效且易于学习的语言,能够方便地绘制二维图表。本篇文章将介绍如何使用Python绘制二维图表,并介绍其中的一些优秀库。 1. Matplotlib库 Matplotli…

图像描述算法排位赛:SceneXplain 与 MiniGPT4 谁将夺得桂冠?

如果你对图像描述算法的未来感到好奇,本场“图像描述算法排位赛”绝对是你不能错过的!在这场较量中,SceneXplain 和 MiniGPT-4 将会比试,谁将摘得这场比赛的桂冠? 背景介绍 在上篇文章中,我们介绍了图像描述…

图像描述算法排位赛:SceneXplain与MiniGPT-4谁将夺得桂冠?

如果你对 AI 前沿感兴趣,本场「图像描述算法排位赛」绝对是你不能错过的!在这场较量中,SceneXplain 和 MiniGPT-4 将会比试,谁将摘得这场比赛的桂冠? 📎 直接上手体验:scenex.jina.ai 背景介绍 …

如何用AI画56个民族的女孩!

大家好,我是菜鸟哥! 目前在带领600多个小伙伴一起玩AI!Chatgpt现在是最火最出圈的产品,而一旦文字和图像,声音,视频结合可以演化出很多很多的需求。前面我们公众号已经分享了很多很多关于chatgpt的使用和技…

AI量化策略快速理解

导语: 人工智能(Artificial Intelligence,简称AI)的应用领域主要包括机器学习、概率推理、机器人技术、计算机视觉和自然语言处理。开发AI量化策略就是采用人工智能的相关技术和算法构建模型来处理市场海量数据之间的复杂关系。本文将带你走进人工智能量化投资的世界…