隐语隐私计算实训营「数据分析」第 5 课：隐语PSI介绍及开发实践

深入理解隐语(SecretFlow)中的PSI技术

隐私集合求交(Private Set Intersection, PSI)是隐私计算中的一个重要技术,它允许多方在不泄露自己数据的前提下找出共同的数据交集。在本文中,我们将深入探讨SecretFlow(隐语)中PSI的实现和应用。

PSI的基本概念

PSI是一种特殊的安全多方计算(MPC)协议。假设Alice持有数据集X,Bob持有数据集Y,通过PSI协议,他们可以计算出X∩Y,而不泄露交集之外的任何信息。

（图片在原pdf文档的第4页）

PSI可以分为以下几类:

2方PSI / 多方PSI
平衡PSI / 不平衡PSI
半诚实模型PSI / 恶意模型PSI
带计算的PSI:如PSI-CA(基数)、PSI-Payload分析、Circuit PSI等

SecretFlow中的PSI实现

在这里插入图片描述

SecretFlow实现了多种PSI协议,主要包括:

ECDH-PSI
KKRT16 PSI
BC22 (PCG-PSI)
EC-OPRF PSI (不平衡PSI)
DP-PSI
ECDH 3方PSI(可扩展到多方)
Mini-PSI(适合小数据集)

ECDH-PSI

ECDH-PSI是一个简单易懂、易于实现的协议。它具有最佳的通信成本,但计算成本较高。ECDH-PSI易于扩展,可以修改为计算交集大小(PSI-CA)。

SecretFlow的ECDH-PSI实现支持25519和FourQ曲线,并增加了Intel-crypto multi-buffer支持以提升性能。同时,为了满足国内合规需求,还增加了SM2曲线支持。
在这里插入图片描述

KKRT16 PSI

KKRT16是一个基于不经意传输(OT)扩展的PSI协议。它的主要优点是运行速度快,但缺点是内存占用大、通信量大。

SecretFlow对KKRT16做了多项优化:

使用Bit Matrix Transpose提高性能
采用Pipeline/Vector AES加速
使用无存储的CuckooHash

（图片在原pdf文档的第9页）

BC22 PCG-PSI

BC22是基于伪随机相关生成器(PCG)的PSI协议。它在通信量和运行时间上都有优势。

SecretFlow的实现采用了(3,2)广义CuckooHash,并使用了emp-zk中的WYKW21 Wolverine方案作为VOLE实现。

（图片在原pdf文档的第12页）

PSI在SecretFlow中的架构

SecretFlow对PSI进行了多层封装,以提供易用的接口:

底层: 各种PSI协议的核心实现
操作符层: 提供统一接口,便于接入工程化封装
内存PSI层: 提供算法内核级的性能和统一易用的接口
分桶PSI层: 支持海量数据,覆盖生产级全流程

（图片在原pdf文档的第18页）

【课程作业】使用 SecretFlow进行PSI

实训平台教程

在这里插入图片描述

PSI 作业内容

将 payment.csv 和 record.csv, 求交键为 uid, 两份文件交集大小为？

创建节点

在这里插入图片描述

文件准备

在这里插入图片描述

notebook运行

初始化 SecretFlow

alice 和 bob 节点都需要初始化 secretflow。首先在两个节点分别选取一个可以被对方访问的地址，注意，端口号要选取未被占用的端口。
在这里插入图片描述

import secretflow as sf
import spu
import osnetwork_conf = {"parties": {"alice": {"address": "172.16.0.6:8000",},"bob": {"address": "172.16.0.15:8000",},},
}party = os.getenv("SELF_PARTY", "alice")
sf.shutdown()
sf.init(address="127.0.0.1:6379",cluster_config={**network_conf, "self_party": party},log_to_driver=True,
)

初始化 SPU

alice 的 address 请填写可以被 bob 访通的地址，并且选择一个未被占用的端口 ，注意不要和 Ray 端口冲突。
alice 的 listen_addr 可以和 alice address 里的端口一样。
bob 的 address 请填写可以被 alice 访通的地址，并且选择一个未被占用的端口 ，注意不要和 Ray 端口冲突。
bob 的 listen_addr 可以和 bob address 里的端口一样。

alice, bob = sf.PYU("alice"), sf.PYU("bob")
spu_conf = {"nodes": [{"party": "alice","address": "172.16.0.6:8001","listen_addr": "172.16.0.6:8001",},{"party": "bob","address": "172.16.0.15:8001","listen_addr": "172.16.0.15:8001",},],"runtime_config": {"protocol": spu.spu_pb2.SEMI2K,"field": spu.spu_pb2.FM128,"sigmoid_mode": spu.spu_pb2.RuntimeConfig.SIGMOID_REAL,},
}
spu = sf.SPU(cluster_def=spu_conf)

隐私求交

SecretFlow 提供 psi_csv 函数， psi_csv 将 csv 文件作为输入，并在求交后生成 csv 文件。默认协议为 KKRT。

psi_csv(key: str | List[str],input_path: str,output_path: str,receiver: str,protocol="KKRT_PSI_2PC",precheck_input=True,sort=True,broadcast_result=True,bucket_size=1048576,curve_type="CURVE_25519",preprocess_path=None,ecdh_secret_key_path=None,dppsi_bob_sub_sampling=0.9,dppsi_epsilon=3,progress_callbacks: Callable[[str, ProgressData], None] | None = None,callbacks_interval_ms: int = 5000,ic_mode: bool = False,
)

current_dir = os.getcwd()input_path = {alice: f"{current_dir}/payment.csv",bob: f"{current_dir}/record.csv",
}
output_path = {alice: f"{current_dir}/payment_output.csv",bob: f"{current_dir}/record_output.csv",
}
spu.psi_csv("uid", input_path, output_path, "alice")