数据库数据加密的 4 种常见思路的对比

  • 应用层加解密方案
  • 数据库前置处理方案
  • 磁盘存取环节:透明数据加密
  • DB 后置处理

最近由于工作需要,我对欧洲的通用数据保护条例做了调研和学习,其中有非常重要的一点,也是常识性的一条,就是需要对用户的个人隐私数据做好加密存储,避免用户隐私明文数据泄露。
方案分析
思考如何对用户隐私数据做好加密处理,可以先从分析典型的数据读写链路开始:

becdab5aedcf3b08fc970a0019771a8b.jpeg


按照此链路分析,可以按照数据加密的着手点,划分数据加密的 4 类解决方案:

  • 应用层加解密:由应用程序自行负责数据的加解密,这是最自由,但也是最繁琐的一种方案;
  • DB 前置处理:在数据库服务器开始服务之前嵌入加密逻辑,典型代表是数据库代理服务;
  • 磁盘存取环节:这种方案的基本思路则是绕到数据库的身后,在文件系统中注入钩子进程,这样可以在磁盘数据读写之前嵌入加密逻辑,一般
  • DB 后置处理:在数据库服务之后嵌入加密逻辑,依赖数据库提供的触发器以及函数定制功能等。

下面就这几类方案展开分析。
应用层加解密方案
采用这种方案的话,数据加解密对数据库无感知,由应用在存入数据前完成加密,在读取数据后完成解密。这种方案的优点是:

  • 迁移性好:因为不依赖任何数据库特性或者操作系统特性,只需要部署代码即可运行;
  • 实现灵活:逻辑放在应用层,各种定制或者扩展都非常方便进行,可以轻松实现按表/按列的加密存储。

当时,缺点也非常明显:

  • 影响使用数据库高级特性:比如数据库索引以及执行计划等;
  • 大幅影响数据库查询性能:比如 Like 的前缀查询以及 Where 的范围查询等,都会因为数据加密后而只能全表扫描;
  • 开发维护成本高:每次新增需要加解密数据时都需要对应完成开发调试与测试,开发人员在应用里既要关注核心业务逻辑,还要关注大量的数据加解密的逻辑,当有多个应用或者系统需要集成加解密功能时,每个应用或者系统都需要重复建设此能力。

在应用层实现加解密方案的话,实现上可以考虑结合各类 orm 的回调函数机制,如 golang 中流行的 ORM 框架 gorm 所提供的 Callbacks 机制,又或者是 Ruby on Rails 框架中 Active Record 的 Callbacks 机制,这些机制都能有效帮助我们将业务代码和控制代码进行相互隔离。
数据库前置处理方案
采用数据库前置处理方案,算是对应用层加解密方案的优化,本质思想是将加解密的关注点独立,从应用内部完全抽离,独立服务,同时实现加解密逻辑的复用性。
使用数据库前置处理,能够集成应用层加密方案的一些优点,同时解决了后者存在的一些问题:

  1. 灵活性:数据库代理同样具备较好的灵活性,可以实现列级的加解密;
  2. 复用性较好:多个应用或者系统不再需要重复建设,使用独立维护服务的数据库代理,能够实现快速的加解密功能的接入;
  3. 较高的透明度:应用开发人员无需在自身内部关注加解密逻辑,但是由于数据库代理的 SQL 兼容性下降,应用开发过程中不得不保持对 SQL 兼容性的理解。

数据库前置处理方案也有自身的一些缺陷:

  1. 稳定性下降,加大运维负担:因为整体架构引入了额外的服务节点,会给整体的服务成本以及问题排障场景增加负担,在遇到数据处理问题时,需要卷入数据库代理服务的维护人员一起排查故障;
  2. 无法利用数据库高级特性:和应用层数据加解密方案类似,此方案下,由于数据加密后经由数据库存储和索引,在查询场景中,涉及范围类型的数据检索都会导致扫表;
  3. 一致性问题:由于需要在数据库代理中维护业务数据表/或列的元信息,引入了代理层的配置信息和业务数据库设计的一致性问题。

磁盘存取环节:透明数据加密
目前各家云服务厂商基本都提供了这个方案的服务,简称透明数据加密(TDE)。这个方案的实现原理比较巧妙,它工作于操作系统层面,作用于数据库数据文件,通过 i/o 的钩子进程,在数据库存储引擎读写数据到文件系统的时候嵌入加解密逻辑,在写入数据前完成加密,而在数据读取后要返回给存储引擎进程之前执行解密,而整个过程对数据库存储引擎是完全透明的。
这个方案的优点诱人得多:

  • 透明性:因为方案在数据库服务器上发挥作用,所以对应用完全透明,应用仍旧直连数据库,而且完全不用担心 SQL 兼容性问题等;
  • 支持所有数据库高级特性:由于这套方案同时也是对数据库引擎完全透明,在数据库视角,是否加解密在数据检索逻辑以及执行计划优化、事务管理等各个方面都没有区别,所以这种方案能够完美保留数据库的高级特性;

当然,没有完美的方案,这个方案存在一定限制:

  • 仅能表级加密:由于这个方案是对数据文件进行的无感加解密,所以它最大的限制是无法实现指定数据表中部分列的加密,当然,如果你的业务里,能够设计出刚好全表或者几乎全部列需要加密的结构,这种限制完全不是问题;
  • 平台兼容性问题:由于依赖了操作系统层面的设计,所以这套方案可能只能运行于特定的平台之上;另外如果是云场景之下,还需要考虑不同公有云所提供的方案差异,特别是使用方式上的细节差异,这些都可能导致同一套系统在云厂商之间迁移时出现水土不服的问题。

在我自己的业务系统的设计方案中,我们引入了用户隐私域的概念,在设计上会将用户隐私数据和业务流程数据分离,天然实现用户隐私数据的集中存储,于是全表数据加密对我们是最合适的选择。
DB 后置处理
DB 后置处理是基于数据库的触发器和自定义函数功能等,在数据库服务器执行查询过程中触发自定义加解密逻辑的执行。这种方案可以说是解决了前面几个方案存在问题:

  • 透明性:DB 后置处理,对应用完全透明;
  • 数据库高级特性:完全兼容;
  • 灵活性:可以灵活实现列级数据加密等。

尽管这个方案看起来也很美,但是它依然不完美:

  • 反模式:我个人一直抗拒在数据库服务器上管理函数或者触发器等,因为这些东西都不易于管理,更不用说实现版本管理等;
  • 数据库兼容性问题:由于依赖数据库提供的特性,在不得不更换数据库等场景下,这套方案基本无法实现快速迁移。

汇总对比
说了这么多,对比下几套方案的差异:

95f754b0e99a9f31a1663486cce1b53a.jpeg

几种方案共存的问题
前面分析中始终没有去讨论的问题,是不管哪种方案都无法绕开的问题:

  • 性能开销:数据加解密过程的额外开销,数据加解密需要大量的计算过程,这个会带来不容忽视的性能开销,在加解密算法的选择上,需要在确保数据安全性的前提下,尽可能选择尽可能高效的加密算法;
  • 空间膨胀:除了性能开销会影响加密算法的选择,加密算法可能还会带来空间膨胀的问题,也就是密文比明文变长的问题,如果是空间膨胀,数据库列在各类长度的设计上还需要额外考虑列数据膨胀后的长度。我了解了下,AES 加密算法的 CTR 模式则能实现密文和明文长度一致;
  • 密钥管理问题:不管哪种加密方案,都需要想好密钥的私密存储以及定期轮换问题等,否则一旦密钥泄露,加密得再好的数据也可能被一锅端了。

总结数据存储安全是一个越来越重要,也是应用系统设计阶段必须提前考虑好的问题,因为它涉及的是服务质量和成本平衡的复杂问题。数据加密在业务合规以及隐私保护中正在逐步扮演常识性的地位,如同大家如今都知道密码不能明文存储一样,未来各类个人隐私数据加密也应该会成为系统中的标配设计。


转发自:https://blog.hackerpie.com/posts/architecture/data-encrpytion/

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/258520.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【C基础刷题】第九讲

本系列博客为个人刷题思路分享,有需要借鉴即可。 1.目录大纲: 2.题目链接: 统计成绩 00:00:00⸺00:09:00题号:BC33 链接:https://www.nowcoder.com/practice/ cad8d94…

【plt.scatter绘制散点图】:从入门到精通,只需一篇文章!【Matplotlib】

【plt.scatter绘制散点图】:从入门到精通,只需一篇文章!【Matplotlib】!🚀 利用Matplotlib进行数据可视化示例 🌵文章目录🌵 一、plt.scatter入门:轻松迈出第一步 👣二、…

牛客网SQL进阶128:未完成试卷数大于1的有效用户

官网链接: 未完成试卷数大于1的有效用户_牛客题霸_牛客网现有试卷作答记录表exam_record(uid用户ID, exam_id试卷ID, st。题目来自【牛客题霸】https://www.nowcoder.com/practice/46cb7a33f7204f3ba7f6536d2fc04286?tpId240&tqId2183007&ru%2…

探讨深度学习

深度学习 深度学习概述进展崛起框架 主页传送门:📀 传送 深度学习 概述 深度学习是机器学习领域的一个分支,它是一种基于人工神经网络的学习方法,旨在让 计算机模仿人类大脑的神经结构和学习方式,从大量数据中学习并…

C++11---(1)

目录 一、C11简介 二、列表初始化 2.1、{ } 初始化 三、变量类型推导 3.1、auto 3.2、decltype 为什么需要decltype 四、final和override 4.1、final 4.2、override 五、默认成员函数控制 5.1、default修饰函数 5.2、delete修饰函数 六、nullptr 一、C11简介 C11是…

Kubernetes(K8S)集群部署实战

目录 一、准备工作1.1、创建3台虚拟机1.1.1、下载虚拟机管理工具1.1.2、安装虚拟机管理工具1.1.3、下载虚Centos镜像1.1.4、创建台个虚拟机1.1.5、设置虚拟机网络环境 1.2、虚拟机基础配置(3台虚拟机进行相同处理)1.2.1、配置host1.2.2、关闭防火墙1.2.3…

网络原理-TCP/IP(7)

目录 网络层 路由选择 数据链路层 认识以太网 以太网帧格式 认识MAC地址 对比理解MAC地址和IP地址 认识MTU ARP协议 ARP协议的作用 ARP协议工作流程 重要应用层协议DNS(Domain Name System) DNS背景 NAT技术 NAT IP转换过程 NAPT NAT技术的优缺点 网络层 路由…

ChatGPT绘图指南:DALL.E3玩法大全(一)

一、 DALLE.3 模型介绍 1、什么是 DALLE.3 模型? DALLE-3模型,是一种由OpenAI研发的技术,它是一种先进的生成模型,可以将文字描述转化为清晰的图片。这种模型的名称"DALLE"实际上是"Deep Auto-regressive Latent …

LeetCode LCR 085. 括号生成

题目链接https://leetcode.cn/problems/IDBivT/description/ 正整数 n 代表生成括号的对数&#xff0c;请设计一个函数&#xff0c;用于能够生成所有可能的并且 有效的 括号组合。 class Solution {public List<String> generateParenthesis(int n) {List<String>…

【类与对象 -2】学习类的6个默认成员函数中的构造函数与析构函数

目录 1.类的6个默认成员函数 2.构造函数 2.1概念 2.2特性 3.析构函数 3.1析构函数的概念 3.2特性 1.类的6个默认成员函数 如果一个类中什么成员都没有&#xff0c;简称为空类。 空类中真的什么都没有吗&#xff1f;并不是&#xff0c;任何类在什么都不写时&#xff0c;…

嵌入式——Flash(W25Q64)

目录 一、初识W25Q64 1. 基本认识 2. 引脚介绍 ​编辑 二、W25Q64特性 1. SPI模式 2. 双输出SPI方式 三、状态寄存器 1. BUSY位 2. WEL位 3. BP2、BP1、 BP0位 4. TB位 5. 保留位 6. SRP位 四、常用操作指令 1. 写使能指令&#xff08;06h&#xff09; 2. 写禁…

攻防世界——re2-cpp-is-awesome

64位 我先用虚拟机跑了一下这个程序&#xff0c;结果输出一串字符串flag ——没用 IDA打开后 F5也没有什么可看的 那我们就F12查看字符串找可疑信息 这里一下就看见了 __int64 __fastcall main(int a1, char **a2, char **a3) {char *v3; // rbx__int64 v4; // rax__int64 v…

C语言指针(初阶)

文章目录 1:内存与地址1.1内存1.2:如何理解编址 2:指针变量与地址2.1:指针变量与解引用操作符2.1.1:指针变量2.1.2:如何拆解指针类型2.1.3:解引用操作符 2.2:指针变量的大小 3:指针变量类型的意义代码1解引用修改前解引用修改后 代码2解引用修改前解引用修改后 4:const修饰指针…

Rust 语言学习杂谈 (end) (各种工作中遇到的疑难杂症)

1.在运行 “cargo build --release” 的时候&#xff0c;到底发生了什么&#xff1f; 源 (GPT4.0) : 当我们运行 cargo build --release 命令时&#xff0c;实际上在进行一系列复杂的步骤来编译和构建 Rust 项目的发布版本。这个过程大致可以分解为以下几个步骤&#xff1a;…

杂谈--spconv导出中onnx的扩展阅读

Onnx 使用 Onnx 介绍 Onnx (Open Neural Network Exchange) 的本质是一种 Protobuf 格式文件&#xff0c;通常看到的 .onnx 文件其实就是通过 Protobuf 序列化储存的文件。onnx-ml.proto 通过 protoc (Protobuf 提供的编译程序) 编译得到 onnx-ml.pb.h 和 onnx-ml.pb.cc 或 on…

C#根据权重抽取随机数

&#xff08;游戏中一个很常见的简单功能&#xff0c;比如抽卡抽奖抽道具&#xff0c;或者一个怪物有多种攻击动作&#xff0c;按不同的权重随机出个攻击动作等等……&#xff09; 假如有三种物品 A、B、C&#xff0c;对应的权重分别是A&#xff08;50&#xff09;&#xff0c…

django中查询优化

在Django中&#xff0c;查询优化是一个重要的主题&#xff0c;因为不正确的查询可能会导致性能问题&#xff0c;尤其是在处理大量数据时。以下是一些在Django中进行查询优化的建议&#xff1a; 一&#xff1a;使用select_related和prefetch_related: select_related用于优化一…

论文阅读_语音识别_Wisper

英文名称: Robust Speech Recognition via Large-Scale Weak Supervision 中文名称: 通过大规模弱监督实现鲁棒语音识别 链接: https://proceedings.mlr.press/v202/radford23a.html 代码: https://github.com/openai/whisper 作者: Alec Radford, Jong Wook Kim, Tao Xu, Greg…

LabVIEW卫星电视接收仿真系统

LabVIEW卫星电视接收仿真系统 随着卫星电视数字化的加速&#xff0c;传统模拟信号接收系统已无法满足需求。设计一套船载数字卫星电视接收系统&#xff0c;通过LabVIEW环境进行仿真实验&#xff0c;验证系统设计的可行性与有效性&#xff0c;满足数字信号接收的高精度要求&…

前端开发:Vue框架与前端部署

Vue Vue是一套前端框架&#xff0c;免除原生)avaScript中的DOM操作&#xff0c;简化书写。是基于MVVM(Model–View-ViewModel)思想&#xff0c;实现数据的双向绑定&#xff0c;将编程的关注点放在数据上。简单来说&#xff0c;就是数据变化的时候, 页面会自动刷新, 页面变化的时…