关注我们牛年牛气冲天

 

4月16日，被誉为魔幻电影鼻祖的《指环王》三部曲，将陆续以4K版登上国内IMAX银幕。那令人震撼而又陶醉的魔幻世界重新归来了。

在现实世界中，在看似枯燥乏味的数据中，是否也存在魔法呢？下面，就让我们揭开CDM的“数据魔法”。

早在2017年Taneja Group的一项研究就表明，超过30%的公司正在考虑或实施CDM（Copy Data Management，数据副本管理）产品。在国内，金融和运营商行业的多家头部用户也在近两年相继完成了CDM产品的部署和应用……随着数字化转型进入深水区，数据成为企业最关键的生产资料。CDM“何许人也”，又究竟有何魔力，能够赢得诸多企业的青睐？CDM技术“朋友圈”目前聚集了哪些“小伙伴”，这项技术未来又将保持怎样的演进……

一个数百亿美元的蓝海市场

统计显示，平均每个企业要为应用开发、QA、用户验收、产品支持、报告和备份等，从生产数据源创建8-10份数据副本。以一个5TB的生产数据库为例，往往要为下游创建出40TB-50TB的数据副本。一家500强企业甚至拥有超过上千个生产数据库，数据副本达到PB级规模。

大量的数据副本存在不可避免地造成了一定程度的资源浪费以及维护开销的增长。有数据表明，企业80%的存储能力都被次级数据所使用。

IDC的数据也显示，目前每年在Copy Data上的开销达到460亿美元，企业内的数据副本消耗了60%的存储空间，并且65%的存储软件和85%存储采购由此产生。

资料来源：IDC

不仅如此，在传统的生产协作流程中，当开发和测试人员想要获取必须的数据副本时，从提交申请到完全准备好环境往往需要耗时几天甚至数月（数据交付时间视数据规模、环境准备情况等而定）。

这样的数据管理实践并非最佳，不仅大量浪费了存储资源，而且还带来了数据合规和敏捷性等方面的问题，影响了用户应用程序的快速迭代，这对于今天追求敏捷转型和DevOps转型的企业而言难以接受。

为了帮助企业统一管理海量的非关键性数据，尤其是冗余的数据副本，业界采用了CDM技术。什么是CDM？它的主要应用场景又是什么？Gartner对此提出：它从生产环境通过快照技术获取有应用一致性保证的数据，在非生产存储上生成“黄金副本”（Golden Image），这个“黄金副本”数据格式是原始的磁盘格式，可再虚拟化成多个副本直接挂载给服务器，分别用于备份恢复、容灾或开发测试。

Gartner《Hype Cycle for Storage and Data Protection Technologies, 2020》报告指出，CDM技术已经度过了了早期的技术炒作期，目前处于“泡沫化的低谷期”（trough of disillusionment），这从侧面说明一些客户开始在非关键性业务场景集中部署这项技术，而且Gartner也预测CDM技术将在未来5-10年内进入“实质生产的高峰期”（plateau of productivity）。

聚焦到CDM技术实现的业务价值，主要体现在以下几个方面：

第一，降低存储成本。利用数据虚拟化技术，单个数据副本即可满足开发、测试、备份、恢复、数据脱敏、统计分析等多种工作负载需求，同时利用高效的数据压缩技术，进一步节省了存储空间，减少企业不必要的存储开支（以下图上讯信息ADM产品数据拷贝方式为例）。

ADM数据拷贝方式     

资料来源：上讯信息

第二，缩短数据交付周期。数据准备从原来的按天或者月为单位，缩短到分钟级，数据分发达到秒级。基于CDM技术的数据副本的交付与管理，大大节省了数据交付的时间，为企业构建了更加敏捷的数据管理基础架构，加速了企业的DevOps建设，缩短了业务的开发测试周期，实现了产品的快速迭代。

第三，降低人力时间投入。传统方式下，数据的导入和导出无法自动完成，面对开发和测试人员的需求，需要通过人为的传递才能完成数据从生产环境到测试环境的迁移，而且这个过程中还可能需要持续的获取增量数据资源。CDM技术实现了全流程的自动化配置和编排，从审批到数据的导入和导出，这个过程只需要在统一的管理界面上鼠标点击操作，几步即可自动完成，极大减轻了存储管理员和DBA的工作负荷，降低人力时间投入。

第四，提升数据集中管控能力。过去，数据移交到使用部门之后，管控权利完全在使用部门，只能用流程来控制数据的用后销毁，存在较高的安全管控风险。CDM融合了数据动态和静态脱敏，权限管控，合规审计等多种数据保护策略，以集中的数据管控，防范敏感数据泄露，杜绝不当或者误操作，以及保留事后的可追溯。交付使用的数据，可以通过CDM管控平台实现数据的统一集中管控，杜绝测试数据出现数据孤岛，在数据使用完之后，可以实现数据的快速回收以释放占用资源，杜绝暗数据的出现。

备份和CDM，孰是孰非

在国内，备份和CDM容易被混淆，有不少备份厂商在其备份产品上通过增加一些CDM功能，作为备份的补充，比如用作快速拉起恢复或者备份校验，也许从用户肉眼可见的角度看，功能上都归整到了统一的界面上，但实际上二者的后台逻辑相差甚远。

备份从根本上是作为数据的保底存在，一旦发生物理或逻辑故障，为用户提供了灾难恢复的手段。而CDM侧重于对数据的生命周期管理，是牵涉到用户数据获取，数据存储，数据使用的全流程的生产力工具。

传统备份技术是将数据恢复后交付使用，恢复的过程很长，而CDM保存的是原始格式数据，可以直接交付使用。

从功能上看，备份更多是作为CDM其中的一项数据获取手段。CDM副本数据管理基于数据虚拟化等核心技术，自动化实现了从数据获取到数据使用再到数据归档，数据销毁的全生命周期管理。其中，在数据获取环节既可以通过用户既有备份系统内获取数据，也可以通过从生产环境实时获取数据，又或者用户以脚本的方式自助上传数据等多种方式。相比备份，CDM更加关心的是数据的交付使用与管理。

全球生态，风景这边独好

过去的十多年时间，CDM的主要玩家分布在北美。在国内，从上讯信息2016年发布了国内第一款真正意义上的CDM产品开始，近两年CDM技术在金融和运营商这两个行业的蓬勃发展，推动了开发测试场景的数据架构转型，并且大有替代传统备份之势。

1、Actifio

Actifio成立于2009年。2020年，谷歌宣布收购Actifio，收购完成后，Actifio会并入Google Cloud。

Actifio的多云复制数据管理（Copy Data Management）软件平台虚拟化拷贝数据，允许以原生格式对数据的虚拟副本进行完整的生命周期管理。通过一套丰富的API，Actifio的软件可以无缝地集成到任何IT服务管理工具、DevOps工具链或定制的脚本和应用程序中。

Actifio数据虚拟化IT架构及实现原理

2、Cohesity

Cohesity成立于2013年，公司CEO兼联合创始人Mohit Aron，之前还联合创立过Nutanix，目前该公司最新的市场估值达到37亿美元。

对于Cohesity公司来说，在线备份只是其完整数据管理平台的一部分，该平台专注于解决大规模数据碎片所造成的问题。它侧重于帮助企业保护和管理位于许多不同位置的二级数据。

3、Rubrik

Rubrik也是由前Nutanix的人员发起创立，提供跨越本地、云端和混合云环境中的企业数据管理和备份服务。 

全球有2500多家企业和政府使用Rubrik公司的Cloud Data Management解决方案来管理和协调跨数据中心和云的数据。其提供一个单一的数据平台，可以跨数据中心和云安全地提供备份，恢复，分析和合规性。承诺快速恢复，提供接近0的RTO。另外还提供SLA自动化和API优先的架构。

4、Delphix

Delphix成立于2008年。Delphix提供了一个API优先的数据平台，该平台跨越多云并支持从云原生主机到旧式大型机的所有应用程序。Delphix可自动执行一系列关键的复杂数据操作，包括遵守GDPR和CCPA等隐私法规。

Delphix声称借助其平台，可将数据占用空间减少10倍，将资源调配速度提高100倍。借助Delphix虚拟化，用户可在几分钟内大规模配置轻量级虚拟数据库副本，大规模地将数据从生产环境复制到非生产环境，以及使用刷新，回滚和快照功能管理虚拟数据库等操作。

5、Catalogic

Catalogic 2013年成立，总部位于美国新泽西州。ECX是该公司提供的CDM软件产品，大大简化了副本数据管理，实现了数据副本的自动化和编排，可以在整个企业和云中利用该副本进行各种创造价值的用例。借助Catalogic ECX，将开发/测试基础架构管理时间减少了多达99％。

ECX还可以帮助用户将数据移动到云中，利用云中成本更低，更具弹性的计算基础架构，借助ECX，在某些用例中利用云时，用户的投资回报率超过300％。

6、上讯信息

上讯信息2010年成立，2016年率先发布了国内首款CDM产品—敏捷数据管理平台（ADM），这是一款集数据验证恢复、数据虚拟化、数据脱敏和数据库审计为一体的数据全生命周期管理产品。通过一个平台，解决数据获取，数据存储，数据构建，数据使用，数据归档，数据销毁的所有数据问题。

数据使用的全生命周期管理

资料来源：上讯信息

ADM核心技术-数据虚拟化技术，可以通过一份数据的“黄金副本”快速创建出多份数据副本交付使用，所交付的数据都是可读可写的，并且可以达到分钟级的数据交付效率，以及实现10倍以上的存储成本节省。目前，ADM获得了金融和运营商行业多家头部客户的使用和持续复购。

CDM的未来不是梦

对每一家致力于数据驱动的企业和组织而言，CDM技术无疑重塑了其过去臃肿的数据架构和繁冗的数据管理流程，以敏捷的数据架构就绪企业数字化转型，加速业务交付，提高企业的决策效率以及生产力水平。

但这并不是CDM的全部，这项令人着迷不已的技术未来又将拥有怎样的蜕变？做一些预测： 

第一，跨越本地数据中心，边缘和多公有云的数据流动和存储。CDM需要满足混合多云时代用户对数据在不同端的流动和统一管理的需求，支持不同位置的基础环境，例如可利用公有云更加经济、弹性的存储资源，进一步降低OPEX。而无论是部署于边缘，本地还是多公有云，都需要满足一致性和可用性服务体验。

第二，以数据为中心，打通数据上中下游链条，实现数据的全生命周期管理。从产品的角度，可以基于灵活的license授权，为用户按需交付备份容灾，备份校验，数据虚拟化，数据脱敏，合规审计等不同功能，而从后台逻辑来看，支持一个统一的数据平台，能够无缝连通数据的全生命周期统一管理。

第三，CDM技术与垂直应用场景的紧耦合，强关联。例如，开发测试场景下，能否基于一套数据平台，跑通所有的开发测试作业，而无需额外使用第三方平台，例如测试版本控制，以降低额外的资源消费，提高开发测试效率。

相信随着技术的不断完善以及生态的成熟，CDM未来可期！

请扫码关注