一提到大数据我们就知道是海量数据，但是我们并不了解需要从哪些维度去考虑这些数据的存储。比如 数据湖、数据仓库、数据集市，以及数据自动化应用DataOps有哪些实现方式和实际应用，这篇文章将浅显的做一次介绍。 

数据湖

数据湖是一种以自然/原始格式存储数据的系统或存储库， [ 1 ]通常是对象blob或文件。数据湖通常是单一数据存储，包括源系统数据、传感器数据、社交数据等的原始副本[ 2 ] ，以及用于报告、可视化、高级分析和机器学习等任务的转换数据。数据湖可以包括来自关系数据库的结构化数据（行和列）、半结构化数据（CSV、日志、XML、JSON）、非结构化数据（电子邮件、文档、PDF）和二进制数据（图像、音频、视频）。[ 3 ]数据湖可以建立在“本地”（组织的数据中心内）或“云端”（使用云服务）上。

背景

时任Pentaho首席技术官的 James Dixon在 2011 年创造了这个术语[ 4 ]，以将其与数据集市进行对比，数据集市是一个较小的存储库，其中包含来自原始数据的有趣属性。[ 5 ]在推广数据湖时，他认为数据集市有几个固有的问题，例如信息孤岛。普华永道(PwC) 表示，数据湖可以“终结数据孤岛”。[ 6 ]他们在数据湖研究中指出，企业“开始提取数据并将其放入基于 Hadoop 的单一存储库中进行分析”。

示例

许多公司使用云存储服务，例如Google Cloud Storage和 Amazon S3，或分布式文件系统，例如 Apache Hadoop分布式文件系统 (HDFS)。[ 7 ]学术界对数据湖的概念逐渐产生兴趣。例如，卡迪夫大学的 Personal DataLake是一种新型数据湖，旨在通过提供收集、组织和共享个人数据的单一点来管理个人用户的大数据。 [ 8 ]

早期的数据湖（例如 Hadoop 1.0）功能有限，因为它仅支持面向批处理的处理（Map Reduce）。与其交互需要 Java、map Reduce 和更高级工具（例如Apache Pig、Apache Spark和Apache Hive，它们最初也是面向批处理的）方面的专业知识。

批评

管理不善的数据湖被戏称为“数据沼泽”。[ 9 ]

2015 年 6 月，David Needle 将“所谓的数据湖”描述为“管理大数据的最具争议的方法之一”。[ 10 ] 普华永道在其研究中也谨慎地指出，并非所有数据湖计划都能取得成功。他们引用了Cambridge Semantics首席技术官 Sean Martin 的话：

我们看到客户创建大数据墓地，将所有数据转储到Hadoop 分布式文件系统(HDFS) 中，并希望将来能有所作为。但随后他们就忘记了那里有什么。主要的挑战不是创建数据湖，而是利用它提供的机会。[ 6 ]

他们描述说，构建成功数据湖的公司在弄清楚哪些数据和元数据对组织很重要时，会逐渐成熟他们的数据湖。

另一个批评是，“数据湖”一词没什么用，因为它的用法太多了。[ 11 ]例如，它可能被用来指代：任何不是数据仓库的工具或数据管理实践；特定的实施技术；原始数据储存库； ETL卸载的中心；或自助分析的中央枢纽。

虽然对数据湖的批评是有道理的，但在很多情况下，这些批评也适用于其他数据项目。[ 12 ]例如，“数据仓库”的定义也是不断变化的，而且并非所有数据仓库工作都取得了成功。针对各种批评，麦肯锡指出[ 13 ]，数据湖应被视为一种在企业内部提供业务价值的服务模式，而不是技术成果。

数据湖屋

数据湖屋是一种混合方法，可以像数据湖一样提取各种原始数据格式，同时提供ACID事务并像数据仓库一样强制执行数据质量。[ 14 ] [ 15 ]数据湖屋架构试图通过添加数据仓库功能（例如事务支持、模式实施、治理和对不同工作负载的支持）来解决对数据湖的几项批评。据 Oracle 称，数据湖屋结合了“数据湖中非结构化数据的灵活存储以及数据仓库的管理功能和工具”。[ 16 ]

数据仓库

在计算领域，数据仓库( DW或DWH )，也称为企业数据仓库( EDW )，是一种用于报告和数据分析的系统，是商业智能的核心组成部分。[ 1 ]数据仓库是从不同来源集成的数据的中央存储库。它们以有组织的方式存储当前和历史数据，以便于创建报告、查询和从数据中获取见解。[ 2 ]与数据库不同，它们旨在供分析师和管理人员使用，以帮助做出组织决策。[ 3 ]

数据仓库的基本架构
仓库中存储的数据是从运营系统（如营销或销售）上传的。数据可能会经过运营数据存储，并且可能需要进行数据清理以进行其他操作，以确保数据质量，然后才能在数据仓库中用于报告。

构建数据仓库系统的两种主要方法是提取、转换、加载（ETL）和提取、加载、转换（ELT）。

数据仓库和数据集市的环境包括以下内容：

• 数据源系统（通常是公司的操作数据库，例如关系数据库[ 3 ]）
• 数据集成技术和流程，从源系统中提取数据，转换数据，并将其加载到数据集市或仓库中[ 3 ] ;
• 在仓库或集市中存储数据的架构；
• 适合不同用户的工具和应用程序；
• 元数据、数据质量和治理流程。元数据包括数据源（数据库、表和列名）、刷新计划和数据使用情况指标。[ 3 ]

通过使用数据库规范化和实体关系模型，操作数据库针对数据完整性的保存和业务交易记录速度进行了优化。操作系统设计人员通常遵循Codd 的 12 条数据库规范化规则来确保数据完整性。完全规范化的数据库设计（即满足所有 Codd 规则的设计）通常会导致业务交易信息存储在数十到数百个表中。关系数据库可以有效地管理这些表之间的关系。数据库的插入/更新性能非常快，因为每个事务仅影响这些表中的少量数据。为了提高性能，会定期清除旧数据。

数据仓库针对分析访问模式进行了优化，通常涉及选择特定字段，而不是操作数据库中常见的所有字段。由于这些访问方面的差异，操作数据库（大致为 OLTP）受益于使用面向行的数据库管理系统 (DBMS)，而分析数据库（大致为 OLAP）受益于使用面向列的 DBMS。操作系统维护业务快照，而仓库通过 ETL 流程维护历史数据，该流程定期将数据从操作系统迁移到仓库。

联机分析处理(OLAP) 的特点是事务率低，查询复杂且涉及聚合。响应时间是 OLAP 系统的有效性能衡量标准。OLAP 应用程序广泛用于数据挖掘。OLAP 数据库将聚合的历史数据存储在多维模式（通常是星型模式）中。OLAP 系统的数据延迟通常为几个小时，而数据集市延迟更接近一天。OLAP 方法用于分析来自多个来源和角度的多维数据。OLAP 中的三个基本操作是汇总（合并）、下钻和切片与切块。

联机事务处理(OLTP) 的特点是大量短联机事务（INSERT、UPDATE、DELETE）。OLTP 系统强调快速查询处理和在多访问环境中维护数据完整性。对于 OLTP 系统，性能是每秒的事务数。OLTP 数据库包含详细和当前数据。用于存储事务数据库的模式是实体模型（通常是3NF）。[ 4 ]规范化是该系统中数据建模技术的规范。

预测分析是指使用复杂的数学模型查找和量化数据中的隐藏模式，并预测未来结果。相比之下，OLAP 侧重于历史数据分析，并且是被动的。预测系统也用于客户关系管理(CRM)。

数据集市是一种简单的数据仓库，专注于单一主题或功能领域。因此，它从有限数量的来源（如销售、财务或营销）提取数据。数据集市通常由组织中的单个部门构建和控制。来源可能是内部操作系统、中央数据仓库或外部数据。[ 5 ]与仓库一样，存储的数据通常未标准化。 

数据仓库和数据集市之间的区别

属性	数据仓库	数据集市
数据范围	企业	部门
学科领域数量	多种的	单身的
建造难度有多大	难的	简单的
所需内存	更大	有限的

数据集市的类型包括依赖数据集市、独立数据集市和混合数据集市。

典型的基于提取、转换、加载(ETL) 的数据仓库使用暂存层、数据集成层和访问层来容纳其主要功能。暂存层或暂存数据库存储从每个不同的源数据系统提取的原始数据。集成层通过转换来自暂存层的数据来集成不同的数据集，通常将转换后的数据存储在操作数据存储(ODS) 数据库中。然后，将集成的数据移至另一个数据库（通常称为数据仓库数据库），在该数据库中，数据被排列成层次结构组（通常称为维度）以及事实和聚合事实。事实和维度的组合有时称为星型模式。访问层帮助用户检索数据。[ 6 ]

数据的主要来源是经过清理、转换和分类，然后提供给管理人员和其他业务专业人员进行数据挖掘、联机分析处理、市场研究和决策支持。[ 7 ]但是，检索和分析数据、提取、转换和加载数据以及管理数据字典的方法也被视为数据仓库系统的基本组成部分。许多对数据仓库的引用都使用了这个更广泛的背景。因此，数据仓库的扩展定义包括商业智能工具、提取、转换和加载数据到存储库的工具以及管理和检索元数据的工具。

数据集市

数据集市是数据仓库环境特有的结构 / 访问模式，用于检索面向客户的数据。数据集市是数据仓库的一个子集，通常面向特定的业务线或团队。数据仓库具有企业范围的深度，而数据集市中的信息则属于单个部门。在某些部署中，每个部门或业务部门都被视为其数据集市的所有者，包括所有硬件、软件和数据。[ 1 ] 这使每个部门能够隔离其数据的使用、操作和开发。在使用一致维度的其他部署中，此业务部门所有者不适用于客户、产品等共享维度。

建立仓库和数据集市是因为数据库中的信息没有以一种易于访问的方式组织起来。这种组织方式需要的查询过于复杂、难以访问或占用大量资源。

事务数据库旨在更新，而数据仓库或集市则是只读的。数据仓库旨在访问大量相关记录。数据集市允许用户访问他们最常需要查看的特定类型的数据，并以支持一组用户的集体视图的方式提供数据，从而缩短最终用户的响应时间。

数据集市基本上是数据仓库的精简版，更集中化，反映了组织内每个业务部门的规章制度和流程规范。[ 2 ]每个数据集市专用于特定的业务功能或区域。此数据子集可能涵盖企业的许多或所有功能主题领域。通常使用多个数据集市来满足每个业务部门的需求（可以使用不同的数据集市来获取企业各个部门的特定信息，例如会计、营销、销售等）。

相关术语电子表格市场是一个贬义词，它描述了这样一种情况：一个或多个业务分析师开发了一个链接电子表格系统来执行业务分析，然后将其规模和复杂程度扩大到几乎无法维护的程度。这种情况的术语是“Excel 地狱”。[ 3 ]

数据仓库：

• 涵盖多个学科领域
• 拥有非常详细的信息
• 致力于整合所有数据源
• 不一定使用维度模型但提供维度模型。

数据集市：

• 通常只涉及一个主题领域 - 例如财务或销售
• 可能包含更多汇总数据（尽管也可能包含完整细节）
• 专注于整合来自给定主题领域或一组源系统的信息
• 以使用星型模式的维度模型为中心进行构建。

• 星型模式——相当流行的设计选择；使关系数据库能够模拟多维数据库的分析功能
• 雪花模式
• 活动模式——基于时间序列的模式

• 轻松访问常用数据
• 由一组用户创建集体视图
• 缩短最终用户的响应时间
• 易于创作
• 比实施完整数据仓库的成本更低
• 与完整数据仓库相比，潜在用户的定义更为明确
• 仅包含业务基本数据，不太混乱。
• 它包含关键数据信息

系统

该系统的主要工作是在修复脏数据和将数据尽可能接近源生产系统的原始数据之间找到适当的平衡。这对提取、转换、加载架构师来说是一个挑战。该系统应提供一种架构，可以清理数据、记录质量事件并测量/控制数据仓库中数据的质量。一个好的开始是进行彻底的数据分析，这将有助于确定数据清理系统所需的复杂性，并了解源系统中当前的数据质量。

优质展示

数据清理系统的一部分是一组称为质量筛选的诊断过滤器。它们各自在数据流中实施测试，如果测试失败，则会在错误事件模式中记录错误。质量筛选分为三类：

• 列筛选。测试单个列，例如，检测意外值（如NULL值）、应为数字的非数字值、超出范围的值等。
• 结构筛选。这些筛选用于测试同一表或不同表中的列（通常是外键/主键）之间不同关系的完整性。它们还用于测试一组列是否根据其应遵循的某些结构定义有效。
• 业务规则筛选。这是三项测试中最复杂的一项。它们测试数据（可能跨多个表）是否遵循特定的业务规则。例如，如果客户被标记为特定类型的客户，则应遵守定义此类客户的业务规则。

当质量屏幕记录到错误时，它可以停止数据流处理，将错误数据发送到目标系统以外的其他地方，或者标记数据。后一种选择被认为是最佳解决方案，因为第一种选择要求每次发生问题时都必须有人手动处理，而第二种选择意味着目标系统中缺少数据（完整性），并且通常不清楚这些数据应该如何处理。

对现有工具和流程的批评

大多数数据清理工具在可用性方面存在局限性：

• 项目成本：通常为数十万美元
• 时间：掌握大型数据清理软件非常耗时
• 安全性：交叉验证需要共享信息，使应用程序能够跨系统访问，包括敏感的遗留系统

错误事件架构

错误事件模式保存质量屏幕抛出的所有错误事件的记录。它由一个错误事件事实表组成，该表带有指向三个维度表的外键，这些维度表表示日期（时间）、批处理作业（地点）和屏幕（谁产生了错误）。它还保存有关错误发生的确切时间和错误严重程度的信息。此外，还有一个错误事件详细信息事实表，该表带有指向主表的外键，主表包含有关错误发生在哪个表、记录和字段以及错误条件的详细信息。

DataOps数据自动化

DataOps 是一种实践或技术，结合了集成的、面向流程的数据与自动化，以提高数据质量、协作和分析。

它主要涉及数据科学家、数据工程师和其他数据专业人员之间的合作。DataOps 与 DevOps 的比较。

概念与核心价值

DataOps是一种数据管理方法论，旨在提高数据分析效率和数据质量。它源于DevOps的理念，将敏捷开发的方法应用于数据处理和管理，实现更快速、更可靠的数据服务。DataOps的核心价值在于：

1. 提高数据分析效率：通过自动化和标准化数据处理流程，降低数据分析门槛，提高团队间的协作效率。
2. 提升数据质量：通过严格的流程管理和质量控制，确保数据的准确性、完整性和一致性。
3. 增强数据安全性：通过对数据的全程监控和管理，降低数据泄露风险，保证数据的安全性。

发展历程

       DataOps的概念最初由比利时的数据科学家和工程师所提出，旨在解决数据工程师和数据分析师之间沟通协作的难题。随着大数据技术的不断发展，DataOps逐渐成为一种独立的方法论，被广泛应用于各行各业的数据管理实践中。

实现方式

1. 
   要实现DataOps，需要从以下几个方面入手：
2. 标准化数据处理流程：制定统一的数据处理规范和标准，确保各个团队按照相同的流程进行数据处理。
3. 工具化与平台化：通过工具和平台提供的数据管理功能，实现自动化、智能化的数据处理和管理。
4. 加强团队间协作：建立跨部门的协作机制，加强数据工程师、数据分析师、业务人员之间的沟通与合作。
5. 数据质量监控：建立数据质量监控体系，对数据进行全程监控和管理，及时发现并解决数据质量问题。
6. 数据安全保障：通过加密、备份、权限控制等手段，保障数据的安全性和隐私性。

实际应用

        DataOps的应用场景十分广泛，涵盖了金融、医疗、电商等多个行业。以金融行业为例，银行可以通过DataOps建立统一的数据管理平台，实现客户画像、风险控制、精准营销等业务的快速响应和高效执行。同时，通过自动化和智能化的数据处理流程，确保数据的准确性和完整性，提高风险控制能力和客户满意度。
在医疗行业，DataOps可以帮助医疗机构建立统一的数据管理平台，实现患者信息、医疗资源、药品管理等业务的数字化转型。通过自动化和智能化的数据处理流程，提高医疗服务的效率和质量，为患者提供更好的医疗体验。
总结来说，DataOps作为一种新兴的数据管理方法论，正逐渐改变着我们的数据管理实践。通过标准化、工具化、协作化等手段，DataOps旨在提高数据分析效率和数据质量，为企业创造更大的商业价值。在未来，随着大数据技术的不断发展和应用的深入，DataOps将会在更多领域得到广泛应用和推广。

最佳实践

以下是一些与实施相关的最佳实践：

• 尽早定义数据标准：从一开始就为数据和元数据设定明确的语义规则。
• 组建多样化的 DataOps 团队：组建一支拥有各种技术技能和背景的团队。
• 实现自动化以提高效率：利用数据科学和商业智能 (BI) 工具自动执行数据处理。
• 打破孤岛：建立清晰的沟通渠道，鼓励多样化的团队共享数据和专业知识，采用数据集成和自动化工具消除孤岛和瓶颈。
• 设计以实现可扩展性：构建一个可以扩展并适应不断增加的数据量的数据管道。
• 基于验证进行构建：整合反馈循环，持续验证数据质量。
• 安全实验：利用一次性环境模拟生产，进行安全实验。
• 持续改进：采用“精益”方法，注重持续提高效率。
• 持续衡量进展：建立基准并在整个数据生命周期内跟踪性能。

参考资料：

什么是 Dataops | IBM

DataOps：从概念到实践的深度解析

https://segmentfault.com/a/1190000044948401

魏凯 | 《DataOps实践指南（1.0）》正式发布 – DAMA China Limited