【实时数仓架构】方法论

笔者不是专业的实时数仓架构,这是笔者从其他人经验和网上资料整理而来,仅供参考。写此文章意义,加深对实时数仓理解。

一、实时数仓架构技术演进

1.1 四种架构演进

1)离线大数据架构
  一种批处理离线数据分析架构,通过采用Hadoop技术栈,采用任务调度工具+小时/分钟级别调度任务方式,达到小时/分钟级别的实时数据分析。
2)Lambda架构
  一种以批处理为主的离线数据分析架构,它将数据处理分为实时和离线两部分,其中离线部分通过批量计算来处理数据,实时部分则通过增量追加方式将数据合并到批处理结果中。
![![在这里插入图片描述](https://img-blog.csdnimg.cn/direct/9a4409f9524d4c3996d7b25532a0b7f5.png](https://img-blog.csdnimg.cn/direct/f8d501de176d4c9e937b80a70822ac78.png

优势:满足实时处理低延迟需要,数据修正计算资源消耗少。
劣势:同样的需求需要开发两套一样的代码。后期维护困难,数据一致性得不到保证。

3)Kappa架构
  一种以流处理为主的实时数据分析框架,它将实时数据直接存储在Kafka等消息队列中,并通过流处理器将数据转换为目标数据模型。
在这里插入图片描述

优势:架构简单,避免了维护两套系统还需要保持结果一致的问题,也很好解决了数据订正问题。
劣势:在 Kappa 架构中,需求修改或历史数据重新处理都通过上游重放完成。Kappa 架构最大的问题是流式重新处理历史的吞吐能力会低于批处理。消息中间件缓存的数据量和回溯数据有性能瓶颈。

4)数据湖架构
  一种存算分离为主的统一存储(数据湖格式满足ACID)、多样化计算引擎的数据分析架构,它将实时数据的明细、中间、结果写入同一存储,供多样化计算引擎实时查询和访问。
在这里插入图片描述

优势:hudi、 iceberg 本身提供了ACID属性,这些特性可以解决数据回溯成本高,OLAP引擎结合困难的问题。
劣势:采用Copy-on-Wite (COW)会造成写放大,影响写入的性能;采用Merge-on-Read(MOR)会造成读放大,影响实时数据的查询分析性能:而湖格式存储,通常采用COW或者MOR,不可两者兼得,会造成性能不足以满足实施业务需求,通常存在分钟级别或者是小时级别的延迟。

1.2 架构能力对比

技术组件和实效性对比

离线大数据Lambda架构Kappa架构数据湖架构
典型技术组合离线:Hadoop+Spark;
调度工具:Azkaban;
OLAP引擎:Impala/presto;
数据服务:HBase
离线:Hadoop+Hive/Spark 流处理;
Flink OLAP引擎:ClickHouse;
数据服务:HBase
流处理:Flink;
OLAP引擎:Doris;
数据服务:HBase
湖格式:Hudi/iceberg/Delta on HDFS;
流处理:Flink;
OLAP引擎:Impala/Pretsto;
数据服务:HBase
数据源结构化/半结构化结构化/半结构化结构化/半结构化结构化/半结构化、非结构化
实时处理技术栈典型代表:Spark Streaming、Flink典型代表:Flink典型代表:Flink
实时性小时/分秒/毫秒秒/毫秒小时/分

实时数据分析对比

离线大数据Lambda架构Kappa架构数据湖架构
实时数据存储HDFS,且OLAP&HBase基于HDFS离线数据:HDFS;
实时数据:CK+HDFS(HBase底层存储)
OLAP引擎:DorisHDFS
实时数据更新能力HDFS: OverwriteHDFS: Overwrite;
CK:更新能力不完善;
HBase: Upsert
Doris: UpsertHudi/Iceberg/Delta : Upsert
实时查询DWD、DWS中间层结果支持查询中间结果一般不写入OLAP引擎;
写入HDFS,则支持查询
中间结果存储Kafka,不支持查询支持查询
实时性小时/分秒/毫秒秒/毫秒小时/分
OLAP引擎Impala/presto查询性能弱,适合联邦查询CK适合单表聚合,多表Join能力差Doris单表和多表Join查询能力较好湖格式有相关索引能力,查询性能优Impala/Presto on HDFS
数据服务使用HBase,支持高并发,离线实时数据都可查使用HBase,支持高并发,只能查实时数据使用HBase,支持高并发,只能查实时数据使用HBase,支持高并发,离线实时数据都可查
实时AI分析基于Spark ML/TF/PyTorch离线训练和推理基于Flink ML/TF/PyTorch实时训练和推理基于Flink MLTF/PyTorch实时训练和推理基于Flink MLTF/PyTorch实时训练和推理

管理对比

离线大数据Lambda架构Kappa架构数据湖架构
运维成本维护一套代码,难度较小维护两套代码,难度较小维护一套代码,难度较小维护一套代码,难度较小
数据孤岛离线实时数据在同一个存储介质离线实时数据在不同存储介质离线实时数据在同一个存储介质离线实时数据在同一个存储介质
数据一致性离线、实时数据和指标不一致概率小离线、实时数据和指标不一致概率大离线、实时数据和指标不一致概率小,少量修正离线、实时数据和指标不一致概率小,少量修正

1.3 实时数仓

1.3.1 实时数仓定义

  遵循数据仓库的建设规范,一种支持事件发生后立即或不久对事件数据进行处理和分析的解决方案,数据实时采集、写入、加工、分析、应用都是连续,提供数据产生到应用的端到端秒级响应能力,以最小的延迟产出数据见解驱动业务行动。

1.3.2 实时数仓特点

1、毫米级延迟
低延迟主要体现三方面:
  1)整体链路:端到端毫秒延迟;
  2)数仓层级:层级毫秒级延迟;
  3)数仓数据:实时写入/更新/可见/可查,数据毫米级延迟。
2、高吞吐写和高QPS度
3、智能化
  实时数仓能够做到智能自适应,根据业务数据波峰波谷,自动调用计算资源;统计数据访问频次,自动完成冷热数据切换,兼顾性能、成本、自运维。
4、高可用架构
  实时数仓应该具备高可用,通过架构部署或者产品能力实现从集群、负载格力、服务主备等手段,避免单一故障,有应急系统可切换使用,服务不断。
5、高水平数据管理
  实时数仓需要建立完善的数据资产管理,包括但不限于源数据管理、数据安全、数据脱敏、数据备份、数据血缘、数据目录等,实现数据可查、能用、可用、好用。
6、支持混合负载
  实时数仓期望能多种类型的混合负载一体化支持,不同负载能够做到相互隔离不干扰,即一个引擎支持多种场景,简化架构、保证数据一致性。

1.4 实时数仓典型业务场景

  通常来讲,企业构建实时数仓,有以下几大类业务场景和技术需求。

1.4.1 六类场景

1)实时描述类:
  场景描述:通过数据实时反馈业务正在发生什么,协助管理层第一时间做出业务决策。
  教育行业场景-数据看板:采集企业的B段业务数据,包含交易、教学、人员等数据,按照不同的条件和学习层级等,形成营收、教学等实时报表。
  核心技术需求:实时预计算分析、离线实时数据关联分析
2)实时运营类
  场景描述:通过数据实时诊断业务为什么发生,找到差异性和根因,协助执行层实时决策和实时调控相关策略。
  电商行业场景-精准营销:产出实时用户标签数据,然后做人群圈选、用户画像分析、对不同的人群、不同的活动策略做AB测试,实时评估活动效果和差异性,实时调整人群包和营销活动。
  核心技术需求:OLAP分析、多维分析、即时分析、标签护具高效分析。
3)实时监控类
  场景描述:通过数据实时识别业务正在发生的风险,及时预警供相关人实时干预。
  行业场景-链路监控:直播行业的网络异常监控,及时处理较少投诉率。物流行业实时整合多源数据,结合出入库、仓库作业等实时数据协助小二日常物流订单分析、订单派送。
  核心技术需求:高QPS的在线数据服务、实时规则引擎、实时复杂时间处理
4)实时预测类
  场景描述:通过数据实时预测业务未来可能发生的风险或者行为,提前干预降低风险成本,促进业务规模化增长。
  行业场景-实时推荐:在搜索、推荐、广告行业,实时采集用户行为数据,计算实时特征,预测用户点击率/转化率,然后做个性化推荐,提升业务效果。
  核心技术需求:实时特征/样本计算、实时AI、高QPS的在线数据服务、向量召回。
5)实时自动决策类
  场景描述:通过对市场的实时事件的数据分析,快速响应市场变化,自动完成相关交易和价格调整。
  金融行业场景-金融量化投资:基于提前建立的交易模型实现交易执行的自动化,通过对市场数据的实时监控和分析,快速响应市场变化,减少人为干扰和误操作,提高交易效率和准确率。
  核心技术需求:实时特征/样本计算、实时AI、高QPS的在线数据服务
6)实时用户增长类
  场景描述:通过对用户实时行为数据,在用户拉新、促活、流失、召回环节实时决策,实现日活、月活用户量的增长。
  游戏行业场景-游戏发现:基于用户实时行为数据,通过广告只能投放优化买量,提升用户拉新ROI。通过实时个性化推荐,促活。其他等。
  核心技术需求:实时特征/标签计算、OLAP分析、高QPS在线数据服务、向量召回、高效的留存/漏斗分析函数。

1.4.2 实时看板/大屏

  此类需求在技术上,常需要业务交易数据,设计高层管理人群关注的核心指标,基于实时数据计算毫秒级计算指标值,存储是OLAP引擎中,最终在展示工具设计出数据看板和大屏访问。

1.4.3 实时OLAP分析

  此类需求在技术上,需要查询业务总体情况,发现差异,然后基于数据立方体能力,从多维度、多指标对比分析,找到差异原因,反向指导业务的运作。

1.4.4 实时风险监测

  该场景下,首先实时采集设备、交易数据、结合交易数据,其次通过实时规则+AI算饭的智能识别,将风险、故障灯行为数据和用户,汇总推到相关人群做后续执行动作,完成风险识别、推送、执行的闭环链路。

1.4.5 实时推荐

  实时推荐场景下,首先采集用户行为数据进消息队列,其次基于实时数据计算完成实时特征计算,结合静态(离线)特征一起存储,即用户标签和画像,此时实时推荐的推理服务即可利用实时+离线特征进行物品推荐。更进一步,会结合实时特征+明细行为数据,基于Base离线模型,周期训一个实时模型,然后跟已经上线模型做对比,效果优则上线,此时完成实时推荐AI模型的更新。


二、需求分析

2.1 功能性需求

这些需求通常是可以明确的,可以被度量。主要包含以下几个方面:
1、实时数据采集
  1)离线数据同步
  2)实时数据同步:基于消息中间件的数据实时入仓;基于CDC数据实时入仓。
2、实时数据计算
3、实时数据存储
4、实时数据分析服务
5、实时数据接口
6、数据资产管理

2.2 非功能性需求

1、可用性
   1)服务可用性;2)容灾备份
2、安全性
   1)系统安全:比如账号认证、账号授权、日志审计
  2)数据安全:比如安全认证及标准、存储加密、传输加密、数据脱敏
  3)网络安全:比如底层服务网络安全、网络隔离、白名单
3、高性能
  1)数据延迟性能;2)数据实时采集性能;3)数据实时计算性能;4)实时数据存储性能;5)分析服务性能
4、成本可控
  1)显性成本:比如产品组件的脊梁、产品组件的使用、资源分层使用策略
  2)隐性陈本:产品使用成本、产品运维成本、产品技术升级成本
5、可观测性
  1)系统层面可观测:比如集群指标消耗、数据库监控、资源监控
  2)任务层面可观测

2.3 针对未的需求

  基于是实时业务场景、实时数仓架构理解和未来展望,我们认为实时数仓,数据分析服务需要支持ES倒排索引、离线ETL需求。
  1)ES倒排索引:实时分析服务查询,常涉及多字段匹配然后聚合,或者基于另外一张表去关联明细表然后聚合,包含基于分词的前后模糊、包含于等查询。这种场景下,ES擅长信息检索不擅长聚合查询,常常返回耗时长,无法满足。实时数仓擅长OLAP聚合分析,如果能支持倒排索引,即能擅长信息检索又擅长聚合查询,满足客户需求。已有产品已实现。
  2)离线ETL:实时数仓不可避免处理离线批处理,一方面是修正实时数据结果,另一方面是为了实现离线和实时计算统一引擎,更近一步是为了流任务和批任务统一,维护一套代码,因此我们认为未来实时数仓需要具备离线跑批能力,优化离线跑批性能,规划离线资源池不影响数据分析和线上服务。

三、架构总览

3.1 逻辑架构

架构图如下:
在这里插入图片描述

实时数据采集层
  两种方式:业务数据保存在关系数据库中,可通过CDC的技术采集Binlog到消息引擎中;日志通过各种采集工具采集到消息引擎。
实时数据计算层
  包含以下几种分析方式:统计分析、关联分析、CEP分析、AI分析
实时数据存储层
为了支持数据分析服务,需要满足以下能力:分层存储、实时更新、冷热存储
实时数据分析服务层
  包含以下几种功能:多维分析、KV查询、向量计算
数据资产管理层
  包含这几类:元数据、用户认证、数据脱敏、数据血缘、 数据安全

3.2 架构决策

  实时数仓系统重点是实时数据采集、实时计算、实时数据存储、实时数据分析服务四部分,其中每个部分都会面临相关的架构决策,各部分关键决策如下:
实时数据采集决策
  需要实时采集具有多种数据源插件支持、高效的开发采集同步作业。所以往往需要对数据采集的方式、效率、操作便利性、任务监控等能力进行决策。
实时数据计算决策
  需要对实时计算的一站式开发、计算性能、资源弹性、任务恢复、资源弹性等关键能力进行决策,以下为一个典型的实时数据计算决策分析。
实时数据存储决策
  以需要对实时存储的实时写入/更新能力、延时多久可访问、支持Binlog捕捉要更数据、存储容量等关键能力进行决策。
实时数据服务决策
  需要对支持OLAP分析/KV查询、资源隔离、查询OPS、跟离线数据联邦查询等关键能力进行决策。

四、操作模型

4.1 稳定性

稳定性一般包含:高可用、容灾备份、同城容灾、异地容灾、数据备份和恢复、资源隔离。

4.2 安全性

实时数仓需要从网络安全、系统安全、数据安全(传输、存储、使用)、安全认证四方面综合考虑,全方位保证数据安全可靠的存储和使用。

4.3 高性能

包含两部分:Benchmark(基准测试)、性能优化。

4.4 成本可控

这属于阿里云计费方式,不在这里详细描述。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/317898.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

目标检测算法YOLOv3简介

YOLOv3由Joseph Redmon等人于2018年提出,论文名为:《YOLOv3: An Incremental Improvement》,论文见:https://arxiv.org/pdf/1804.02767.pdf ,项目网页:https://pjreddie.com/darknet/yolo/ 。YOLOv3是对YOL…

leetcode870.优势洗牌

题目描述: 给定两个长度相等的数组 nums1 和 nums2,nums1 相对于 nums2 的优势可以用满足 nums1[i] > nums2[i] 的索引 i 的数目来描述。 返回 nums1 的任意排列,使其相对于 nums2 的优势最大化。 示例一: 输入&#xff…

BIO、NIO与AIO

文章目录 一 BIO同步阻塞案例BIO模式消息多发多收实现 二 NIONIO核心组件Buffer(缓冲区)Buffer常见方法缓冲区的数据操作直接内存与非直接内存 Channel(通道)channel常用操作 Selector(选择器)selector选择器处理流程NIO非阻塞式网络通信原理分析 NIO网络编程实现群聊系统服务端…

Acrobat Pro DC 2023:专业PDF编辑软件,引领高效办公新时代

Acrobat Pro DC 2023是一款专为Mac和Windows用户设计的专业PDF编辑软件,凭借其强大的功能和卓越的性能,成为现代职场人士不可或缺的得力助手。 这款软件拥有出色的PDF编辑能力。用户不仅可以轻松地对PDF文档中的文字、图片和布局进行编辑和调整&#xf…

【C++】哈希的应用---位图

目录 1、引入 2、位图的概念 3、位图的实现 ①框架的搭建 ②设置存在 ③设置不存在 ④检查存在 ​4、位图计算出现的次数 5、完整代码 1、引入 我们可以看一道面试题 给40亿个不重复的无符号整数,没排过序。给一个无符号整数,如何快速判断一个数…

菜鸡学习netty源码(一)——ServerBootStrap启动

1.概述 对于初学者而然,写一个netty本地进行测试的Server端和Client端,我们最先接触到的类就是ServerBootstrap和Bootstrap。这两个类都有一个公共的父类就是AbstractBootstrap. 那既然 ServerBootstrap和Bootstrap都有一个公共的分类,那就证明它们两个肯定有很多公共的职…

树莓派4B安装安卓系统LineageOS 21(Android14)

1:系统下载 2:下载好镜像后,准备写入SD卡,我这边使用的是 balenaetcher 3:插入树莓派,按照指示一步一步进行配置,可以配置时区,语言。 注意点 1》:想返回的时候按F2 2》:进入系统…

基于springboot实现中药实验管理系统设计项目【项目源码+论文说明】计算机毕业设计

基于springboot实现中药实验管理系统设计演示 摘要 随着信息技术在管理上越来越深入而广泛的应用,管理信息系统的实施在技术上已逐步成熟。本文介绍了中药实验管理系统的开发全过程。通过分析中药实验管理系统管理的不足,创建了一个计算机管理中药实验管…

AI视频教程下载:用ChatGPT提示词开发AI应用和GPTs

在这个课程中,你将深入ChatGPT的迷人世界,学习如何利用其能力构建创新和有影响力的工具。你将发现如何创建不仅吸引而且保持用户参与度的应用程序,将流量驱动到你的网站,并开辟新的货币化途径。 **课程的主要特点:** …

Python异步Redis客户端与通用缓存装饰器

前言 这里我将通过 redis-py 简易封装一个异步的Redis客户端,然后主要讲解设计一个支持各种缓存代理(本地内存、Redis等)的缓存装饰器,用于在减少一些不必要的计算、存储层的查询、网络IO等。 具体代码都封装在 HuiDBK/py-tools: …

蓝桥杯练习系统(算法训练)ALGO-953 混合积

资源限制 内存限制:256.0MB C/C时间限制:1.0s Java时间限制:3.0s Python时间限制:5.0s 问题描述 众所周知,人人都在学习线性代数,既然都学过,那么解决本题应该很方便。   宇宙大战中&…

Python量化炒股的财务因子选股—质量因子选股

Python量化炒股的财务因子选股—质量因子选股 在Python财务因子量化选股中,质量类因子有2个,分别是净资产收益率和总资产净利率。需要注意的是,质量类因子在财务指标数据表indicator中。 净资产收益率(roe)选股 净资…

Linux基础——Linux开发工具(上)_vim

前言:在了解完Linux基本指令和Linux权限后,我们有了足够了能力来学习后面的内容,但是在真正进入Linux之前,我们还得要学会使用Linux中的几个开发工具。而我们主要介绍的是以下几个: yum, vim, gcc / g, gdb, make / ma…

Spark核心名词解释与编程

Spark核心概念 名词解释 1)ClusterManager:在Standalone(上述安装的模式,也就是依托于spark集群本身)模式中即为Master(主节点),控制整个集群,监控Worker。在YARN模式中为资源管理器ResourceManager(国内…

YOLOv9/YOLOv8算法改进【NO.128】 使用ICCV2023超轻量级且高效的动态上采样器( DySample)改进yolov8中的上采样

前 言 YOLO算法改进系列出到这,很多朋友问改进如何选择是最佳的,下面我就根据个人多年的写作发文章以及指导发文章的经验来看,按照优先顺序进行排序讲解YOLO算法改进方法的顺序选择。具体有需求的同学可以私信我沟通: 首推…

如何远程访问连接管理器?

远程访问连接管理器是一种方便的工具,可以实现远程访问计算机和网络设备的功能。它使用户能够从任何地点连接到远程计算机,并进行文件传输、桌面共享和远程控制等操作。远程访问连接管理器不仅提供了便利性,还能提高工作效率,并为…

机器人正反向运动学(FK和IK)

绕第一个顶点可以沿Z轴转动,角度用alpha表示 绕第二个点沿X轴转动,角度为Beta 第三个点沿X轴转动,记作gama 这三个点构成姿态(pose) 我们记第一个点为P0,画出它的本地坐标系,和世界坐标系一样红…

AI智能名片商城小程序:引领企业迈向第三增长极

随着数字化浪潮的席卷,私域流量的重要性逐渐凸显,为企业增长提供了全新的动力。在这一背景下,AI智能名片商城系统崭露头角,以其独特的优势,引领企业迈向第三增长极。 私域流量的兴起,为企业打开了一扇新的销…

知乎广告开户流程,知乎广告的优势是什么?

社交媒体平台不仅是用户获取知识、分享见解的场所,更是品牌展示、产品推广的重要舞台。知乎作为国内知名的知识分享社区,以其高质量的内容生态和庞大的用户基础,成为了众多企业进行广告投放的优选之地。云衔科技通过其专业服务,助…

LabVIEW飞机机电系统综合测试平台

LabVIEW飞机机电系统综合测试平台 在现代航空领域,机电系统的准确性与可靠性对飞行安全至关重要。针对飞机机电管理计算机(UMC)复杂度增加、测试覆盖率低、效率不高等问题,开发了一套基于LabVIEW的机电系统综合测试平台。平台通过…