Doris实践——同程数科实时数仓建设

目录

前言

一、早期架构演进

二、Doris和Clickhouse选型对比

三、新一代统一实时数据仓库

四、基于Doris的一站式数据平台

4.1 一键生成任务脚本提升任务开发效率

4.2 自动调度监控保障任务正常运行

4.3 安全便捷的可视化查询分析

4.4 完备智能的集群监控

五、收益与成果

六、未来规划


   原文大佬介绍的这篇Doris实时数仓建设有借鉴意义,现摘抄下来用作沉淀学习。如有侵权,请告知~

前言

     同程数科是同程集团旗下的旅游产业金融科技服务平台,近年来,随着同程数科业务的不断拓展和用户量的不断增加,越来越需要一个可靠、高效的数据中心,以帮助企业更好地了解业务运营情况和制定策略,这包括不限于建立实时业务报表看板,实时业务指标预警,营销用户画像与标签,以及金融风控实时监测等分析工具。因此,更加关注于实时数仓的构建,希望利用数仓帮助业务人员提升数据开发效率与质量,从而为业务分析提供强大的后盾。

   如今,数仓架构已经经历了三代演进,在经过第一代离线架构与第二代Lambda 架构的使用后,通过需求分析与调研,最终引入了Doris搭建统一的实时数据仓库。下文将详细介绍三代架构的演进过程,分享如何基于Doris 搭建一站式数据平台 Ark,以及如何在业务使用,系统维护,数仓开发等方面达到降本增效的收益与成果。

一、早期架构演进

     在大数据技术发展和运用的初期,同程数据以 Apache Hive 为核心建立了离线数仓,并使用Hive进行数仓分分层,当数据从源头进入离线数仓后,通过ODS,DWD,DWS层级处理,数据输出至MySQL、Redis、HBase 等应用数据库,以供报表平台使用。该架构虽然具有耦合性低、稳定性高等优势,但其缺点也比较明显,主要体现在:当进行局部更新时需要对数据进行全量合并,流程冗长,使数据更新时间变长,时效性无法得到保证。随着数据规模不断增加,局部更新需求越来越多,该架构在数据计算效率低下和资源利用不充分的弊端也变得愈加明显。

   基于第一代架构存在的问题,我们对架构进行了升级改造。第二代架构为典型的Lambda 架构,在保留原有离线数仓的同时,新增了以 Apache  Flink 与 Apache Kafka为核心的实时数仓。在该架构中,离线链路主要对数据进行批量处理,负责解决周期性数据跑错的问题,新增的实时链路利用 Flink 对于数据源进行流式处理、利用 Kafka对数仓分层,最终输出至应用数据库

   尽管该架构解决了第一代架构中数据时效性较低的问题,但是发现仍存在一些使用痛点:

  • 架构复杂,运维难度高:由于两套链路同时运行,实时链路需要通过 Apache Flink 与 Apache Kafka 对数据进行流处理,离线链路需要利用 Apache Hive 与 Apache Spark对数据进行批处理,并且两条链路的维表层中均利用 MySQL 或 Redis 进行存储,这导致整体架构涉及的组件过多,数据处理流程过于复杂。除此之外,该架构会重复计算相同的数据,导致整体资源占用增加、运维管理成本增加,后期维护难度增加。
  • 数据开发成本高:实时数仓部分完全依赖 Apache Kafka进行数仓分层,而Kafka对于数据存储周期具有限制,新的数据导入任务需要进行额外的开发工作,还将极大增加开发成本。
  • 数据一致性低:相同的数据在实时数仓中流处理,离线数仓中批处理,存在数据处理逻辑不统一的问题,数据不一致与准确性得不到保障,由于无法复用第一代架构中的数据血缘,数据质量等管理体系,在运行过程中,当实时链路出现乱序问题时,需要回放全量日志进行数据回溯,增加数据修复的复杂性。

二、Doris和Clickhouse选型对比

  为了彻底解决早期架构的问题,在引入新架构之前,我们决定进行深度的产品调研来选择更适合的数仓搭建方案。后发现 MPP 架构数据库能够支持统一实时的数据分析,可以有效解决 Lambda 架构复杂,数据一致性无法保障的问题,而这一产品细分下,Doris与Clickhouse比较匹配业务诉求。基于此,对这两款MPP架构数据库进行了选型对比,并发现Doris的表现更加优异,非常符合我们的选型要求,具体表现如下:

  • 产品易用性:ClickHouse 不支持标准 SQL,而 Doris支持标准 SQL 并兼容 MySQL 协议,使开发人员上手简单,不需要付出额外的学习成本。

  • Join性能优异:Doris支持分布式Join,查询灵活度较高,且性能表现优异。而ClickHouse由于Join查询限制,函数局限性以及可维护性较差等原因,不满足我们当前的业务需求。

  • 数据导入:Doris的数据导入功能完备,支持 Routine Load、Stream Load 和 JDBC Insert Into等多种导入方式,即使在海量数据也能保持数据稳定写入,性能与速度远远高于ClickHouse。

  • 运维难度:Doris架构精简,只有FE和BE两种角色,整体部署简单快速,在扩容方面非常快捷,支持滚动升级,只需要替换相关安装包即可。而Clickhouse对组件的依赖较高,在使用和扩容上需要做很多准备工作,这就要求提供专业的团队来支撑日常的开发与运维工作。

  此外,Doris可以支持实时数据服务,交互数据分析和离线数据处理等多场景。Multi-Catalog 提供了联邦查询的能力,支持对多个数据源进行读取,提高数据的准确性和质量,简化任务开发流程。此外,这一功能可以使开发人员更快速地找到所需数据,减少查询时间和成本,提高查询效率。因此 Doris 的高效运行性能和低开发成本的优势,更符合对一站式数据平台搭建的需求。

三、新一代统一实时数据仓库

    引入 Doris 后对架构进行了重构,如上图所示,使用Doris统一进行数据存储与计算,完全替代了原先的离线架构和Lambda 架构,并构建了一站式数仓,不仅保证了数据的一致性,还实现了架构的精简,极大降低了架构运维成本。其次,在数据源进入实时数仓时,新增了 Input 统一数据集成引擎,支持多种异构数据源的数据同步,实现数据入口的统一。总而言之,Doris 的引入真正帮助实现了数据集成,存储,计算,输出方面的统一,真正意义上实现了实时统一数仓。

四、基于Doris的一站式数据平台

   基于新一代的数仓,搭建了一站式数据平台 Ark,希望通过该数据平台实现任务开发,任务提交与测试,任务调度与监控,数据查询,集群监控等一体化服务,为内部人员在实时业务中提升任务开发效率,提高任务监控质量。在平台构建之前,对于目标进行了拆解梳理:

  • 数据开发:希望外部数据接入Doris时可以高效地进行ETL开发,提升报表产出速度。
  • 调度管理:在业务人员开发完成并上线任务后,需要保证任务调度的稳定性以及调度恢复能力,避免问题发生。
  • 数据查询:由于生产与办公网络中间有隔断,办公网络不能直接使用生产网络的连接,只能通过 Web 形式解决网络隔断,希望借助平台能够提供安全便捷地查询和分析方式。

4.1 一键生成任务脚本提升开发效率

    Doris支持丰富的数据源接入,利用这一功能,在 Ark 平台中可以根据不同的数据源,获取相对应的元数据信息来形成脚本,实现任务快速生成。在数据接入方面,平台进行了半自动化代码的相关工作,并创建了快速生成组件。如上图所示,在平台中输入数据源或表的信息可以自动生成Routine Load 脚本。基于该脚本,只需要对 Apache Kafka 接入源进行 Topic 修改,即可马上生成 Routine Load 任务。同样,对于 Broker Load的任务开发原理相同,在选择对应的数仓源之后,可以及时生成Broker Load 所需脚本。利用 Doris多源异构数据的写入能力,平台能够快速构建代码,实现对 Routine Load 与 Broker Load 的高效任务开发。

4.2 自动调度监控保障任务正常运行

  在任务开发与提交后,平台可以针对Routine Load或Broker Load任务进行查询,检查是否存在异常等常规调度操作,对于需要特别关注的任务,可以加入监控列表,这样系统会定期自动地对任务进行扫描,发生问题时会进行提示并尝试将任务重新拉起。此外,由于Routine Load是常驻进程,对于该任务的监控,平台支持定期且持续的自动化监控功能,而对于 Broker Load 与其他常规任务,平台在定期扫描后会对失败的任务进行预警提示。

4.3 安全便捷的可视化查询分析

   由于生产与办公网段隔离,只能通过 Web 进行查询,使用起来繁琐且不方便。为了解决这个问题,曾经尝试使用集成 Hue 的方式,使 Doris 通过 MySQL 协议连接到Hue进行数据查询,虽然查询过程有所简化,但是这种方法存在数据安全隐患。因此,同程数科自行开发了内部查询分析页面,设置了权限管理,解决了查询安全性的问题。同时在 Ark 平台中集成了 Doris Help功能,使业务人员能够通过关键字搜索进行 SQL 语法和示例的查询,解决常规查询操作问题,以此降低学习成本,提高内部人员查询的便捷性。

4.4 完备智能的集群监控

   通过 Doris 集群监控页面可以实时监管 FE 、BE 以及 Broker节点状况。当集群发生异常状况时,监控系统会发送自动提醒并尝试将集群拉起,及时对异常情况进行自动化处理,避免引发更大的问题。同时集群监控看板也可以帮助观察节点的健康度情况,通过FE节点状态判断健康度高低。

五、收益与成果

   当前同程数科已经基于Doris 搭建了高度统一实时的数据仓库,并使用数十台Doris节点机器。此外,还将 Doris 功能平台化至 Ark 一站式数据平台中,对于 Doris 的引入带来了以下收益与成果:

  • 缩减开发周期:利用平台一键开发功能,业务人员能够自主开发,无需将需求提给大数据团队,开发时间由原来的半小时缩短到仅需三分钟,显著压缩了任务开发周期,开发效率提升了十倍;
  • 灵活数据开发:配合Ark一站式数据平台,数据开发能够灵活分析,需要可以快速上线;
  • 统一数据处理:Doris在数据导入、存储、计算实现统一,保证数据一致性,实现真正意义的实时统一;
  • 提升查询效率:从过去分钟级响应时间到当前的秒级甚至毫秒级,查询效率得到数十倍提升。
  • 降低学习成本:因为 Apache Doris 兼容 MySQL 协议,并且使用标准 SQL,在使用上简单易用。业务人员能够如同使用数据库一样使用大数据,从而进一步降低学习成本;

  • 降低运维成本: Doris 的部署简单,精简架构使整体链路体系简洁,便于维护。

六、未来规划

    未来将会持续建设并优化基于Doris 一站式实时数仓架构,完善统一计算和存储、流批一体能力。对于 Ark 一站式数据平台持续迭代增强,整个实时数仓体系向着时效性、稳定性、灵活性发展。完善 Ark 数据集成平台的图形化功能,持续增加更多异构数据源之间的数据同步功能,增强引擎对数据的处理能力。

    其次,将持续关注 Apache Doris 在数据湖分析方面的能力,希望在湖中能够对多源异构数据进行采集,实现数据统一存储、统一多范式计算,最后由Doris 的 API 接口统一对外提供服务。另外在后续的架构优化中会考虑利用倒排索引替换现有的日志系统,利用更新的 Json 数据类型进一步完善查询能力。

参考文章:

同程数科基于 Apache Doris 构建统一实时数仓,查询提速数十倍!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/297398.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

基于单片机的无线红外报警系统

**单片机设计介绍,基于单片机的无线红外报警系统 文章目录 一 概要二、功能设计设计思路 三、 软件设计原理图 五、 程序六、 文章目录 一 概要 基于单片机的无线红外报警系统是一种结合了单片机控制技术和无线红外传感技术的安防系统。该系统通过无线红外传感器实…

Excel、PowerQuery 和 ChatGPT 终极手册(下)

原文:Ultimate ChatGPT Handbook for Enterprises 译者:飞龙 协议:CC BY-NC-SA 4.0 使用 SUMIFS、SUMPRODUCT、AGGREGATE 和 MAX 函数查找数值数据 其中之一鲜为人知的事实是,当查找单个数值时,匹配和三角函数可能比查…

哈佛大学商业评论 -- 第二篇:增强现实是如何工作的?

AR将全面融入公司发展战略! AR将成为人类和机器之间的新接口! AR将成为人类的关键技术之一! 请将此文转发给您的老板! --- 本文作者:Michael E.Porter和James E.Heppelmann 虽然物理世界是三维的,但大…

视觉大模型--deter的深入理解

但对于transformer用于目标检测领域的开创性模型,该模型言简意赅,但是但从论文理解,有很多细节都不清楚,尤其是解码器的query和二分图匹配(Bipartite Matching)和匈牙利算法(Hungarian Algorithm)相关,本文将根据代码详…

Android自定义view;实现掌阅打开书籍动画效果

这里利用自定义view的方式来处理,初始化数据,camera通过setLocation调整相机的位置,但是Camera 的位置单位是英寸,英寸和像素的换算单位在 Skia 中被写成了72 像素,8 x 72 576,所以它的默认位置是 (0, 0, …

文件操作(详解)

该片博客有点长大家可以通过目录选择性阅读 这是个人主页 敲上瘾-CSDN博客 目录 1. 为什么使⽤⽂件? 2. 什么是⽂件? 2.1 程序⽂件 2.2 数据⽂件 2.3 ⽂件名 3. ⼆进制⽂件和⽂本⽂件? 4. ⽂件的打开和关闭 4.1 流和标准流 4.1.1 流…

Java 包装类初识泛型

登神长阶 第六阶 包装类&初识泛型 目录 😀一.包装类 😄1.基本数据类型以及其对应的包装类 😂2.装箱和拆箱 😇2.1.装箱(Boxing) 😉2.2.拆箱(Unboxing) &#x…

【项目技术介绍篇】若依项目代码文件结构介绍

作者介绍:本人笔名姑苏老陈,从事JAVA开发工作十多年了,带过大学刚毕业的实习生,也带过技术团队。最近有个朋友的表弟,马上要大学毕业了,想从事JAVA开发工作,但不知道从何处入手。于是&#xff0…

55 npm run serve 和 npm run build 的分包策略

前言 这里我们来看一下 vue 这边 打包的时候的一些 拆分包的一些策略 我们经常会使用到 npm run build 进行服务的打包 然后 打包出来的情况, 可能如下, 可以看到 chunk-vendors 是进行了包的拆分, 我们这里就是 来看一下 这里 npm run build 的时候的, 一个分包的策略 测试…

【Linux实验室】NFS、DHCP的搭建

NFS、DHCP的搭建 1、nfs服务搭建及测试什么是NFS?环境准备服务端机器安装nfs-utils和rpcbind包启动NFS服务创建/data/NFSdata目录,配置nfs文件启动服务挂载测试在服务端在共享目录下创建文件测试在客户端在共享目录下创建文件 2、dhcp服务搭建及测试什么…

如何保护IP地址不被泄露?

当互联网成为每个家庭的重要组成部分后,IP地址就成了你的虚拟地址。您的请求从该地址开始,然后 Internet 将消息发送回该地址。那么,您担心您的地址被泄露吗? 对于安全意识高或者某些业务需求的用户,如果您正在寻找保护…

element-ui empty 组件源码分享

今日简单分享 empty 组件的源码实现,主要从以下三个方面: 1、empty 组件页面结构 2、empty 组件属性 3、empty 组件 slot 一、empty 组件页面结构 二、empty 组件属性 2.1 image 属性,图片地址,类型 string,无默认…

Facebook轮播广告是什么?投放过程中有哪些需要注意的吗?

轮播广告是Facebook广告形式中的一种,可以把3—5个广告合并到一个可滚动的广告单元中。轮播广告会出现在新鲜事即News Feed中,是独立站卖家常用的一种广告形式 为什么选择轮播广告? 转化率更高:相较于单图广告,轮播广…

LeetCode-热题100:2. 两数相加

题目描述 给你两个 非空 的链表,表示两个非负的整数。它们每位数字都是按照 逆序 的方式存储的,并且每个节点只能存储 一位 数字。 请你将两个数相加,并以相同形式返回一个表示和的链表。 你可以假设除了数字 0 之外,这两个数都…

Day43 动态规划 part05

Day43 动态规划 part05 1049.最后一块石头的重量II 我的思路: 提示说和划分两个和相等的子集差不多,猛然想到,这道题不就是划分子集,用sum - 和最大*2 代码就是划分和相同的子集的变形 解答: class Solution {public int last…

Cache多核之间的一致性MESI

快速链接: 【精选】ARMv8/ARMv9架构入门到精通-[目录] 👈👈👈 思考: 1、为什么要学习MESI协议? 哪里用到了?你确定真的用到了? 2、MESI只是一个协议,总得依赖一个硬件去执行该协议吧&#xff0c…

蓝桥杯 --- 日期问题模板

目录 1.如何判断闰年 2.如何遍历当前年份的每一天 3.如果想要输出某一年某一天到某一年某一天之间一共有多少天。 4.精确到具体周几到周几的问题分析 5.如何直接通过一层for循环枚举年月日 习题: 蓝桥杯竞赛特别喜欢考日期问题,今天给大家分享一下…

VMware虚拟机安装Linux教程

以管理员身份运行VMware 按一下win键不然显示不全 重启即可。

什么是智慧公厕?智慧旅游下的智慧公厕功能和特点

智慧旅游下的智慧公厕功能和特点?智慧旅游是景区、公园、游乐场、文化场馆等领域的一种信息化解决方案,智慧公厕是智慧旅游极为重要的一部分,能大大提升游客满意度。智慧公厕采用物联网、互联网、大数据、云计算等技术,实现旅游景…

【Spring实战项目】SpringBoot3整合WebSocket+拦截器实现登录验证!从原理到实战

🎉🎉欢迎光临,终于等到你啦🎉🎉 🏅我是苏泽,一位对技术充满热情的探索者和分享者。🚀🚀 🌟持续更新的专栏《Spring 狂野之旅:从入门到入魔》 &a…