Paimon 在汽车之家的业务实践

汽车之家基于Paimon的实践

摘要:本文分享自汽车之家的王刚、范文、李乾⽼师。介绍了汽车之家基于 Paimon 的一些实践,和一些背景。内容主要为以下四部分:

一、背景

二、业务实践

三、paimon 优化实践

四、未来规划

一、背景

在使用Paimon之前,之家的实时/离线数仓分别使用不同的技术方案:

  1. 离线数仓的方案是使用Hive将数据加工成天/小时级别的表

这个方案非常成熟,几乎所有数据仓库团队成员都能熟练掌握。对于业务方而言,其开发和维护成本较低。但是这种方案生成的表通常会有较长时间的数据延迟(如天或小时),数据新鲜度相对较低。此外,在夜间可能还会出现大量的ETL任务竞争资源,导致资源紧张。

  1. 实时数仓采用的方案是基于Flink、Kafka,关系型数据库和Redis等技术栈,并结合StarRocks做实时OLAP

由于数据都是实时处理,因此可以保证数据的新鲜度,一般情况下延迟能做到秒级。然而,当SQL比较复杂时,尤其是存在多个Group by, Join算子时,会导致Flink处理的回撤流翻倍,Flink状态体积非常庞大,使用大量的计算存储资源。这种场景在任务的开发和维护方面可能会带来较大的挑战。任务的开发周期也因此会较离线的方案长很多。

在20年底,我们开始调研Iceberg通过流式湖仓的方式在存储上作为实时和离线数据的统一存储方案。Iceberg架构非常的简洁健壮、集成Flink可以做到分钟级别的数据延迟、并且通过自身维护元数据减少了Hive MetaStore的压力、可以灵活且高效地处理表结构变更、支持排序索引等功能可以有效地提升查询效率等优点非常多。但是经过一段时间的使用后,我们发现Iceberg更适合批处理场景,在流场景的一些必要功能的缺失比如增量且有序读取,实时任务在线schema变更,缺少部分更新导致无法满足我们流式湖仓的需求。

我们在23年开始调研Apache Paimon,Paimon提供了类似于Iceberg的简洁健壮的架构,并且功能非常强大。与Flink也集成得非常完善,提供了增量且有序的数据读取、部分更新等能力,结合Flink CDC可以实现整库同步,在线Schema变更等,满足了我们对于流式湖仓的需求。而且Paimon作为一个相对较新的数据湖,没有太多的历史负担,这对于其他数据湖来说这一点有着非常巨大的优势。

我们最终使用了Paimon作为存储流批一体的解决方案。实时和离线数据共享同一份存储,这样做降低了开发和维护的难度,提高了数据仓库的整体数据新鲜度。此外,我们还通过使用StarRocks建立物化视图和使用Sort Compaction功能等技术手段来进一步提升查询效率,节省计算资源。

二 、业务实践

在下文中将给大家分享之家基于Paimon的业务实践:

  • 新用户转化分析

(1)使用Paimon主键表的部分更新功能

(2)使用StarRocks建物化视图加速Paimon表的查询

  • 流量日志入湖

(1)使用Paimon的Append表

(2)使用Paimon的Sort Compaction功能加速Paimon表的查询,提升查询效率,减少资源消耗

  • 资源入湖

使用Paimon主键表的Upsert功能

2.1 新用户转化分析

新用户转化分析是一种对新用户在产品中行为变化的分析方法,通过观察新用户在其首次进入APP的行为,分析他们在后续阶段的转化过程。这种分析对于理解产品的用户采用情况、改进用户体验、提高用户留存率等方面具有重要的意义。为了实时获取新用户进入之家APP后在同步落地页的转化情况,需将用户的行为路径和订单数据关联,通过综合分析新用户在产品或服务中的行为,可以更加全面地改进产品体验,并制定更具针对性的策略,从而提高用户转化率。在这个场景中,我们使用到了Paimon的部分更新功能,按照用户ID部分更新对应主题的数据。

2.1.1 实现

(1)构建新用户宽表

CREATE  TABLE if not exists new_user_transform (user_id String,new_user_type String,channel_name String,land_page String,
....primary key (deviceid,dt) not enforced) partitioned by (dt)WITH ('bucket-key' ='deviceid','bucket' = 'xx','full-compaction.delta-commits'='5','merge-engine' ='partial-update','partial-update.ignore-delete'='true',)

(2)处理数据写入到Paimon

1)通过Flink的interval window 计算新用户在5分钟内进入过的承接页

CREATE TEMPORARY VIEW new_user_view AS
select
l.deviceid,
r.page_id as land_page
from
(select time_ltz, deviceid, channelid, proctime
from  new_user) l
left join
(select  page_id, deviceid, time_ltz
from user_page_view_log) r
on upper(l.deviceid) = upper(r.deviceid)
and r.time_ltz > l.time_ltz and r.time_ltz < l.time_ltz + INTERVAL '5' MINUTE

2)通过Paimon的部分拼接功能将数据拼接到Paimon表

宽表字段由多个数据源提供,直接使用 Union All 的方式进行拼接, 数据在存储层进行 Join 拼接,与计算引擎无关,不需要保留join算子的状态,节省资源。

insert into new_user_transform
select user_id ,user_info,CAST(NULL AS STRING),CAST(NULL AS STRING) from new_user_view
union all
select user_id,case(NULL AS STRING),order_info,case(NULL AS STRING) from order
union all
....

3)在StarRocks构建Paimon物化视图

此外,为了提升拼接后的宽表的查询效率,我们开发了基于Paimon外表的StarRocks的物化视图功能。目前基于Paimon外表的物化视图功能已经贡献给了StarRocks社区,会在StarRocks 3.2版本发布

CREATE MATERIALIZED VIEW  new_user_trans_mv COMMENT "laxin_toufang_by_loudou_mv" DISTRIBUTED BY RANDOM    PARTITION BY (`pdt`) REFRESH DEFERRED MANUAL  PROPERTIES(  "replication_num" ="5", "storage_medium"="HDD") as
select  str2date(dt,'%Y-%m-%d') pdt, hour,  COALESCE(new_user_type,'all'),  
COALESCE(channel_type,'all'),COALESCE(new_channel_name,'all'),  COALESCE(land_page,'all'),count(distinct  deviceid) as uv,  count(distinct case when entry_show = '1' then deviceid else null end) as entry_show,count(distinct case when entry_click = '1' then deviceid else null end) as entry_click,count(distinct case when page_show = '1' then deviceid else null end) as page_show,count(distinct case when page_click = '1' then deviceid else null end) as page_click,count(distinct case when is_login = '1' then deviceid else null end) as is_loginFROM  paimon_catalog_fdm.rt_feature_db.laxin_toufang_by_loudou where new_user_type is not null and channel_type is not null and new_channel_name is not null and land_page is not null 
group by grouping sets((dt,hour), (dt,hour,new_user_type), (dt,hour,channel_type),
(dt,hour,new_channel_name), (dt,hour,land_page),
(dt,hour, new_user_type, channel_type, new_channel_name, land_page),  
(dt,hour,new_user_type, channel_type, new_channel_name),
(dt,hour, new_user_type, channel_type, land_page),
(dt,hour,channel_type, new_channel_name,land_page),
(dt,hour,new_user_type, channel_type),
(dt,hour, new_user_type, new_channel_name),
(dt,hour, new_user_type, land_page),
(dt,hour, channel_type, new_channel_name),
(dt,hour,channel_type, land_page),
(dt,hour,new_channel_name, land_page));

4)手动刷新物化视图

除了自动按增量分区刷新物化视图,用户还可以选择手动刷新物化视图。

REFRESH MATERIALIZED VIEW new_user_trans_mv 
partition start ("2023-11-10") end ("2023-11-11") 
WITH SYNC MODE;

5)最终效果:

  • 1天的宽表在10秒左右刷新完成

  • 查询每天的物化视图效率在亚秒级

(3)收益

  • 时效性: 宽表时效性从天级别提升到分钟级别

  • 开发效率:开发效率提升5倍以上

  • 使用资源:因为Join的数据不再需要维护在状态中,Flink写入任务使用的资源节省了60%

2.2 流量日志入湖

将之家的流量日志基表打宽入湖,可以提升数仓日志清洗的时效性SLA。在提升数据时效性的同时,为提升特定事件的分析查询效率,通过Paimon的排序合并(Sort Compaction)功能,可以根据统计信息快速定位event_id所在的数据数据文件,排序后,不用读取分区所有的数据文件,可减少计算引擎的使用资源, 极大提升查询效率。这里使用了Paimon的append only表近实时追加流量日志。

2.2.1 Sort Compaction

这里因为event_id存在热点问题,为了保证排序分桶均匀,使用event_id,device_id两个字段排序。因为使用的最左匹配策略,所以不会影响基于event_id字段的查询效率

./bin/flink run-application -t yarn-application -D execution.runtime-mode=batch paimon-flink-action.jar \
compact \
--warehouse viewfs://xxxx\
--database pmon_dw \
--table pmon_user_log \
--partition dt=2023-11-10,hour=23 \
--order-strategy order \
--order-by event_id,device_id \
--table-conf read.batch-size=2048 

在Paimon的元数据中会维护event_id的统计信息,如下图所示:在按照event_id排序后,会根据统计信息判断出 evnet_id = 'sight_b’的数据只存在File1、File2中,所以只查询数据文件File1,File2即可。在查询Paimon表的plan阶段可以根据统计信息很高效的命中文件,Hive不用查询分区内的所有文件,从而节省查询使用的资源、提高查询效率。

**(1) 收益 **

1)数仓流量日志清洗SLA提升1小时+;

2)天分区的数据使用Hive通过查询不同数量级的event_id,资源节省再显著降低的同时,查询效率也得到显著提升。

排序前排序后(根据event_id的量级范围测试)
mapper数3304524-1367
查询效率(分钟)203到6分钟

2.3 资源入湖

2.3.1 背景

资源指在推荐和搜索系统中用于展现给用户浏览观看的文章,视频,帖子,车家号等不同种类的内容。这些内容分别来自不同的生产方,不同的数据源。在传统的数仓处理流程汇中,我们采用常规的离线同步业务数据的方式,形成ODS接入层数据。而后,针对接入层的各类来源信息,通过hive,spark等离线计算引擎,完成数据的归总,最终形成资源数据模型。这种传统的方式受限于整套组件的机制,形成常规的天级数据更新模式。这种方式可以获取昨日数据,单也不可避免的无法满足获取当日数据的需求。

为了解决这类问题,我们通过使用Flink的实时处理数据,结合paimon的数据湖近实时存储。使用到Paimon表upsert的功能,近实时以分钟级别的方式更新实时数据。以数湖的方式,既可以满足离线昨日数据,也可以满足当日新增数据获取的目的。

2.3.2 业务规模

资源数据来源8套不同业务线的内容生产方,每套业务线数据平均包含200余个属性字段,合计超过1500个不同属性的逻辑处理。

2.3.3 实现逻辑

(1)通过参考数仓宽表层的处理模式,将大量数据进行合并,形成50个核心属性,其余属性通过可扩展json的形式进行存储,完成整体数据落地。保证业务方可以根据需求获取到每一个参数。

(2)主键由业务表主键与业务类型拼接生成,保证不同业务之间不会互相倍覆盖。

CREATE  TABLE if not exists resource_extend_info (pk stringbiz_id string,biz_typle string,...extinfo stringprimary key (pk) not enforced) WITH ('bucket' = 'xx','bucket-key' ='pk','full-compaction.delta-commits'='5','target-file-size'='256 mb',)

将不同类型的资源数据写入到Paimon业务库

insert into resource_extend_info
select pk ...,extinfo from article
union all 
select pk ..., extinfo from post
union all
.....
2.3.4 收益

(1)数据新鲜度从天级提升到分钟级别

通过数据实时接入和宽表层的实时入湖,数据使用方从原有的天级离线模式,可以提升到分钟级数据新鲜度,这是之前数仓场景无法比拟的。湖仓模式打破了原有离线的工作模式,让下游算法在模型计算的时候可以取到最新的样本,提升模型的时效。

(2)下游业务方平滑过渡,无需业务大量开发调整

基于paimon的数据湖可以直接让下游开发者,无需脱离现有的hive离线数仓环境,直接使用hive环境读取paimon数据表,就可以获取到最新的当日的数据。这让下游算法,数据分析人员,可以0成本的过渡到数湖,无需学习成本。

三、 Paimon 优化实践

3.1 支持代理用户

在之家实时计算平台,目前是使用同一个Haoop用户Flink去提交Flink任务,Checkpoint也通过一些规则被同一用户管理。为了能让平台的Flink用户将数据写到其他团队的数据集市,我们在Paimon的Catalog添加了代理用户的配置。

CREATE CATALOG my_catalog WITH ('type' = 'paimon','warehouse'='xxx','metastore' = 'hive','uri' ='xxx','proxyUser'='xxx'
)
3.1.1 实现

(1)HDFS: 直接通过ugi代理即可

(2)Hive客户端

可以参考Spark的org.apache.spark.deploy.security.HiveDelegationTokenProvider实现,动态代理Hive的客户端。

3.2 优化写入任务内存占用

3.2.1 Writer算子

(1)关闭较大列的数据字典

(2)调低orc文件的读/写 batch size

(3)在checkpoint阶段如果文件数量到达阈值,先等待合并任务完成,避免大量小文件堆积到L0层

3.2.2 Commiter算子

(1)Manifest添加Full Compaction机制

(2)截断Manifest统计信息

(3)单独设置committer 算子内存

3.2.3 JobManager

修复由于writer状态未及时更新,导致Jobmanager中的list state膨胀导致mom

3.2.4 最终收益

(1)目前Paimon在之家的部分更新场景最大的主键表每天增量数据10个TB,单字段大小2-4MB的主键表

(2)线上写入Paimon的Flink任务稳定性显著提升

(3)在使用了社区在内存方面的优化同时,我们提出的在内存方面的优化已经全部被社区采纳,在Paimon 0.5以上版本开箱即用,目前0.5以上的版本已经是非常稳定的版本

四 、未来规划

1. 之家实时计算平台集成 Paimon Web 项目

目前在之家,我们通过实时计算平台实现了Paimon表的写入集成工作。接下来,我们计划将这一部分功能提取出来,通过将社区的Paimon Web项目集成到之家实时计算平台,来管理 Paimon 表和写入任务。

2. 支持StarRocks基于Paimon外表的增量数据构建物化视图 (目前是基于变更分区)

我们计划实现基于Paimon的增量数据刷新物化视图,相比于目前基于Paimon的增量分区的方案,可以缩短物化视图的刷新时间,提升刷新效率。

3. 使用Paimon 定期生成标签功能替换离线拉链表的加工流程

在之家每天夜里会有上万个拉链表的加工任务,占用两个小时的加工时间。Paimon定期生成标签功能相较于加工拉链表会更加轻量,我们计划使用Paimon定期生成标签功能去缩短夜里加工任务的耗时,提升夜里加工任务的时效性SLA。

作者简介

1. 王刚

■ 汽车之家高级大数据开发工程师

■ 主要负责之家实时计算,Kafka,数据湖,向量检索平台及引擎的开发维护工作。

2. 李乾

■ 汽车之家高级大数据开发工程师

■ 主要从事数据仓库领域的开发工作。目前负责之家实时数仓相关数据建设工作。

3. 范文

■ 汽车之家高级大数据开发工程师

■ 主要负责数仓建设,业务数据开发,数仓数据治理,数据湖开发,资源内容特征等工作。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/367850.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Java---Mybatis详解二

雄鹰展翅凌空飞&#xff0c; 大江奔流不回头。 壮志未酬心未老&#xff0c; 豪情万丈任遨游。 巍巍高山攀顶峰&#xff0c; 滔滔黄河入海流。 风云变幻凭君舞&#xff0c; 踏遍天涯尽逍遥。 目录 一&#xff0c;环境准备 二&#xff0c;删除 三&#xff0c;删除(预编译SQL) 为什…

无法定位程序输入点Z9 qt assertPKcS0i于动态链接库F:\code\projects\06_algorithm\main.exe

解决方法&#xff1a; 这个报错&#xff0c;是因为程序在运行时没要找到所需的dll库&#xff0c;如果把这个程序方法中对应库的目录下执行&#xff0c;则可正常执行。即使将图中mingw_64\bin 环境变量上移到msvc2022_64\bin 之前也不可以。 最终的解决方法是在makefile中设置环…

RealMAN:大规模真实录制且经过注释的麦克风阵列数据集

在深度学习驱动的多通道语音增强和声源定位系统的开发中&#xff0c;由于缺乏大规模的真实录制数据集&#xff0c;这些系统的训练在很大程度上依赖于房间脉冲响应&#xff08;RIR&#xff09;和多通道扩散噪声的模拟。然而&#xff0c;模拟数据和真实世界数据之间存在的声学失配…

QStringListModel 绑定到QListView

1.QStringListModel 绑定到listView&#xff0c;从而实现MV模型视图 2.通过QStringListModel的新增、删除、插入、上下移动&#xff0c;listView来展示出来 3.下移动一行&#xff0c;传入curRow2 的个人理解 布局 .h声明 private:QStringList m_strList;QStringListModel *m_m…

[译]Reactjs性能篇

英文有限&#xff0c;技术一般&#xff0c;海涵海涵&#xff0c;由于不是翻译出身&#xff0c;所以存在大量的瞎胡乱翻译的情况&#xff0c;信不过我的&#xff0c;请看原文&#xff5e;&#xff5e; 原文地址&#xff1a;https://facebook.github.io/react/docs/advanced-per…

Servlet_Web小结

1.web开发概述 什么是服务器&#xff1f; 解释一&#xff1a;服务器就是一款软件,可以向其发送请求,服务器会做出一个响应. 可以在服务器中部署文件,让他人访问 解释二&#xff1a;也可以把运行服务器软件的计算机也可以称为服务器。 web开发&#xff1a; 指的是从网页中向后…

Android LayoutInflater 深度解析

在 Android 开发中&#xff0c;LayoutInflater 是一个非常重要的工具。它允许我们从 XML 布局文件中动态地创建 View 对象&#xff0c;从而使得 UI 的创建和管理更加灵活。本文将深入解析 android.view.LayoutInflater&#xff0c;包括它的基本用法、常见问题以及高级用法。 什…

idea xml ctrl+/ 注释格式不对齐

处理前 处理后 解决办法 取消这两个勾选

【UE5.3】笔记6-创建可自由控制Pawn类

搭建场景 搭建一个场景&#xff1a;包含地板、围墙。可以根据喜好加一些自发光的效果。 增加食物 创建食物蓝图类&#xff0c;在场景里放置一些食物以供我们player去吃掉获取分值。 创建可控制的layer 我们先右键创建一个蓝图继承自pawn类&#xff0c;起名BP_Player&#xf…

深度学习之半监督学习:一文梳理目标检测中的半监督学习策略

什么是半监督目标检测&#xff1f; 传统机器学习根据训练数据集中的标注情况&#xff0c;有着不同的场景&#xff0c;主要包括&#xff1a;监督学习、弱监督学习、弱半监督学习、半监督学习。由于目标检测任务的特殊性&#xff0c;在介绍半监督目标检测方法之前&#xff0c;我…

视频融合共享平台LntonCVS统一视频接入平台智慧安防应用方案

安防视频监控平台LntonCVS是一款拥有强大拓展性和灵活部署能力的综合管理平台。它支持多种主流标准协议&#xff0c;包括国标GB28181、RTSP/Onvif、RTMP等&#xff0c;同时兼容各厂家的私有协议和SDK&#xff0c;如海康Ehome、海大宇等。LntonCVS不仅具备传统安防视频监控功能&…

PHP电商系统开发指南最佳实践

电子商务系统开发的最佳实践包括&#xff1a;数据库设计&#xff1a;选择适合关系型数据库&#xff0c;优化数据结构&#xff0c;考虑表分区&#xff1b;安全&#xff1a;加密数据&#xff0c;防止 sql 注入&#xff0c;处理会话管理&#xff1b;用户界面&#xff1a;遵循 ux 原…

mysql-sql-第十四周

学习目标&#xff1a; sql 学习内容&#xff1a; 40.查询学过「哈哈」老师授课的同学的信息 Select * from students left join score on students.stunmscore.stunm where counm (select counm from teacher left join course on teacher.teanmcourse.teanm where teache…

【深度学习】Transformer

李宏毅深度学习笔记 https://blog.csdn.net/Tink1995/article/details/105080033 https://blog.csdn.net/leonardotu/article/details/135726696 https://blog.csdn.net/u012856866/article/details/129790077 Transformer 是一个基于自注意力的序列到序列模型&#xff0c;与基…

伺服调试三环讲解

在伺服调试过程中,有些项目要求不高,采用伺服自整定就可以调试好伺服,但有些项目对伺服有着比较高的要求,于是需要采取手动调试伺服参数,下面就介绍一下伺服三环参数的调试的方法。 三环指:电流环、速度环、位置环 带宽关系:电流环带宽>速度环带宽>位置环带宽 三环控…

C语言单链表的算法之插入节点

一&#xff1a;访问各个节点中的数据 &#xff08;1&#xff09;访问链表中的各个节点的有效数据&#xff0c;这个访问必须注意不能使用p、p1、p2&#xff0c;而只能使用phead &#xff08;2&#xff09;只能用头指针不能用各个节点自己的指针。因为在实际当中我们保存链表的时…

偏微分方程笔记

极小位能原理&#xff1a; C 2 C^2 C2 是一个集合符号&#xff0c;表示所有二阶连续可微函数的集合 弱导数 C 2 C^2 C2 是一个集合符号&#xff0c;表示所有二阶连续可微函数的集合。 C 0 ∞ ( I ) C^{\infty}_0(I) C0∞​(I)表示于 I I I上无穷可微&#xff0c;且在端点a&…

使用pyinstaller 如何打包python项目

参考&#xff1a;【python项目正确打包方法-哔哩哔哩】 https://b23.tv/EDB6zbG Pyinstaller 详解多种打包过程(去坑,填坑)。_pyinstaller -f -w-CSDN博客 1.打开命令提示符&#xff1a; 找到python项目所在位置&#xff0c;输入cmd即可 2. 安装pipenv: 在命令提示符&#…

【强化学习的数学原理】课程笔记--2(贝尔曼最优公式,值迭代与策略迭代)

目录 贝尔曼最优公式最优 Policy求解贝尔曼最优公式求解最大 State Value v ∗ v^* v∗根据 v ∗ v^* v∗ 求解最佳 Policy π ∗ \pi^* π∗一些证明过程 一些影响 π ∗ \pi^* π∗ 的因素如何让 π ∗ \pi^* π∗ 不 “绕弯路” γ \gamma γ 的影响reward 的影响 值迭…

UiPath+Appium实现app自动化测试

一、环境准备工作 1.1 完成appium环境的搭建 参考&#xff1a;pythonappiumpytestallure模拟器(MuMu)自动化测试环境搭建_appium mumu模拟器-CSDN博客 1.2 完成uipath的安装 登录官网&#xff0c;完成注册与软件下载安装。 UiPath业务自动化平台&#xff1a;先进的RPA及自动…