目录
1、前言
2、操作说明
2.1、自动创建与删除 Tag
2.2、手动创建和删除 tag
2.3、回退到指定Tag
2.4、查询 tag 元数据和数据
2.4.1、查询 tag 元数据
2.4.2、查询 tag 数据
2.4.3、情景1:读取指定 tag 的数据
2.4.4、情景2:读取两个 tag 间的增量数据
3、其他配置说明
3.1、设置自动创建的 tag 名称格式
3.2、与 Flink Savepoint 结合使用
4、参考
1、前言
apache paimon 的快照提供了一种非常容易访问历史数据的方法,但 flink job 会生成太多快照。我们通过 tag 策略可以保留重要的快照,删除不重要的 snapshot。创建 tag 的快照,在进入过期清除流程时,快照的元数据与数据文件仍会被持续保存。
当快照过期后,利用 tag 仍能追溯查询到特定时间点的数据。在实践中,我们通常每日生成一个 tag ,能够确保对每一天历史数据的持久访问能力,为数据分析、审计和追溯等应用场景提供了支撑。本文将介绍(1)如何自动和手动创建与删除Tag、(2)回退到指定Tag、(3)查询Tag数据及高级配置。
2、操作说明
2.1、自动创建与删除 Tag
Apache Paimon支持在写入数据的过程中,按照指定参数的配置去自动创建 Tag 以及删除过期的 Tag。配置相关表的参数如下