介绍

如下架构所示：

读/写操作：
Paimon 支持多样化的数据读写方式，并支持 OLAP 查询。

• 读取：

  • 支持从历史快照（批处理模式）中消费数据，
  • 从最新偏移量（流处理模式）中读取数据，
  • 或以混合方式读取增量快照。

• 写入：

  • 支持从数据库变更日志（CDC）进行流式同步，
  • 从离线数据中进行批量插入/覆盖操作。

生态系统：
除了 Apache Flink，Paimon 还支持其他计算引擎读取数据，如 Apache Hive、Apache Spark 和 Trino。

内部机制：

• Paimon 底层将列式文件存储在文件系统或对象存储中。
• 文件的元数据保存在清单文件中&