Apache SeaTunnel 2.3.3 版本发布，CDC 支持 Schema Evolution！

file

时隔两个月， Apache SeaTunnel 终于迎来大版本更新。此次发布的 2.3.3 版本在功能和性能上均有较大优化改进，其中大家期待已久的 CDC Schema evolution（DDL 变更同步）、主键 Split 拆分、JDBC Sink 自动建表功能、SeaTunnel Zeta 引擎支持 作业配置支持变量替换和传参等都是更新的亮点。这些功能和优化使得 Apache SeaTunnel 具备了更强大的数据同步能力，大幅提升了 SeaTunnel 的性能。本文将详细介绍本次更新的具体情况。

CDC 相关更新

支持 Schema evolution

关于 CDC 方面的重要更新，是在架构层面支持了 Schema evolution（DDL 变更同步），这是从架构层面对 DDL 变更事件进行了抽象，包括 Source 和 Sink 中相关接口的添加。另外，我们在 Zeta 引擎中添加了 DDL 变更事件与checkpoint 相关的处理流程。至此，在架构层面，SeaTunnel 已经满足了支持 DDL 变更同步的所有前提条件，后续就是不同的连接器实现相应的接口，进行 DDL 变更同步的适配工作。

SeaTunnel CDC 相关设计，可参考《解读重要功能特性：新手入门 Apache SeaTunnel CDC》。

Split 拆分优化

在本次更新之前，CDC Source 读取时只能基于数值类型的主键列进行 Split 的拆分，而在实际使用场景中，很多表没有主键，或者主键的数据类型是字符串类型，这会导致无法进行 CDC 同步。本次更新添加了两个重大 feature：

  • 一个是支持唯一索引作为 split 拆分字段；
  • 另一个是支持字符串类型的字段进行split拆分。

这意味着只要 source 表中拥有主键列或者唯一索引列，并且列的类型是数值或者字符串，就能自动进行 split 的拆分，从而快速完成 CDC 的读取。另外，新版本对于基于字符串类型列进行 split 拆分的算法进行了优化，经过测试，一张拥有 4 亿行，60 个字段的 MySQL 数据表，针对字符串类型主键的 split 拆分由原来的 3 个小时缩短到 20 分钟。在 JDBC Source 的 partition 拆分中，我们添加了同样的算法，从而让 JDBC Source 针对字符串类型的 split 拆分也得到了优化。

新增加 MongoDB CDC 连接器

同时，SeaTunnel 2.3.3 版本新增了 MongoDB CDC 连接器，也能支持 CDC 同步。

Transform 更新

SQL Transform 支持 select * 和 like 模糊匹配。

select * 可以查询出从source传入的所有字段，在select * 之后可以添加其它字段用于实现在同步的过程中添加自定义列的效果，比如下面的示例：

transform {Sql {source_table_name = "fake"result_table_name = "fake1"query = "select *, current_timestamp as sync_timestamp from fake"}
}

经过这个Transform的处理，会在source输入的第一行数据中添加一个sync_timestamp列，该列的值是该行数据经过该Transform时的系统时间戳。

like 模糊匹配用于在Transform对数据数据进行过滤，比如下面的示例：

transform {Sql {source_table_name = "fake"result_table_name = "fake1"query = "select *, current_timestamp as sync_timestamp from fake where name like '%Demo_'"}
}

经过这个Transform处理之后，除了实现了上一个示例添加列的效果之外，还可以对数据进行过滤，只有name字段的值以Demo_开头的行才会输出到下游处理节点（其它Transform节点或Sink节点）。

基础能力更新

在做 CDC 多表同步的场景下，之前目标表无法自动创建，需要用户手工在目标端创建好表之后才能进行同步。在本次更新中，添加了 JDBC Sink 自动建表的功能，JDBC Sink 将根据上游传递过来的 catalogtable 自动生成创建表的DDL 语句，并在目标数据库进行建表。

  • 注意，很多数据库都可以使用 JDBC Sink 连接器，但并不是所有数据库都已经实现了自动建表，本次更新目标端支持自动建表的数据库有 MySQL, Oracle, Postgres, SQLServer。另外，使用自动建表对 Source Connector 也有要求，Source 连接器必须实现了 Catalog，本次更新中只有 CDC Source 实现了 Catalog，所以自动建表功能只有在 CDC Source 同步到 MySQL/Oracle/Postgres/SQLServer，并且是在多表同步模式下才能生效。

Zeta 引擎更新

  1. 支持 Schema evolution（DDL变更同步）。

  2. Rest API 添加了提交作业的 API，用户可以使用 Rest API 进行作业的提交。这对于那些自研开发了页面集成 SeaTunnel 的用户来说非常重要，这意味着他们不再需要单独为提交作业安装 SeaTunnel Client。

示例如下：

network:rest-api:enabled: trueendpoint-groups:CLUSTER_WRITE:enabled: trueDATA:enabled: truejoin:tcp-ip:enabled: truemember-list:- localhostport:auto-increment: trueport-count: 100port: 5801

具体可参考：https://seatunnel.apache.org/docs/seatunnel-engine/rest-api/#submit-job

  1. 作业配置支持变量替换和传参，本次更新之后，用户可以在作业的 config 文件中使用变量，然后在真正提交作业时通过命令行传参的方式来动态替换这些变量，借助这个功能，用户可以实现离线增量同步功能。

其他功能更新、优化和 Bug 修复

除此之外，新版本还在 SeaTunnel Connector、Zeta 引擎、Transform、CI 等方面进行了重要更新和优化，修复了以往版本的 Bug，并更新了将近 30 个项目文档，其中包括数十个新增 Connector 的使用文档说明，为用户在实际应用场景中进行不同 Connector 的接入提供详细的指导。

  • 详情参考 Release Note：https://github.com/apache/seatunnel/releases
  • 2.3.3 版本下载地址：https://seatunnel.apache.org/download

致谢贡献者

感谢@刘黎对此次发版的指导与帮助，以及下列贡献者对本次发版的支持！

贡献者 GitHub ID

file

本文由 白鲸开源科技 提供发布支持！

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.rhkb.cn/news/114238.html

如若内容造成侵权/违法违规/事实不符，请联系长河编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

4.6 TCP面向字节流

4.6 TCP面向字节流

TCP 是面向字节流的协议，UDP 是面向报文的协议 操作系统对 TCP 和 UDP 协议的发送方的机制不同，也就是问题原因在发送方。 UDP面向报文协议： 操作系统不会对UDP协议传输的消息进行拆分，在组装好UDP头部后就交给网络层处理&…
阅读更多...
C++之访问vector＜vector＜char＞＞中的vector＜char＞元素(一百八十七)

C++之访问vector＜vector＜char＞＞中的vector＜char＞元素(一百八十七)

简介： CSDN博客专家，专注Android/Linux系统，分享多mic语音方案、音视频、编解码等技术，与大家一起成长！ 优质专栏：Audio工程师进阶系列【原创干货持续更新中……】🚀 人生格言： 人生…
阅读更多...
大模型综述论文笔记6-15

大模型综述论文笔记6-15

这里写自定义目录标题 KeywordsBackgroud for LLMsTechnical Evolution of GPT-series ModelsResearch of OpenAI on LLMs can be roughly divided into the following stagesEarly ExplorationsCapacity LeapCapacity EnhancementThe Milestones of Language Models Resources…
阅读更多...
【爬虫】实验项目一：文本反爬网站的分析和爬取

【爬虫】实验项目一：文本反爬网站的分析和爬取

目录 一、实验目的 二、实验预习提示 ​编辑 三、实验内容 四、实验要求 五、实验过程 1. 基本要求： 2. 改进要求A 3. 改进要求B: 六、资料 1.实验框架代码： 2.OpenSSL：Win32/Win64 OpenSSL Installer for Windows - Shining Light…
阅读更多...
家政保洁行业小程序如何快速搭建

家政保洁行业小程序如何快速搭建

随着互联网的快速发展，家政保洁行业也逐渐向数字化转型。小程序作为一种轻量级应用，越来越成为各行各业进行线上推广的重要工具。那么，如何快速搭建家政保洁行业的小程序呢？本文将为你提供详细的步骤和指导。 一、准备开发环境 在…
阅读更多...
CTFhub-文件上传-MIME绕过

CTFhub-文件上传-MIME绕过

Content-Type类型有：HTTP content-type | 菜鸟教程 用哥斯拉生成 php 木马文件 1.php 抓包---> 修改 conten-type 类型 为 imge/jpeg 用蚁剑连接 ctfhub{8e6af8109ca15932bad4747a}
阅读更多...
是否在业务中使用大语言模型？

是否在业务中使用大语言模型？

ChatGPT取得了巨大的成功，在短短一个月内就获得了1亿用户，并激发了企业和专业人士对如何在他们的组织中利用这一工具的兴趣和好奇心。 但LLM究竟是什么，它们如何使你的企业受益?它只是一种炒作，还是会长期存在? 在这篇文章中我…
阅读更多...
ceph peering机制-状态机

ceph peering机制-状态机

本章介绍ceph中比较复杂的模块： Peering机制。该过程保障PG内各个副本之间数据的一致性，并实现PG的各种状态的维护和转换。本章首先介绍boost库的statechart状态机基本知识，Ceph使用它来管理PG的状态转换。其次介绍PG的创建过程以及相应的状…
阅读更多...
ceph架构及 IO流程

ceph架构及 IO流程

CEPH是由多个节点构成的集群，它具有良好的可扩展性和可靠性。节点之间相互通信以达到： 存储和检索数据 数据复制 监控集群的健康状况 保证数据的完整性 检测故障并恢复 基本架构如下图： 分布式对象存储系统RADOS是CEPH最为关键的技术&a…
阅读更多...
Java之API详解之BigDecimal类的详细解析

Java之API详解之BigDecimal类的详细解析

7 BigDecimal类 7.1 引入 首先我们来分析一下如下程序的执行结果： public class BigDecimalDemo01 {public static void main(String[] args) {System.out.println(0.09 0.01);}} 这段代码比较简单，就是计算0.09和0.01之和，并且将其结果…
阅读更多...
SoC 总线结构学习记录之系统存储总线（System Memory Bus）与私有设备总线

SoC 总线结构学习记录之系统存储总线（System Memory Bus）与私有设备总线

蜂鸟 E203 SOC总线结构：  蜂鸟 E203 内核 BIU 的系统存储接口 ICB 连接系统存储总线，通过其访问 SoC 中的若干存储组件，譬如 ROM，Flash 的只读区间等。  蜂鸟 E203 内核 BIU 的私有设备接口 ICB 连接私有设备总线&#xff0c…
阅读更多...
JVM的故事——虚拟机字节码执行引擎

JVM的故事——虚拟机字节码执行引擎

虚拟机字节码执行引擎 文章目录 虚拟机字节码执行引擎一、概述二、运行时栈帧结构三、方法调用 一、概述 执行引擎Java虚拟机的核心组成之一，它是由软件自行实现的，能够执行那些不被硬件直接支持的指令集格式。 对于不同的虚拟机实现，执行引…
阅读更多...
【深入解读Redis系列】Redis系列（五）：切片集群详解

【深入解读Redis系列】Redis系列（五）：切片集群详解

首发博客地址 https://blog.zysicyj.top/ 系列文章地址[1] 如果 Redis 内存很大怎么办？ 假设一台 32G 内存的服务器部署了一个 Redis，内存占用了 25G，会发生什么？ 此时最明显的表现是 Redis 的响应变慢，甚至非常慢。 这…
阅读更多...
iPhone 15 Pro与iPhone 13 Pro：最大的预期升级

iPhone 15 Pro与iPhone 13 Pro：最大的预期升级

如果你在2021年首次发布iPhone 13 Pro时就抢到了它，那么你的合同很可能即将到期。虽然距离iPhone 15系列还有几周的时间，但你可能已经在想：是时候把你的旧iPhone升级为iPhone 15 Pro了吗？ 我们认为iPhone 13 Pro是你现在能买到的最好的手机之一。但如果你想在2023年晚些时…
阅读更多...
使用openpyxl来创建一个月的日程表

使用openpyxl来创建一个月的日程表

首先你心里要有一张表的样子，openpyxl才能帮你创建出其余的29张。 import openpyxl from openpyxl.styles import Alignment, Font import calendar from datetime import datework_path rXX\YY\ZZ\日报-九月.xlsxtry:workbook openpyxl.load_workbook(work_path…
阅读更多...
python中的文件操作

python中的文件操作

我们平常对文件的基本操作，大概可以分为三个步骤（简称文件操作三步走）： ① 打开文件 ② 读写文件 ③ 关闭文件 【注意事项】 注意：可以只打开和关闭文件，不进行任何读写 文件打开 open函数&#xff…
阅读更多...
前端三大Css处理器之Less

前端三大Css处理器之Less

Less是Css预处理器之一，分别有Sass、Less、Stylus这三个。 Lesshttps://lesscss.org/ Less是用JavaScript编写的，事实上，Less是一个JavaScript库，他通过混合、变量、嵌套和规则设置循环扩展了原生普通Css的功能。Less的少数…
阅读更多...
ELK安装、部署、调试（五）filebeat的安装与配置

ELK安装、部署、调试（五）filebeat的安装与配置

1.介绍 logstash 也可以收集日志，但是数据量大时太消耗系统新能。而filebeat是轻量级的，占用系统资源极少。 Filebeat 由两个主要组件组成：harvester 和 prospector。 采集器 harvester 的主要职责是读取单个文件的内容。读取每个文件&…
阅读更多...
python-下载数据-制作全球地震散点图：JSON格式

python-下载数据-制作全球地震散点图：JSON格式

查看JSON数据 import json# 探索数据的结构 filename eq_data_1_day_m1.geojson with open(filename) as f:all_eq_data json.load(f)readable_file readable_eq_data.json with open(readable_file, w) as f:json.dump(all_eq_data, f, indent4)json.load() 将数据转换为P…
阅读更多...
Python爬虫分布式架构 - Redis/RabbitMQ工作流程介绍

Python爬虫分布式架构 - Redis/RabbitMQ工作流程介绍

在大规模数据采集和处理任务中，使用分布式架构可以提高效率和可扩展性。本文将介绍Python爬虫分布式架构中常用的消息队列工具Redis和RabbitMQ的工作流程，帮助你理解分布式爬虫的原理和应用。 为什么需要分布式架构？ 在数据采集任务中&#…
阅读更多...
最新文章
推荐文章

Copyright @ 2022~2023