Apache SeaTunnel 2.3.9 正式发布:多项新特性与优化全面提升数据集成能力

近日,Apache SeaTunnel 社区正式发布了最新版本 2.3.9。本次更新新增了Helm 集群部署、Transform 支持多表、Zeta新API、表结构转换、任务提交队列、分库分表合并、列转多行 等多个功能更新!

file

作为一款开源、分布式的数据集成平台,本次版本通过新增功能、性能优化与问题修复,为开发者与企业用户带来了更加全面的支持。

📥 2.3.9版本下载:https://seatunnel.apache.org/download/

📕 Release Note:https://github.com/apache/seatunnel/tree/2.3.9

👇👇重要功能解读,可以观看视频👇👇

版本亮点

扩展数据处理与监控能力

任务与数据监控

  • 新增Zeta 新API支持通过 REST API 提交任务并获取日志、任务日志淘汰,提供Zeta Manager UI实时可视化功能。
  • Zeta 支持提交任务排队、Rest API 提交 Hocon 格式作业配置、支持 DDL 期间暂停恢复
  • Schema 演进
    • 多个连接器(如 Oracle、StarRocks、Paimon 等)新增对 Schema Evolution(Schema 演进)的支持,进一步降低复杂数据源集成的门槛。

功能增强

  • Transform提供对多表支持、动态类型处理以及合并分库分表等新能力,为复杂数据转换场景提供灵活性。
  • Transform 支持分库分表合并
  • Transform 支持改表名/字段名
  • 支持RowKindExtractor转换操作类型
  • 支持SQL 中列转多行

多源适配

  • 扩展了对新数据源的支持,例如 Milvus 动态 Schema、多表读取和 Redis 数据删除操作等。

大幅提升任务运行效率

  • 资源调度与线程池管理
    • 优化 Zeta 引擎的 CoordinatorService 线程池配置,避免潜在的内存溢出问题。
  • 任务执行模式
    • 支持 Spark 与 Flink 、 Zeta的多表 Transform,减少任务间依赖,提升并发性能。
    • 支持 Oracle-CDC 读取 DDL。
    • Debezium 增强,支持发送到消息队列进行缓冲,支持特殊数据类型及时间类型,可通过多表/表写1个Topic。
  • 数据流传输
    • 改进了 ClickHouse、JDBC 等连接器的写入模式,提升大数据量处理场景的稳定性。

新增 DDL Sink 支持

连接器PR作者
StarRocks#8082jw-itq
Paimon#8211dailai
Oracle#7908dailai
Doris#8250deng-jeffer
Postgresql#8276hawk9821
Elasticsearch#8412zhangshenghang

Bug 修复与可靠性提升

  • 支持 Helm 快速部署集群
  • 修复了多项连接器相关问题,如 MongoDB、Kafka、Hive 等连接器的异常处理和功能失效问题。
  • 改善了 Avro 格式对 Null 值的支持,解决了 Excel 数据读取的公式与数值解析错误。
  • 优化了 Docker 部署与 CI 流程,确保系统在不同环境中的一致性。

致谢贡献者

感谢Tyrantlucifer对本次发版工作的指导和帮助,同时感谢以下社区贡献者的共同努力,让本次发版工作顺利完成:

Github IDGithub IDGithub IDGithub ID
Asura7969Cancai CaiCarl-Zhou-CNCosmosNi
Daniel DuanDavid ZolloGuangdong LiuGumKey
JarvisJastJeremyJia Fan
Mohammad ArshadNian LiuNovaOdysseus Zhang
QiaoJ-ChenSEZShashwat TiwariShiwanming
Tu-maimesTyrantluciferWanming ShiXQ
Xiaojian SunYOMO LEEZhilin Licorgy-w
czsdaigoopautoydailaideng-jeffer
dependabot[bot]dwaveeyysfcb-xiaobo
hailin0happyboy1024liminlinjianchang
litiliuluckyLJYpi-lasohurdc
tyrantluciferwelsh-wenwengysxiaochen
zhangdonghaozhouyh不忘初心丑西蒙
峰峰老王

Apache SeaTunnel 2.3.9 的发布标志着其在开源数据集成领域的进一步突破。无论是实时数据同步、批流一体化任务处理,还是复杂场景下的 Schema 管理与性能优化,SeaTunnel 都为用户提供了更强大的工具。

作为一个快速发展的 Apache 顶级项目,SeaTunnel 一直秉承社区驱动与开源精神。欢迎广大开发者与企业用户参与社区贡献,共同完善和推广这一数据集成利器。

关于白鲸开源

白鲸开源是一家开源原生的 DataOps 商业公司,已基于Apache SeaTunnel 开发的并推出了商业版软件 WhaleTunnel,提供企业级功能增强、服务、运维、Debug、定期漏洞扫描和修复,无论是产品功能、稳定性、兼容性、速度还是安全性,都比开源版 Apache SeaTunnel 有巨大的进步!感兴趣的小伙伴可以下滑添加市场经理详细咨询~

联系方式

公司网站: www.whaleops.com
联系邮箱: zenghui@whaleops.com

下滑探索更多WhaleTunnel的优势,让我们帮助你构建一个高效、安全的大数据解决方案。🚀

本文由 白鲸开源科技 提供发布支持!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/4577.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

EasyControl:首个登陆AWS Marketplace的中国MDM先锋

在全球数字化与移动化浪潮中,企业对安全、高效的移动设备管理(MDM)需求日益增长。EasyControl作为国内MDM领域的佼佼者,凭借成熟的技术和创新的解决方案,成为国内首个成功上线亚马逊AWS Marketplace的MDM产品&#xff…

OpenCV简介、OpenCV安装

OpenCV简介、OpenCV安装 本文目录: 零、时光宝盒 一、OpenCV简介 二、OpenCV图像处理基础知识 三、OpenCV-Python环境安装 2.1、纯python环境下安装OpenCV 2.2、Anaconda管理环境下安装 OpenCV 四、如何用OpenCV 中进行读取展示图像 五、OpenCV读取图像、显…

【语言处理和机器学习】概述篇(基础小白入门篇)

前言 自学笔记,分享给语言学/语言教育学方向的,但对语言数据处理感兴趣但是尚未入门,却需要在论文中用到的小伙伴,欢迎大佬们补充或绕道。ps:本文不涉及公式讲解(文科生小白友好体质)&#xff…

ARP 表、MAC 表、路由表、跨网段 ARP

文章目录 一、ARP 表1、PC2、路由器 - AR22203、交换机 - S57004、什么样的设备会有 ARP 表? 二、MAC 表什么样的设备会有 MAC 表? 三、路由表什么样的设备会有路由表? 四、抓取跨网段 ARP 包 所谓 “透明” 就是指不用做任何配置 一、ARP 表…

Spring的IoC、Bean、DI的简单实现,难度:※※※

目录 场景描述 第一步:初始化Maven项目 第二步:Maven导入Spring包(给代码) 第三步:创建Spring配置文件 第四步 创建Bean 第五步 简单使用Bean (有代码) 第六步 通过依赖注入使用Bean&…

wireshark工具简介

目录 1 wireshark介绍 2 wireshark抓包流程 2.1 选择网卡 2.2 停止抓包 2.3 保存数据 3 wireshark过滤器设置 3.1 显示过滤器的设置 3.2 抓包过滤器 4 wireshark的封包列表与封包详情 4.1 封包列表 4.2 封包详情 参考文献 1 wireshark介绍 wireshark是非常流行的网络…

C# OpenCvSharp 部署文档矫正,包括文档扭曲/模糊/阴影等情况

目录 说明 效果 模型 项目 代码 下载 参考 C# OpenCvSharp 部署文档矫正,包括文档扭曲/模糊/阴影等情况 说明 地址:https://github.com/RapidAI/RapidUnDistort 修正文档扭曲/模糊/阴影等情况,使用onnx模型简单轻量部署&#xff0c…

编辑器Vim基本模式和指令 --【Linux基础开发工具】

文章目录 一、编辑器Vim 键盘布局二、Linux编辑器-vim使用三、vim的基本概念正常/普通/命令模式(Normal mode)插入模式(Insert mode)末行模式(last line mode) 四、vim的基本操作五、vim正常模式命令集插入模式从插入模式切换为命令模式移动光标删除文字复制替换撤销上一次操作…

LeetCode 110.平衡二叉树

题目描述 给定一个二叉树,判断它是否是平衡二叉树。 示例 1: 示例 2: 输入:root [1,2,2,3,3,null,null,4,4] 输出:false 示例 3: 输入:root [] 输出:true 提示: …

Asp .Net Core 实现微服务:集成 Ocelot+Nacos+Swagger+Cors实现网关、服务注册、服务发现

什么是 Ocelot ? Ocelot是一个开源的ASP.NET Core微服务网关,它提供了API网关所需的所有功能,如路由、认证、限流、监控等。 Ocelot是一个简单、灵活且功能强大的API网关,它可以与现有的服务集成,并帮助您保护、监控和扩展您的…

Express中间件

目录 Express中间件 中间件的概念 next函数 全局中间与局部中间件 多个中间件 中间的5个注意事项 中间的分类 应用级中间件 路由级中间件 错误级中间件 Express内置中间件 express.json express.urlencoded 第三方中间件​编辑 自定义中间件 Express中间件 中间…

Linux 高级路由与流量控制-用 tc qdisc 管理 Linux 网络带宽

大家读完记得觉得有帮助记得关注和点赞!!! 此分享内容比较专业,很多与硬件和通讯规则及队列,比较底层需要有技术功底人员深入解读。 Linux 的带宽管理能力 足以媲美许多高端、专用的带宽管理系统。 1 队列&#xff0…

要获取本地的公网 IP 地址(curl ifconfig.me)

文章目录 通过命令行查询(适用于 Linux/Mac/Windows)Linux/MacWindows 注意事项 要获取本地的公网 IP 地址,可以通过以下简单的方法: 通过命令行查询(适用于 Linux/Mac/Windows) Linux/Mac 打开终端。输入…

项目开发实践——基于SpringBoot+Vue3实现的在线考试系统(七)

文章目录 一、题库管理模块实现1、新增题目功能实现1.1 页面设计1.2 前端功能实现1.3 后端功能实现1.4 效果展示2、题目列表功能实现2.1 页面设计2.2 前端功能实现2.3 后端功能实现2.3.1 后端查询题目列表接口实现2.3.2 后端编辑试题接口实现2.4 效果展示二、代码下载一、题库管…

Python文本处理:LDA主题聚类模型

一、模型简介 LDA(Latent Dirichlet Allocation)是一种生成式概率模型,用于发现文本数据中隐藏的主题分布。本项目基于Python实现LDA主题模型,包含文本预处理、最佳主题数目选择、关键词提取、词云生成以及PyLDAvis可视化等步骤。…

4.JoranConfigurator解析logbak.xml

文章目录 一、前言二、源码解析GenericXMLConfiguratorlogback.xml解析通过SaxEvent构建节点model解析model节点DefaultProcessor解析model 三、总结 一、前言 上一篇介绍了logback模块解析logback.mxl文件的入口, 我们可以手动指定logback.xml文件的位置, 也可以使用其它的名…

直连EDI与VAN:如何选择更适合企业的数据交换方式

在推进EDI项目时,企业通常会面临两种主要的数据交换方式选择:直连EDI(Direct EDI)和增值网络VAN(Value Added Network)。那么,它们之间有什么区别?为什么我们更推荐企业使用直连EDI而…

用户中心项目教程(五)---MyBatis-Plus完成后端初始化+测试方法

文章目录 1.数据库的链接和创建2.建库建表语句3.引入依赖4.yml配置文件5.添加相对路径6.实体类的书写7.Mapper接口的定义8.启动类的指定9.单元测试10运行时的bug 1.数据库的链接和创建 下面的这个就是使用的我们的IDEA链接这个里面的数据库: 接下来就是输入这个用户…

如何使用MaskerLogger防止敏感数据发生泄露

关于MaskerLogger MaskerLogger是一款功能强大的记录工具,该工具可以有效防止敏感数据泄露的发生。 MaskerLogger旨在保护目标系统的日子安全,此格式化程序可确保你的日志安全并防止敏感数据泄露。例如使用此格式化程序,打印下列数据&#x…

boss直聘 __zp_stoken__ 分析

声明: 本文章中所有内容仅供学习交流使用,不用于其他任何目的,抓包内容、敏感网址、数据接口等均已做脱敏处理,严禁用于商业用途和非法用途,否则由此产生的一切后果均与作者无关! 逆向过程 py代码 import execjs imp…