以 AI领域为代表的新技术不断涌现,新的应用风口也逐渐清晰。为了加紧跟上技术发展的步伐,越来越多的企业开始着手,对仍以传统关系型数据库为主的应用后端进行现代化升级。
这就涉及到如何在不影响并保持现有业务系统正常运转的前提下,实现数据向新业务系统的持续同步,并保障异构数据同步的完整性、准确性、一致性、时效性。针对这一问题,TapData 在 4月19日主题为《如何进行全增量一体的异构数据库实时同步》的直播活动中,为大家提供了一些解题新思路。
以下为本次直播的完整回放>>>>>>
活动回放 | 如何进行全增量一体的异构数据库实时同步
要点指路
- 为什么需要持续复制数据到异构数据库?(01:16-08:22)
- 常见异构数据库同步解决方案分析:优势 & 不足 (08:22-14:03)
- TapData Live Data Platform 数据 CDC 解决方案(14:03-22:43)
- Demo 演示:Oracle 实时表单同步和多表合并同步到 MongoDB (22:43-34:59)
- 总结 (35:09-37:04)
核心内容梳理
演示用关系型数据库(数据源):Oracle
- 演示用现代化数据库(数据目标)MongoDB (Atlas)
为什么需要新一代数据库?
常见案例①:查询加速
常见案例②:统一客户数据平台
发现用例共性:
- 既有应用还将继续运行,不会被取缔
- 客户正在现代数据库上构建新的应用程序,例如基于 MongoDB
- 旧应用程序中的业务数据需要以一种新鲜实时的方式,持续提供给新应用程序
常见解决方案
方案①:为旧库添加 API 层
方案②:数据库与消息队列(Kafka)的双写
常见方案对比
新思路:TapData Live Data Platform
作为一个以低延迟数据移动为核心优势构建的现代数据平台,TapData 帮助企业实现核心数据系统之间的实时同步、实时交换及实时处理。其设计初衷,是希望能够以一种创新的方式解决老大难的数据集成问题,核心优势表现为:
- 强大的数据 CDC 能力:基于数据库日志的数据 CDC 技术与实时数据转换相结合,内置大量 CDC 连接器,0侵入实时采集数据,轻松实现数据的全、增量集成。
- 广泛的数据库支持:内置 100+连接器且不断拓展中,覆盖大部分主流的数据库和类型,支持异构数据库全量、增量同步,关注现代化数据库以及新兴数据库的发展和连接,兼具自主知识产权优势,对国产数据库更友好。
- 创造性的数据中心架构:除点对点外,还支持集中式数据总线架构,支持更灵活地集成多个数据源和应用,有效减少为多个应用提供服务所需的管道数量,更有利于成本控制。
了解更多,「阅读原文」
TapData,解决数据集成老大难问题的创新方法:
- 轻松连接至任何数据库,监听日志将其转换为事件流
- 根据需要进行过滤、转换或合并
- 发送至 Kafka、数据库和数据仓库
TapData 关键特性:
- 数据 CDC(Change Data Capture,变更数据捕获)采集 + 实时处理
- 内置 100+ CDC 连接器,包含数据库、Kafka / MQ,以及文件 / SaaS API 等多种类型
- 流式处理,多表合并,物化视图构建:从关系型到文档型,支持多对一实时合并;嵌入式数组/文档;自动插入/更新/删除子文档
对比总结
TapData 是一个基于 CDC 的实时数据集成平台,提供了云版、企业版,开源的社区版不日也将全面上线。
点击「阅读原文」立即体验