【亲测有用】数据集成平台能力演示（支持国产数据库DaMeng与KingBase）

🔥🔥 AllData大数据产品是可定义数据中台，以数据平台为底座，以数据中台为桥梁，以机器学习平台为中层框架，以大模型应用为上游产品，提供全链路数字化解决方案。

✨杭州奥零数据科技官网：http://www.aolingdata.com
✨AllData开源项目：https://github.com/alldatacenter/alldata
✨AllData官方文档：https://alldata-document.readthedocs.io
✨AllData社区文档：https://docs.qq.com/doc/DVHlkSEtvVXVCdEFo

在这里插入图片描述

核心功能-数据集成平台能力演示

  1. AllData数据集成平台基于开源项目Tis建设。
  2. Tis集成大数据领域优秀组件（FlinkX-CDC，Chunjun，DataX，Flink等）为您提供一站式、开箱即用的DataOps数据中台，大幅提高ETL实时数仓构建效率。
  3. Tis针对企业级ETL实时数仓应用场景，TIS基于业界优秀的开源大数据组件，构建了一层强大的领域抽象层，对ETL各环节执行流程进行抽象，对用户屏蔽了大数据组件底层的复杂性。通过使用TIS将大数据业务分析师与底层数据开发人员完美解耦。
  4. AllData数据中台数据集成管理支持多种数据源，包括：

Hive数据库
数据同步能力演示(全量同步+分区同步)

MySQL数据库
数据同步能力演示(全量+增量同步)

Oracle数据库
数据同步能力演示(全量+增量同步)

国产数据库
达梦数据库达梦数据源DaMeng数据同步能力演示(全量同步)

国产数据库
人大金仓数据库人大金仓数据源KingBase数据同步能力演示(全量+增量同步)

二、功能能力演示

1. 进入数据集成平台
在这里插入图片描述
2. 数据同步任务中心
在这里插入图片描述
3. 数据同步任务管理
在这里插入图片描述

4. 数据库管理中心

4.1 Mysql8校验通过
在这里插入图片描述

4.2 Oracle 19c校验通过
在这里插入图片描述

4.3 Doris 2.0.7校验通过
在这里插入图片描述

4.4 Hive2.4.2校验通过
在这里插入图片描述

4.5 达梦国产数据库校验通过
在这里插入图片描述

4.6 人大金仓国产数据库校验通过
在这里插入图片描述

4.7 支持其他数据源扩展
在这里插入图片描述

5. 数据同步配置包含业务线管理、DataX执行器、Flink Cluster、插件配置、操作日志、系统异常

5.1 业务部门管理
在这里插入图片描述

5.2 插件配置管理
在这里插入图片描述

5.3 操作日志管理
在这里插入图片描述

5.4 操作日志详情
在这里插入图片描述

5.5 异常日志管理
在这里插入图片描述

在这里插入图片描述

6. Hive数据库同步能力演示

6.1 第一步配置基本信息与插件
在这里插入图片描述

6.2 Reader设置，配置Hive数据源Reader，Doris数据目的Writer
在这里插入图片描述

6.3 Hive元数据中心配置，配置HiveMetaStore

6.3.1 配置选择分区表（二选一）
在这里插入图片描述

6.3.2 配置选择全量表（二选一）
在这里插入图片描述

6.4 添加HiveServer2，校验通过
在这里插入图片描述

6.5 添加HDFS，校验通过
在这里插入图片描述

6.6 Reader选择导入表，可以多选进行整库多表批量同步，可以单表同步
在这里插入图片描述

6.7 批量设置表，对表的同步字段，表的主键进行筛选
在这里插入图片描述

6.8 选择主键与同步字段
在这里插入图片描述

6.9 选择Doris目的表
在这里插入图片描述

6.10 表映射，支持自定义目的表名
在这里插入图片描述

6.11 确认同步任务信息，创建同步任务
在这里插入图片描述

6.12 查看自动生成的DataX脚本
在这里插入图片描述

6.13 查看自动生成的Table DDL脚本
在这里插入图片描述

6.14 创建同步任务实例成功
在这里插入图片描述

6.15 查看任务主控台
在这里插入图片描述

6.16 任务管理，可以对任务进行重新配置与修改
在这里插入图片描述

6.17 触发构建Hive到Doris的同步任务

在这里插入图片描述

6.18 Hive表同步成功
在这里插入图片描述

6.19 查看操作历史
在这里插入图片描述

6.20 查看Hive表，Hive表重复数据有25条，主键唯一的只有5条。
在这里插入图片描述

6.21 查看同步结果Doris表，主键设置为transaction_id，同步结果保证5条，精准准确同步无误。
在这里插入图片描述

7. MySQL数据库同步能力演示

7.1 创建Mysql到Doris的同步任务
在这里插入图片描述

7.2 同步的是Mysql多表同步到Doris
在这里插入图片描述

7.3 生成的同步脚本
在这里插入图片描述

7.4 生成的Doris DDL脚本

{"job":{"content":[{"reader":{"parameter":{"password":"k32G0hokmB8YLhm0","connection":[{"querySql":["SELECT `ACCOUNT_ID`,`ACCOUNT_PARENT`,`ACCOUNT_DESCRIPTION`,`ACCOUNT_TYPE`,`ACCOUNT_ROLLUP`,`CUSTOM_MEMBERS` FROM account_sink "],"jdbcUrl":["jdbc:mysql://8g009:33196/studio?autoReconnect=true&useUnicode=yes&useCursorFetch=true&useSSL=false&serverTimezone=Asia%2FShanghai&useCompression=true&characterEncoding=utf8"]}],"dataxName":"mysql8_2_doris_task","username":"root"},"name":"mysqlreader"},"writer":{"parameter":{"password":"","database":"doris_mysql_db","loadProps":{"column_separator":"\\x01","line_delimiter":"\\x02"},"maxBatchByteSize":104857600,"column":["ACCOUNT_ID","ACCOUNT_PARENT","ACCOUNT_DESCRIPTION","ACCOUNT_TYPE","ACCOUNT_ROLLUP","CUSTOM_MEMBERS"],"jdbcUrl":"jdbc:mysql://8g003:9030/doris_mysql_db","table":"account_sink","feLoadUrl":["8g003:18030"],"maxBatchRows":10000,"dataxName":"mysql8_2_doris_task","username":"root"},"name":"dorisWriter"},"dataxName":"mysql8_2_doris_task"}],"setting":{"errorLimit":{"record":1,"percentage":0.02},"speed":{"channel":3}}}
}

7.5 执行结果，成功同步
在这里插入图片描述
7.6 查看Mysql源表account的数据
在这里插入图片描述

7.7 预览Doris目的表account_sink的数据
在这里插入图片描述

8. Mysql增量同步到Doris进行配置增量同步

8.1 创建增量通道
在这里插入图片描述

8.2 增加flink引擎，增量引擎配置
在这里插入图片描述

8.3 测试Flink集群连接
在这里插入图片描述

8.4 配置增量同步的Source/Sink
在这里插入图片描述

8.5 自动生成同步程序，可以选SQL与DStream
在这里插入图片描述

8.6 部署增量同步任务成功
在这里插入图片描述

8.7 进入Mysql增量同步通道
在这里插入图片描述

8.8 Mysql增量同步任务成功运行
在这里插入图片描述

8.9 查看Mysql增量同步配置
在这里插入图片描述

8.10 通过Flink UI查看实时CDC任务运行
在这里插入图片描述

8.11 增量同步结果
在这里插入图片描述

8.12 Mysql测试account增加4条数据，源表
在这里插入图片描述

8.13 Doris检查增量

同步结果，结果表如图，成功同步了4条数据。
在这里插入图片描述

9. Oracle数据同步能力演示

同步流程与上诉类似，包含增量同步的流程，后续补充文档。

10. 达梦国产数据库同步能力演示

10.1 新增国产数据库达梦数据源
在这里插入图片描述

10.2 选择国产数据库达梦数据源Reader与Doris的Writer
在这里插入图片描述

10.3 国产数据库达梦数据源配置Reader
在这里插入图片描述

10.4 新建数据源连接（可选，如果没有创建数据源，新建数据源连接）
在这里插入图片描述

10.5 选择国产数据库达梦的源表dameng_db.TestTable
在这里插入图片描述

10.6 批量国产数据库达梦的源表-设置表
在这里插入图片描述

10.7 选择同步数据字段
在这里插入图片描述

10.8 选择Doris目标表存储
在这里插入图片描述

10.9 国产数据库达梦表映射到Doris
在这里插入图片描述

10.10 自动生成表同步脚本
在这里插入图片描述

10.11 创建国产数据库达梦同步到Doris的任务
在这里插入图片描述

10.12 查看国产数据库达梦同步到Doris任务详情
在这里插入图片描述

10.13 触发国产数据库达梦同步到Doris任务
在这里插入图片描述

10.14 查看国产数据库达梦TestTable表数据，1000条
在这里插入图片描述

10.15 同步国产数据库DaMeng成功创建Doris表
在这里插入图片描述

10.16 成功同步1000条数据，验证通过
在这里插入图片描述

10.17 查看同步结果，查看Doris test表
在这里插入图片描述

11. 人大金仓国产数据库同步能力演示

同步流程与上诉类似，包含增量同步的流程，后续补充文档。

11.1 新增国产数据库人大金仓KingBase数据源
在这里插入图片描述

11.2 选择国产数据库人大金仓KingBase Reader与Doris的Writer
在这里插入图片描述

11.3 配置国产数据库人大金仓KingBase Reader
在这里插入图片描述

11.4 新建数据源连接（可选，如果没有创建数据源，新建数据源连接）
在这里插入图片描述

11.5 选择国产数据库人大金仓KingBase的源表test
在这里插入图片描述

11.6 批量国产数据库人大金仓KingBase的源表-设置表
在这里插入图片描述

11.7 选择同步国产数据库人大金仓KingBase-数据字段
在这里插入图片描述

11.8 选择Doris目标表存储
在这里插入图片描述

11.9 国产数据库人大金仓KingBase映射到Doris
在这里插入图片描述

11.10 创建国产数据库人大金仓KingBase同步到Doris的任务
在这里插入图片描述

11.11 查看国产数据库人大金仓KingBase同步到Doris任务详情
在这里插入图片描述

11.12 触发国产数据库人大金仓KingBase同步到Doris任务
在这里插入图片描述

11.13 查看国产数据库人大金仓KingBase源表test数据，合计17条数据
在这里插入图片描述

11.14 查看同步到Doris目的表的数据，同步通过，17条数据验证成功
在这里插入图片描述

12. 国产数据库人大金仓KingBase增量同步到Doris能力演示

12.1 国产数据库人大金仓实时同步到Doris任务
在这里插入图片描述

12.2 配置国产数据库人大金仓的增量引擎
在这里插入图片描述

12.3 配置国产数据库人大金仓的SourceFactory与增量同步Factory
在这里插入图片描述

12.4 自动生成国产数据库人大金仓的实时任务代码
在这里插入图片描述

12.5 部署国产数据库人大金仓的实时增量同步任务，部署成功
在这里插入图片描述
12.6 国产数据库人大金仓的实时增量同步任务运行成功
在这里插入图片描述
12.7 国产数据库人大金仓KingBase表test数据为17条，测试增加7条数据，源数据增加到24条。
在这里插入图片描述
12.8 实时同步结果验证，Doris结果表test
在这里插入图片描述

三、TIS应用场景

企业数据中台建设

TIS 4.1.0 的多源数据同步和强大的数据清洗能力，能够帮助企业快速构建数据中台，实现数据的统一管理和高效利用。

实时数据分析

通过实时数据同步功能，企业可以将业务系统中的数据实时同步到分析平台，为决策提供及时、准确的数据支持。

云上数据集成

TIS 4.1.0 的云原生支持，使得企业可以轻松在云环境中部署数据集成任务，实现跨云、混合云环境下的数据流转。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.rhkb.cn/news/33068.html

如若内容造成侵权/违法违规/事实不符，请联系长河编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

初阶数据结构（C语言实现）——5.2 二叉树的顺序结构及堆的实现

初阶数据结构（C语言实现）——5.2 二叉树的顺序结构及堆的实现

1.二叉树的顺序结构及实现 1.1 二叉树的顺序结构 普通的二叉树是不适合用数组来存储的，因为可能会存在大量的空间浪费。而完全二叉树更适合使用顺序结构存储。现实中我们通常把堆(一种二叉树)使用顺序结构的数组来存储，需要注意的是这里的堆和操作系统…
阅读更多...
搭建阿里云专有网络VPC

搭建阿里云专有网络VPC

目录 一、概述 二、专有网络vpc 2.1 vpc基本信息 2.2 vpc资源管理 2.3 vpc网段管理 三、交换机 四、NAT网关 4.1 绑定弹性公网IP 4.2 NAT网关信息 4.3 绑定的弹性公网IP 4.4 DNAT 4.5 SNAT 五、弹性公网IP 六、访问控制ACL（绑定交换机） 6…
阅读更多...
Android `%d` 与 `1$%d` 格式化的区别

Android `%d` 与 `1$%d` 格式化的区别

在 Android 开发中，我们经常需要对字符串进行格式化处理，比如动态填充数字、日期、字符等。 其中，%d 和 1$%d 都是格式化占位符，但它们在使用上有一些不同。 本文将详细解析这两者的区别，并结合 Kotlin 代码示例帮助你…
阅读更多...
Spring MVC面试题（一）

Spring MVC面试题（一）

1.什么是Spring MVC？ 全称为Model View Controller，Spring MVC是Spring的一个模块，基于MVC架构模式的一个框架 2.Spring MVC优点？ 1.可用各种视图技术，不仅限于JSP 2.支持各种请求资源映射策略 3. Spring MVC工作原…
阅读更多...
AI自动化编程初探

AI自动化编程初探

先说vscodeclinemodelscope方案，后面体验trae或者cursor再写写其它的。vscode和trae方案目前来说是免费的，cursor要用claud需要付费，而且不便宜，当然效果可能是最好的。 vscode方案，我的经验是最好在ubuntu上&#xff…
阅读更多...
什么是全栈？

什么是全栈？

🤟致敬读者 🟩感谢阅读🟦笑口常开🟪生日快乐⬛早点下班 📘博主相关 🟧博主信息🟨博客首页🟫专栏推荐🟥活动信息 📃文章前言 🔷文章均为学习工…
阅读更多...
爬虫一些基础知识的备忘录（需要自取）

爬虫一些基础知识的备忘录（需要自取）

前言 基础薄弱，或许是ai用多的缘故，记录了写爬虫需要的一些基础知识，需要自取 这里记录一些我初学爬虫的时候经常忘记的东西，包括但不限于一些文件的读写和一些其他的东西 文件读写 文件读写，如果想表达——若文件…
阅读更多...
ChromeOS 134 版本更新

ChromeOS 134 版本更新

ChromeOS 134 版本更新 一、ChromeOS 134 更新内容 1. ChromeOS 自助终端（Kiosk）模式支持隔离 Web 应用（Isolated Web Apps） 从 ChromeOS 134 开始，自助终端（Kiosk）模式支持 隔离 Web 应用&a…
阅读更多...
【redis】list类型：基本命令（上）

【redis】list类型：基本命令（上）

文章目录 插入和弹出操作获取和删除等操作允许有重复元素LPUSH/RPUSHLRANGELPUSHX/RPUSHXLPOP/RPOPLINDEXLINSERT 插入和弹出操作 列表（list）相当于数组或者顺序表 约定最左侧元素下标为 0Redis 的下标支持负数下标（从后往前数）…
阅读更多...
Science Advances 视触觉传感机制的交互装置，可以实时测量来自手不同部位的分布力

Science Advances 视触觉传感机制的交互装置，可以实时测量来自手不同部位的分布力

近日，由香港科技大学（HKUST）电子与计算机工程学系申亚京教授领导的研究团队，提出了一种基于数字通道的触觉交互系统，可以实时测量来自手不同部位的分布力，有望在医学评估、体育训练、机器人和虚拟现实&…
阅读更多...
美食分享平台（源码+数据库+万字文档）

美食分享平台（源码+数据库+万字文档）

一、项目介绍 440.基于SpringBoot的美食分享平台，系统包含两种角色：管理员、用户,系统分为前台和后台两大模块，主要功能如下。 【前台功能】 1. 首页：提供用户进入系统的入口。 2. 菜谱：用户可以浏览系统中分享的各种…
阅读更多...
uniapp简单table表

uniapp简单table表

<template><view class"container"><scroll-view scroll-x"true" scroll-y"true" class"table-scroll"><view class"table-header"><view class"table-cell fixed-column">序号<…
阅读更多...
微信小程序：实现多功能表格效果，例如滚动效果、宽度自定义、多选、行内编辑等功能

微信小程序：实现多功能表格效果，例如滚动效果、宽度自定义、多选、行内编辑等功能

一、表格效果 1、实现功能 表格实现可横向水平滚动表格、宽度自定义、文本编辑、数字加减、多选&#xff0c;行选中效果&#xff0c;获取选中行数据等功能 2、图片效果 二、代码 1、wxml 根据头循环将表格头进行循环&#xff0c;再通过昂循环展示行内的全部信息&#xff0…
阅读更多...
uni-app vue2 记住密码功能

uni-app vue2 记住密码功能

1. html代码 <checkbox-group change"checkboxChange"><label><checkbox value"" :checked"ifSavePwd" style"transform: scale(0.6);"/>记住密码</label> </checkbox-group>2. js代码 默认复选款是不…
阅读更多...
深度学习优化-Gradient Checkpointing

深度学习优化-Gradient Checkpointing

数学原理参考&#xff1a; 梯度检查点技术&#xff08;Gradient Checkpointing&#xff09;详细介绍&#xff1a;中英双语-CSDN博客 视频讲解参考&#xff1a; 用梯度检查点来节省显存 gradient checkpointing_哔哩哔哩_bilibili Gradient Checkpointing&#xff08;梯度检查…
阅读更多...
sql靶场-时间盲注（第九、十关）保姆级教程

sql靶场-时间盲注（第九、十关）保姆级教程

目录 时间盲注&#xff08;第九、十关&#xff09; 1.判断 2.确认时间盲注 2.手工尝试时间盲注 数据库名长度 数据库名字符 表数 表名长度 表名字符 字段数 字段名长度 字段名字符 4.脚本时间盲注注入 5.第十关 时间盲注&#xff08;第九、十关&#xff09; 1.判…
阅读更多...
小米路由器SSH下安装DDNS-GO

小米路由器SSH下安装DDNS-GO

文章目录 前言一、下载&#xff06;安装DDNS-GO二、配置ddns-go设置开机启动 前言 什么是DDNS&#xff1f; DDNS&#xff08;Dynamic Domain Name Server&#xff09;是动态域名服务的缩写。 目前路由器拨号上网获得的多半都是动态IP&#xff0c;DDNS可以将路由器变化的外网I…
阅读更多...
Flutter_学习记录_device_info_plus 插件获取设备信息

Flutter_学习记录_device_info_plus 插件获取设备信息

引入三方库device_info_plus导入头文件 import package:device_info_plus/device_info_plus.dart;获取设备信息的主要代码 DeviceInfoPlugin deviceInfoPlugin DeviceInfoPlugin(); BaseDeviceInfo deviceInfo await deviceInfoPlugin.deviceInfo;完整案例 import package…
阅读更多...
【现代深度学习技术】卷积神经网络05：汇聚层

【现代深度学习技术】卷积神经网络05：汇聚层

【作者主页】Francek Chen 【专栏介绍】 ⌈ ⌈ ⌈PyTorch深度学习 ⌋ ⌋ ⌋ 深度学习 (DL, Deep Learning) 特指基于深层神经网络模型和方法的机器学习。它是在统计机器学习、人工神经网络等算法模型基础上&#xff0c;结合当代大数据和大算力的发展而发展出来的。深度学习最重…
阅读更多...
Amazon RDS ProxySQL 探索(一)

Amazon RDS ProxySQL 探索(一)

:::info &#x1f4a1; 在日常开发中&#xff0c;开发者们会涉及到数据库的连接&#xff0c;在使用Amazon RDS数据库时&#xff0c;若使用集群模式或者多数据库时&#xff0c;会出现一写多读多个Endpoint&#xff0c;在实际开发中&#xff0c; 开发者们配置数据库连接通常希望走…
阅读更多...
最新文章
推荐文章

Copyright @ 2022~2023