本教程将介绍如何使用 Flink CDC 来实现这个需求, 在 Flink SQL CLI 中进行,只涉及 SQL,无需一行 Java/Scala 代码,也无需安装 IDE。 系统的整体架构如下图所示:
环境篇
1、 准备一台Linux
2、准备教程所需要的组件
下载 flink-1.13.2 并将其解压至目录 flink-1.13.2
tar zxvf flink-1.13.2-bin-scala_2.12.tgz
✓ flink-1.13.2-bin-scala_2.12.tgz
链接:百度网盘 请输入提取码 提取码:az82
下载下面列出的依赖包,并将它们放到目录 flink-1.13.2/lib/ 下:
✓ flink-sql-connector-mysql-cdc-2.1.0.jar
✓ flink-sql-connector-postgres-cdc-2.1.0.jar
✓ flink-sql-connector-mongodb-cdc-2.1.0.jar
✓ flink-sql-connector-elasticsearch7_2.11-1.13.2.jar
✓ flink-sql-connector-kafka_2.12-1.13.5.jar
✓ flink-shaded-hadoop-2-uber-2.7.5-10.0.jar
✓ iceberg