如何进行数据库的迁移与同步——【DBA 从入门到实践】第四期

在日常的数据库运维工作中，我们时常会面临数据库替换、机房搬迁、业务测试以及数据库升级等任务，这些任务都需要对数据进行迁移和同步操作。【DBA 从入门到实践】第4期，将引导大家深入了解数据库迁移的流程，并探讨在迁移过程中可用的各种工具，以及在不同场景下如何选择最合适的工具，并分享如何更有效地使用这些工具。

本期教程我们将了解到：

社区版 OceanBase MySQL模式与 MySQL 数据库的兼容性差别；
如何使用 SQL 命令导数；
如何使用OceanBase迁移生态组件
- OMS 进行数据的迁移同步和性能调优；
- OBLogProxy 的 binlog 模式和 CDC 模式如何使用；
- OBDUMPER/OBLOADER 使用方法；
其他生态工具 DataX、Flink CDC、Canal、SeaTunnal使用和对比。

点击下方链接预约4月24日教程直播~

【DBA 从入门到实践】第四期

内容抢“鲜”知

（一）OceanBase 社区版 MySQL 模式与 MySQL 兼容性比对

OceanBase 数据库的 MySQL 模式兼容 MySQL 5.7/8.0 的绝大部分功能和语法，由于产品架构不同或功能需求度不高，有些功能并没有被支持。本期教程从数据类型、字符串、过程性语言、系统视图、字符集、字符序、索引、SQL_MODE、分区支持、备份恢复等方面，介绍 OceanBase 数据库的 MySQL 模式与原生 MySQL 数据库的不同，防止后续从 MySQL 迁移到 OceanBase，出现一些不必要的错误。

（二）使用 SQL 命令导数

常见且简便的数据迁移方式是SQL命令，数据导出到外部文件，可使用select into outfile的方式；数据从外部文件导入，可使用 load data 或者 source的方式，另外表与表之间的数据迁移，也可以使用 insert into 或者 merge into的方式。本期教程分别介绍使用这三种方式时的参数命令如何指定，并详细介绍特殊参数，通过简单的示例帮助大家在一些简单场景下快速做数据的导入和导出。

（三）使用OceanBase迁移生态组件

虽然集群内部、表与表之间数据归档、磁盘水位均衡、资源单元unit搬迁等操作在 OceanBase 数据库中可以通过简单命令快速发起，但是涉及异构数据源和集群间的数据同步等功能时就需要借助生态组件。

OceanBase 迁移服务（OceanBase Migration Service，OMS）社区版是 OceanBase 提供的一种支持同构或异构数据源与 OceanBase 数据库之间进行数据交互的服务，具备在线迁移存量数据和实时同步增量数据的能力。全方位了解 OMS有助于在后续配置 OMS 迁移同步任务和故障排查中更顺畅地使用。本教程除介绍 OMS 部署前的准备、资源配置要求、部署模式、参数详情外，还将以从 MySQL 数据库迁移到 OceanBase 数据库为例，介绍配置数据迁移任务的方法，以及配置完成后的任务管理、性能调优。

在使用 OceanBase 后，还想将所有变更数据同步到下游大数据平台，就需要用到OBLogProxy。OBLogProxy 是 OceanBase 的增量日志代理服务，它可以与 OceanBase 建立连接并进行增量日志读取，为下游服务提供了变更数据捕获（CDC）的能力。OBLogProxy 有 2 种模式，分别是 Binlog 模式和 CDC 模式。通过学 OBLogProxy 的使用方式、将增量数据转换成 binlog，以及参数的配置，大家基本就可以掌握使用OBLogProxy同步增量数据到其他 CDC 生态工具或者 binlog 生态工具。

除了使用 OMS 和 OBLogProxy 进行数据的迁移同步和增量获取，官方还提供了命令行的数据导入导出工具 OBDUMPER和OBLOADER，通过命令行将数据库表数据和存储上的数据文件以及表定义文件进行互相导入导出。本期教程介绍如何安装使用 OBDUMPER/OBLOADER、如何通过控制文件在导入导出时处理数据，以及在导入导出过程中遇到性能问题时的调优方式，

（四）开源工具介绍和对比

目前OceanBase也支持很多第三方工具，如开源的Flink CDC、DataX、Canal等。这些工具的功能都略有不同，因此适用场景也不太一样，本期教程将详细介绍这些工具的适用场景、使用方法、功能对比等，方便大家后期在做数据迁移同步时，选择合适的工具。

迁移方案	结构迁移	全量数据迁移	增量数据迁移	数据校验	支持的数据源
OMS	支持	支持	支持	支持	OceanBase、MySQL、MariaDB、PostgreSQL、GreenPlum、Hbase、TiDB、Kafka、RocketMQ
OBLogProxy	支持	不支持	支持	不支持	OceanBase、MySQL Binlog生态工具、CDC生态工具、OBLogClient
OBLOADER & OBDUMPER	支持	支持	不支持	不支持	OceanBase
SQL 命令迁移	支持	支持	不支持	不支持	主流数据库、SQL文本、CSV文件等
DataX	不支持	支持	不支持	不支持	较多，具体范围查看官方文档
Canal	支持	支持	支持	不支持	较多，具体范围查看官方文档
Flink cdc	支持	支持	支持	不支持	较多，具体范围查看官方文档
SeaTunnel	支持	支持	支持	不支持	较多，具体范围查看官方文档