在实际生产环境中,对于关键业务,往往会有容灾双活的需求。除了OceanBase提供的主备库能力,通过官方工具OMS也可以实现容灾双活架构。目前,通过OMS实现的双活架构仅支持OceanBase数据库之间的数据同步。
要通过OMS实现双活架构,用户需要在各地域都部署OMS系统。若仅在单地域进行部署,则无法通过OMS实施双活架构。需要注意的是,在创建数据源时,两端的OceanBase集群也需要位于不同的地域,以满足异地双活架构的配置要求。
具体的安装配置过程,这里做了一个测试案例,并记录整个双活搭建的过程,以供大家参考。
环境准备
安装准备
OMS的多地域部署详细步骤也可以参考官网文档:OMS多地域部署
首先,需要在官网下载OMS安装包:官网下载地址,选择OceanBase迁移服务的安装包;
通过docker load -i <下载下来的安装包>的方式,将OMS镜像加载到本地(需要安装docker,版本不低于V1.13);
如果需要部署influxdb,可以使用docker或者本地部署的方式,这里采用和官网一样,docker部署,目前支持的时序数据库为 InfluxDB 1.8 版本;
环境资源规划
IP地址 | 角色 | 地域 |
172.24.255.16 | OMS的元数据库 | 其他 |
172.24.255.24 | OMS节点1 & influxdb | 北京 |
172.24.255.25 | OMS节点2 | 杭州 |
172.24.255.17 | 源端OBServer节点 | 北京 |
172.24.255.18 | 目标端OBServer节点 | 杭州 |
安装部署
安装influxdb(可选)
安装inflxudb之后,可以监控数据同步链路情况。
influxdb安装配置如下
# 运行influxdb docker环境
[root@oms oms]# sudo docker run -dit -p 8086:8086 -p 14444:14444 \
> -v /omsdata:/var/lib/influxdb \
> --env INFLUXDB_BIND_ADDRESS=127.0.0.1:14444 \
> --env INFLUXDB_HTTP_AUTH_ENABLED=true \
> --env INFLUXDB_HTTP_PING_AUTH_ENABLED=true \
> --name=oms-influxdb \
> influxdb:1.8
95dedec9ea51147898d56b74dfaf021fba3543e8e1d903364f4a907af812c424# 查看influxdb docker
[root@oms oms]# docker ps
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
95dedec9ea51 influxdb:1.8 "/entrypoint.sh in..." 5 seconds ago Up 5 seconds 0.0.0.0:8086->8086/tcp, 0.0.0.0:14444->14444/tcp oms-influxdb# 进入容器中进行配置
[root@oms oms]# docker exec -it 95dedec9ea51 /bin/bash
root@95dedec9ea51:/# cd /usr/bin# 创建用户,提供OMS连接
root@95dedec9ea51:/usr/bin# ./influx
Connected to http://localhost:8086 version 1.8.3
InfluxDB shell version: 1.8.3
> create user admin with password 'xxxxxx' with all privileges;
> exit
root@95dedec9ea51:/usr/bin# exit
exit
[root@oms oms]#
创建OMS配置文件
这里使用有配置文件的方式进行部署,配置文件内容如下:
# OMS 元数据库信息
oms_meta_host: 172.24.255.16
oms_meta_port: 2881
oms_meta_user: root@租户名 # 已为OMS创建好对应的租户,并设置了登陆密码
oms_meta_password: xxxxxx# 用户可以自定义以下三个数据库的名称,OMS 部署时会在元信息库中创建出这三个数据库
drc_rm_db: drc_rm_db
drc_cm_db: drc_cm_db
drc_cm_heartbeat_db: drc_cm_heartbeat_db# OMS 集群配置
# 单节点部署时,通常配置为当前 OMS 机器 IP(建议使用内网 IP)
cm_url: http://172.24.255.24:8088
cm_location: 100
# 单节点部署时,无需设置 cm_region
cm_region: cn-beijing
# 单节点部署时,无需设置 cm_region_cn
cm_region_cn: 北京
cm_is_default: true
cm_nodes:- 172.24.255.24# 时序数据库配置
# 默认值为 false。如果您需要开启指标汇报功能,请设置为 true
tsdb_enabled: true
# 当 tsdb_enabled 为 true 时,请取消下述参数的注释并根据实际情况填写
tsdb_service: 'INFLUXDB'
tsdb_url: '172.24.255.24:8086'
tsdb_username: admin
tsdb_password: xxxxxx
注意,如果这里每个地域要部署多个OMS服务的话,cm_url 需要配置为当前地域所有 CM 隶属的一个 VIP 或域名下。这里因为北京和杭州两个地域,每个地域只部署一个节点,所以直接在每个地域选择使用本地节点IP。
安装OMS多地域
# 查看oms镜像
[root@oms oms]# docker images
REPOSITORY TAG IMAGE ID CREATED SIZE
reg.docker.alibaba-inc.com/oceanbase/oms feature_4.1.1_ce 258282c19081 5 weeks ago 3.82 GB
influxdb 1.8 c15aefdd926b 2 years ago 307 MB# 获取部署脚本
[root@oms oms]# sudo docker run -d --name oms-config-tool 258282c19081 bash && sudo docker cp oms-config-tool:/root/docker_remote_deploy.sh . && sudo docker rm -f oms-config-tool# 执行安装部署,安装提示,一步一步进行选择
[root@oms oms]# sh docker_remote_deploy.sh -o /omsdata -c /opt/oms/oms_config.yaml -i 172.24.255.24 -d 258282c19081提示:输入 <Control-C> 可退出部署请选择部署模式:单地域单节点单地域多节点
●多地域
您选择的部署模式是:多地域部署模式
请选择您所需要进行的任务:无配置文件,全新部署 OMS,从生成配置文件开始
●已通过脚本[-c]选项传入参考配置文件,基于参考配置文件开始配置
已加载您的所有配置项,并校验通过。
您的配置如下:
{"apsara_audit_enable": "false","apsara_audit_sls_access_key": "","apsara_audit_sls_access_secret": "","apsara_audit_sls_endpoint": "","apsara_audit_sls_ops_site_topic": "","apsara_audit_sls_user_site_topic": "","cm_is_default": true,"cm_location": "100","cm_nodes": ["172.24.255.24"],"cm_region": "cn-beijing","cm_region_cn": "北京","cm_url": "http://172.24.255.24:8088","drc_cm_db": "drc_cm_db","drc_cm_heartbeat_db": "drc_cm_heartbeat_db","drc_rm_db": "drc_rm_db","oms_meta_host": "172.24.255.16","oms_meta_password": "xxxxxx","oms_meta_port": "2881","oms_meta_user": "root@租户名","tsdb_enabled": true,"tsdb_password": "xxxxxx","tsdb_service": "INFLUXDB","tsdb_url": "172.24.255.24:8086","tsdb_username": "admin"
}[y/n] 您是否需要重新配置?[n]n
您是需要在当前执行的机器上
接下来 OMS 需要在节点 ['172.24.255.24'] 上依次执行部署脚本。
请输入节点 172.24.255.24 上预备部署 OMS 的挂载目录:[/omsdata/]/omsdata/
请您确认以下内容:
[y/n] 部署 OMS 的 [镜像名/IMAGE-ID] 是:258282c19081 ,请确认是否正确。[y]y
[y/n] 是否需要在 OMS 容器中挂载 HTTPS 证书?[n]n
[y/n] 172.24.255.24 节点下的配置文件 config.yaml 将写在这个路径:/omsdata/ 下可以吗?[y]y1d7e4d1df16c456474a71636ae73e01acb3f7b156376b43a7b32821de00ba751
[CHECK] Check the validity of config.yaml format.
[PASSED]
[CHECK] Check the version of Docker on the host machine.
Docker version is: 1.13.1.
[PASSED]
[CHECK] Check the synchronization between the MetaDB clock and the machine clock.
[PASSED]
Waiting docker_cmd.sh to finished
......
当出现如下:“【结束】全部初始化步骤执行成功”,则表示第一个地域已经安装完成
2023-09-08 16:34:10,322-urllib3.connectionpool-DEBUG connectionpool._new_conn.249 :Starting new HTTP connection (1): 172.24.255.24:8088
2023-09-08 16:34:10,343-urllib3.connectionpool-DEBUG connectionpool._make_request.482 :http://172.24.255.24:8088 "POST /consumer/create HTTP/1.1" 200 35
{"consumer":"drc","isSuccess":true}--------------------------------------------------------------------------------
# 【结束】全部初始化步骤执行成功
--------------------------------------------------------------------------------
安装完成之后,因为是多地域,所以安装程序不会直接退出,接着需要配置和安装其他地域的oms
[y/n] 已完成地域:[['cn-beijing']]的部署,需要在新的地域上部署吗?[y]y
您选择的部署模式为多地域部署模式
请输入英文地域标识,如:cn-hangzhou:[cn-beijing]cn-hangzhou
请输入中文地域标识,如:杭州:[北京]杭州
请输入 OMS 集群管理服务的地址(即当前地域所有 CM 机器挂载的同一个 VIP 或域名,原配置项名称为:cm_url):[http://172.24.255.24:8088]http://172.24.255.25:8088
请依次输入本地域中所有机器 IP 地址,用","分隔:[172.24.255.24]172.24.255.25
请为当前地域(杭州)设置一个地域编号,范围为[0,127]:[100]101
您的 OMS 集群配置如下:
{"cm_is_default": false,"cm_location": "101","cm_nodes": ["172.24.255.25"],"cm_region": "cn-hangzhou","cm_region_cn": "杭州","cm_url": "http://172.24.255.25:8088"
}[y/n] 请确认配置信息[y]y
接下来 OMS 需要在节点 ['172.24.255.25'] 上依次执行部署脚本。
请输入节点 172.24.255.25 上预备部署 OMS 的挂载目录:[/omsdata/]/omsdata/
请您确认以下内容:
[y/n] 部署 OMS 的 [镜像名/IMAGE-ID] 是:258282c19081 ,请确认是否正确。[y]y
[y/n] 是否需要在 OMS 容器中挂载 HTTPS 证书?[n]n
[y/n] 检查到待部署节点 172.24.255.25 与当前执行部署工具所在机器 IP 不一致,是否远程执行脚本(需要远程节点 172.24.255.25 能够通过 SSH 连接,用户具有远程节点上 sudo 权限)[y]y
[y/n] 请确认节点 172.24.255.25 的端口 22 是否能够通过 SSH 连通?[y]y
请输入节点:172.24.255.25 的用户名:root
请输入节点:172.24.255.25 的密码:***********
[y/n] 172.24.255.25 节点下的配置文件 config.yaml 将写在这个路径:/omsdata/ 下可以吗?[y]y
1b10361403d14e4584a53ef930737b7579dfd2f6da8c9f524b6a8c418dde302e
oceanbaseV5
[CHECK] Check the validity of config.yaml format.
[PASSED]
[CHECK] Check the version of Docker on the host machine.
Docker version is: 1.13.1.
[PASSED]
[CHECK] Check the synchronization between the MetaDB clock and the machine clock.
[PASSED]
Waiting docker_cmd.sh to finished
......
等待部署成功,部署完成之后,会提示已经安装完成哪些地域。如果不需要再安装新的地域,输入n退出即可。
2023-09-08 16:39:27,700-urllib3.connectionpool-DEBUG connectionpool._new_conn.249 :Starting new HTTP connection (1): 172.24.255.25:8088
2023-09-08 16:39:27,716-urllib3.connectionpool-DEBUG connectionpool._make_request.482 :http://172.24.255.25:8088 "POST /consumer/create HTTP/1.1" 200 116
{"errMsg":"com.alibaba.drc.exception.CMBizException: Consumer [drc] already exists","errCode":302,"isSuccess":false}--------------------------------------------------------------------------------
# 【结束】全部初始化步骤执行成功
--------------------------------------------------------------------------------
[y/n] 已完成地域:[['cn-beijing', 'cn-hangzhou']]的部署,需要在新的地域上部署吗?[y]n
[root@oms oms]#
登陆访问OMS
这个时候无论访问 http://172.24.255.24:8089 还是 http://172.24.255.25:8089 都是可以的,这块也可以使用负载均衡,可以实现当其中一个oms挂了,不影响oms的访问和登陆。
OceanBase集群双活搭建
可参照官网文档 OceanBase 社区版之间的容灾双活,介绍了搭建容灾双活的使用限制和注意事项等。搭建容灾双活,需要依赖于OCP或者ConfigServer,ConfigServer安装部署可参考官网博客文档:【SOP 系列 15】configserver 安装和使用。
容灾双活需要创建两条同步链路,分别为正向同步链路和反向同步链路。
创建数据源
OMS多地域部署之后,在创建数据源时,如下图可以选择数据源为多个地域
当OceanBase作为源数据库做增量同步时,需要指定OCP或者ConfigServer组件,这里先关联下已部署的OCP
在数据源管理页面,创建双活两端的数据源
创建完成之后如下,两个数据源分别在不同的地域
创建正向同步链路
在数据迁移页面,开始创建正向同步链路
选择好数据源之后,在使用场景这里选择容灾双活
第二步,这里选择迁移类型,根据实际情况进行选择
因为OceanBase作为源端,并且需要做增量同步,因此这里需要关联下OCP,填写账号密码
如果没有OCP,这里也可以用ConfigUrl,如果单独安装了ConfigServer
选择要同步的表
迁移选项配置
预检查
出现如下警告,可以进到OceanBase数据库中做下修改
目标端数据库 max_allowed_packet 参数小于预期值 8388608 B,可能会导致数据迁移性能不佳。对目标端 OceanBase 的情况,建议 MySQL 模式 >= 8MB,Oracle 模式 >= 64MB,命令设置:set global max_allowed_packet=8388608。
开始同步
此时已完成正向的同步链路创建,要想实现双活,还需要反向进行同步
创建反向同步链路
反向同步链路创建方式与正向基本一致,不过需要注意的是在迁移类型部分
迁移类型这里,不能再选择结构迁移和全量迁移,因为结构和全量数据已经通过正向链路进行了同步,并且不能同步DDL,正向和反向链路,只能有一个开启同步DDL,因此在这里只选择增量同步。
其他的步骤都基本一样
保存之后点击下一步
配置迁移选项
预检查
开始同步
双活测试
以下是双活的测试过程:
分别开启两个窗口,连接两端的OceanBase数据库:
1、在OB1插入两条数据,可以在OB2端看到数据同步过去;
2、在OB2插入两条数据,可以看到在OB1端也同步过来;
3、在OB1端创建一张表,在OB2端该表结构也做了同步;
4、在OB2端对新建表插入数据,在OB1端可以查到插入的数据;
5、在OB1端对表结构进行变更,在OB2端可以看到变更成功。