Oracle 使用OGG(Oracle GoldenGate) 实现19c PDB与MySQL5.7 数据同步

OGG 是一种基于日志的结构化数据复制软件,它通过解析源数据库在线日志或归档日志获得数据的增删改变化。

OracleMysql
IP address192.168.80.100192.168.80.16
DB version19.2.05.7
host nametempmysql

OS version: CentOS 7.9

一,Oracle 服务器上的准备工作。

1.在oracle服务器上创建ogg 用户以及工作目录

su - rootuseradd ogg -g oinstallpasswd oggmkdir -p /opt/oggchown -R ogg /opt/oggmkdir -p /home/oracle/oradata/OGG/ORCLCDBmkdir -p /home/oracle/oradata/OGG/tablespacechown -R oracle:oinstall /home/oracle/oradata/OGG

2.安装ogg软件

su - ogg

将ogg安装包 213000_fbo_ggs_Linux_x64_Oracle_shiphome.zip 传到/home/ogg下

unzip -d ~ 213000_fbo_ggs_Linux_x64_Oracle_shiphome.zip
cd fbo_ggs_Linux_x64_Oracle_shiphome/Disk1/response/

编辑 oggcore.rsp

更新以下行:

INSTALL_OPTION=ORA19C
SOFTWARE_LOCATION=/opt/ogg/source_endpoint

cd ..

./runInstaller -silent -nowait -responseFile /home/ogg/fbo_ggs_Linux_x64_Oracle_shiphome/Disk1/response/oggcore.rsp

3.编辑ogg用户环境变量

export PATH
export ORACLE_BASE=/u01/app/oracle
export ORACLE_HOME=$ORACLE_BASE/product/19.2.0/db_1
export ORACLE_SID=orcl
export PATH=$ORACLE_HOME/bin:$PATH
export LD_LIBRARY_PATH=$ORACLE_HOME/lib:$LD_LIBRARY_PATHexport OGG_HOME=/opt/ogg/source_endpoint/
export PATH=$OGG_HOME:$PATH:$ORACLE_HOME/bin
export TNS_ADMIN=$ORACLE_HOME/network/admin
alias ggsci='cd $OGG_HOME;ggsci'

source ~/.bashrc使其生效:

4.建立软链接


ln -s $ORACLE_HOME/lib/libnnz19.so /opt/ogg/source_endpoint/libnnz19.so
cd $OGG_HOMEldd ggsci

5.检查归档

su - oraclemkdir /home/oracle/archivelogsqlplus / as sysdbaarchive log list

6.开启oracle ogg

alter system set enable_goldengate_replication=true;

7.创建c##ogg所需要的表空间

创建c##ogg所需要的表空间:create tablespace oggtbs datafile '/home/oracle/oradata/OGG/tablespace/oggtbs01.dbf' size 1000M autoextend on;并在上面创建c##ogg用户:create user c##ogg identified by ogg default tablespace oggtbs;赋予权限:grant dba ,connect, resource, unlimited tablespace to c##ogg;exec dbms_goldengate_auth.grant_admin_privilege('c##ogg','*',TRUE);select username,common,con_id from cdb_users where username like '%OGG%';commit;

8.检查pdb状态

9.给c##ogg用户赋权限

grant dba ,connect, resource, unlimited tablespace to c##ogg;

10.编辑$TNS_ADMIN下的 tnsnames.ora文件

pdb =(DESCRIPTION =(ADDRESS_LIST =(ADDRESS = (PROTOCOL = TCP)(HOST = 192.168.80.100)(PORT = 1521)))(CONNECT_DATA =(SERVER = DEDICATED)(SERVICE_NAME =pdb)))

11.创建ogg所需要的表空间

create tablespace mytbs datafile '/home/oracle/oradata/OGG/tablespace/mytbs01.dbf' size 500M autoextend on;并在上面创建ogg用户:create user ogg identified by ogg default tablespace mytbs;赋予权限:grant dba ,connect, resource, unlimited tablespace to ogg;exec dbms_goldengate_auth.grant_admin_privilege('ogg','*',TRUE);select username,common,con_id from cdb_users where username like '%OGG%';commit;

12.验证ogg可以正常登录PDB数据库

13.创建ogg子目录

su - ogg
ggsci
create subdirs

14.切换到oracle用户,创建一个test_ogg用户

create user test_ogg identified by ogg ;grant dba ,connect, resource, unlimited tablespace to test_ogg;quit切换到test_ogg用户登录PDBsqlplus test_ogg/ogg@PDBcreate table test_ogg(id int,name varchar(20),primary key(id));

15.

切换到ogg用户:cd $OGG_HOMEggsciedit param ./globals填写以下内容oggschema ogg

16.输入以下内容

dblogin userid ogg@PDB password oggadd schematrandata PDB.test_oggadd trandata test_ogg.*capture tabledef test_ogg.*

17.OGG源端管理进程MGR配置:

edit param mgr添加以下内容PORT 7809

18.OGG源端抽取进程extoracle配置

edit param extorcl
extract extorclDDL INCLUDE ALLSETENV (ORACLE_HOME = "/u01/app/oracle/product/19.2.0/db_1")
SETENV (ORACLE_SID="orcl")
SETENV (NLS_LANG="american_america.AL32UTF8")
userid c##ogg@orcl , password ogg
exttrail /opt/ogg/source_endpoint/dirdat/to
table PDB.test_ogg.*;

19.

OGG源端传输进程pumysql配置edit param pumysql加入以下内容
extract pumysql
userid c##ogg@orcl, password ogg
rmthost 192.168.80.16,mgrport 7810
rmttrail /opt/ogg/target_endpoint/dirdat/rt
table PDB.test_ogg.*;

20.

delete extract pumysqladd extract pumysql, exttrailsource /opt/ogg/source_endpoint/dirdat/toadd rmttrail /opt/ogg/target_endpoint/dirdat/rt, extract pumysql, megabytes 100

info all

21.把这些全启动

start mgrstart extorclstart pumysql

其实可以看到现在Time Since Chkpt 这里是有问题的,没有及时的重置时间,因为我们mysql那边还没有进行配置

22.

edit param tab1
defsfile /opt/ogg/source_endpoint/dirdef/ogg_test.ogg_test
userid test_ogg@PDB, password ogg
table test_ogg.test_ogg;

23.

quit

./defgen paramfile dirprm/tab1.prm  

二,Mysql服务器上的准备工作。

1.安装Mysql步骤这里不做描述。

2.创建ogg用户

create user 'ogg'@'%' identified by 'ogg';grant all on *.* to 'ogg'@'%';

3.创建目的端ogg用户:ogg2

useradd ogg2passwd ogg2su - ogg2

4.将ogg for mysql安装包 传到/home/ogg2下

unzip -d ~ ./213000_ggs_Linux_x64_MySQL_64bit.zip

5.创建工作目录

mkdir /opt/ogg/target_endpointchown -R ogg2 /opt/ogg/target_endpoint

6.切换回ogg2用户:

tar -xvf ggs_Linux_x64_MySQL_64bit.tar -C /opt/ogg/target_endpoint

7.编辑环境变量

PATH=$PATH:$HOME/.local/bin:$HOME/binexport PATH
export JAVA_HOME=$HOME/jdk1.8.0_141
export PATH=$JAVA_HOME/bin:$PATHexport OGG_HOME=/opt/ogg/target_endpoint
export LD_LIBRARY_PATH=$JAVA_HOME/jre/lib/amd64:$JAVA_HOME/jre/lib/amd64/server:$JAVA_HOME/jre/lib/amd64/libjsig.so:$JAVA_HOME/jre/lib/amd64/server/libjvm.so:$OGG_HOME/lib:$HOME/libsexport PATH=$OGG_HOME:$PATH
alias ggsci='cd $OGG_HOME;ggsci'

8.

cd $OGG_HOMEggscicreate subdirs

9.edit param mgr

这个端口要和一.19步要对应上

10.OGG目的端检查点日志表checkpoint配置

edit param ./GLOBALS添加如下内容CHECKPOINTTABLE ogg.checkpoint

11.

创建MySQL的ogg用户:drop user ogg;create user 'ogg'@'%' identified by 'ogg';grant all on *.* to 'ogg'@'%';创建checkpoint所需的ogg库:create database ogg;
use oggcreate table test_ogg(id int,name varchar(20),primary key(id));

12.

将上次生成的 /opt/ogg/source_endpoint/dirdef/ogg_test.ogg_test 文件拷贝到 $OGG_HOME/dirdef下:cp /opt/ogg/source_endpoint/dirdef/ogg_test.ogg_test /opt/ogg/target_endpoint/dirdef/ogg_test.ogg_test

目标端:

13.进入ggsci命令行

dblogin sourcedb ogg@127.0.0.1:3306 ,userid ogg, password oggadd checkpointtable ogg.ggs_checkpoint

14.edit params r_tab1  这里重中之重,所参考文档 这一步是有问题的。

replicat r_tab1
targetdb ogg@192.168.80.16:3306,userid ogg,password ogg
sourcedefs /opt/ogg/target_endpoint/dirdef/ogg_test.ogg_test
HANDLECOLLISIONS
MAP PDB.test_ogg.*,target ogg.test_ogg;

翻译过来就是,我理解的意思就是源表你指定了要同步一个PDB的内容,但是params r_tab1这个文件里面却没指定,所以MAP 后面应该是PDB.test_ogg.*。之前参考的文档有些许错误。

15.

dblogin sourcedb ogg@127.0.0.1:3306 ,userid ogg, password oggdelete replicat r_tab1add replicat r_tab1,exttrail /opt/ogg/target_endpoint/dirdat/rt,checkpointtable ogg.ggs_checkpoint
info allstart mgrstart r_tab1

16. 关于排错的体会。

首先看一下RBA是否是有值的,如果是0,证明数据没同步过来,解决思路是看一下Log Read Checkpoint 这个目录里面的文件名字是否对上了。

info all

看一下 Time Since Chkpt 每隔十几秒钟会不会清零,如果没清零,则肯定是有报错,去看日志,

view ggsevt

同时在Oracle这边 PUMYSQL组也Time Since Chkpt也应该十几秒清零一次,做检查点。

一般来讲,如果Time Since Chkpt 一直没清零,则几分钟后该程序就会停止。

最后,检查数据是否同步:

使用OGG实现Oracle 19C到MySQL 5.7的数据同步(1) - 知乎 (zhihu.com)

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/284099.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

机器学习基础知识面经(个人记录)

朴素贝叶斯 特征为理想状态下的独立同分布,作为机器学习的重要基石和工具 由贝叶斯公式推导而来 是后验概率:在B发生的条件下A发生的概率。 是似然概率: 在 发生的条件下 发生的概率。 是先验概率: 发生的概率,而不考虑 的影响。 是…

静态综合实验

一.搭建拓扑结构 1.根据拓扑结构可以把网段分成14个网段,根据192.168.1.0/24可以划分出ip地址和环回地址 其中环回r1分别是 192.168.1.32/27 192.168.1.32/28 192.168.1.48/28 2.划分完后如图: 二.配置IP地址 注意:为了避免错误&#…

vulnhub prime1通关

目录 环境安装 1.信息收集 收集IP 端口扫描 目录扫描 目录文件扫描 查找参数 打Boss 远程文件读取 木马文件写入 权限提升 方法一 解锁密钥 方法二: linux内核漏洞提权 总结 环境安装 Kali2021.4及其prime靶机 靶机安装:Prime: 1 ~ Vul…

今天聊聊新零售

一、什么是新零售? 2016年,在杭州举行的“云栖大会”上,马云发表了讲话,首次提出了“新零售”这一概念。 1.1 新零售概念 新零售,英文是New Retailing,新零售是对人货场的重构。人是消费者、销售人员、…

Python 从0开始 一步步基于Django创建项目(3)使用Admin site管理数据模型

本文内容建立在《Python 从0开始 一步步基于Django创建项目(2)创建应用程序&数据模型》的基础上。 Django提供的admin site,使得网站管理员,能够轻松管理网站的数据模型。 本文首先创建‘管理员账户’,即超级用户…

Linux:Jenkins全自动持续集成持续部署(3)

在上一章部署好了之后,还需要点击一下才能进行部署,本章的效果是:当gitlab上的代码发生了变化后,我们不需要做任何事情不需要去点击构建按钮,Jenkins直接自动检测变化,然后自动去集成部署Linux:…

利用免费 GPU 部署体验大型语言模型推理框架 vLLM

vLLM简介 vLLM 是一个快速且易于使用的 LLM(大型语言模型)推理和服务库。 vLLM 之所以快速,是因为: 最先进的服务吞吐量 通过 PagedAttention 高效管理注意力键和值内存 连续批处理传入请求 使用 CUDA/HIP 图快速模型执行 量…

C#,图论与图算法,用于检查给定图是否为欧拉图(Eulerian Graph)的算法与源程序

1 欧拉图 欧拉图是指通过图(无向图或有向图)中所有边且每边仅通过一次通路, 相应的回路称为欧拉回路。具有欧拉回路的图称为欧拉图(Euler Graph), 具有欧拉通路而无欧拉回路的图称为半欧拉图。 对欧拉图的一个现代扩展是蜘蛛图,它向欧拉图增加了可以连接的存在点。 这给…

vue3对openlayers使用(加高德,天地图图层)

OpenLayers认识 WebGIS四大框架: Leaflet、OpenLayers、Mapbox、Cesium OpenLayers 是一个强大的开源 JavaScript 地图库,专注于提供可嵌入网页的交互式地图体验。作为一款地理信息系统(GIS)的前端开发工具,OpenLaye…

docker 和K8S知识分享

docker知识: 比如写了个项目,并且在本地调试没有任务问题,这时候你想在另外一台电脑或者服务器运行,那么你需要在另外一台电脑或者服务器配置相同的软件,比如数据库,web服务器,必要的插件和库等…

使用 chezmoi vscode, 管理你的 dotfiles

什么是 dotfiles In Unix-like operating systems, any file or folder that starts with a dot character (for example, /home/user/.config), commonly called a dot file or dotfile. 任何以 . 开头去命名的文件或者目录都可以称为 dotfile, 在 Unix-like 系统一般用的比较…

Mysql数据库深入理解

目录 一、什么是数据库 二、Mysql基本架构图 1.Mysql客户端/服务器架构 2.客户端与服务器的连接过程 3.服务器处理客户端请求 4.一条查询SQL执行顺序 4.1连接器 4.2查询缓存 4.3解析器 4.4执行器 4.4.1预处理阶段 4.4.2优化阶段 4.4.3执行阶段 5.一条记录如何存…

使用 Flink + Faker Connector 生成测试数据压测 MySQL

博主历时三年精心创作的《大数据平台架构与原型实现:数据中台建设实战》一书现已由知名IT图书品牌电子工业出版社博文视点出版发行,点击《重磅推荐:建大数据平台太难了!给我发个工程原型吧!》了解图书详情,…

VMware Workstation Pro 17虚拟机超级详细搭建(含redis,nacos,docker)(一)

今天从零搭建一下虚拟机的环境,把nacos,redis等微服务组件还有数据库搭建到里面,首先看到的是我们最开始下载VMware Workstation Pro 17 之后的样子,总共一起应该有三部分因为篇幅太长了 下载地址 : VMware - Delivering a Digit…

Mora: Enabling Generalist Video Generation via A Multi-Agent Framework

目录 论文地址:Mora: Enabling Generalist Video Generation viaA Multi-Agent Framework github地址:https://github.com/lichao-sun/Mora 一、摘要 (1)Mora 的主要特点: (2)Mora的应用场景…

Qt/C++通用跨平台Onvif工具/支持海康大华宇视华为天地伟业等/云台控制/预置位管理/工程调试利器

一、前言 在安防视频监控行业,Onvif作为国际标准,几乎主要的厂商都支持,不仅包含了国内的厂商,也包括主要的国际厂商,由于有了这个标准的存在,使得不同设备不同安防平台之间,能够接入各个厂家的…

【Linux】Linux开发工具-vim / 编译器-gcc/g++ / 调试器-gdb / git操作 / 项目自动化构建工具-make/Makefile

主页:醋溜马桶圈-CSDN博客 专栏:Linux_醋溜马桶圈的博客-CSDN博客 gitee:mnxcc (mnxcc) - Gitee.com 目录 1.在Linux写自己的第一个程序 1.1 nano指令 1.2 nano指令的使用 1.2.1 介绍 1.2.2 演示 1.2.2.1 创建.c文件 1.2.2.2 nano cod…

【黄啊码】如何用GPT和向量数据库做问答型AI

知识库服务依赖该数据库,Embedding 形式个性化训练 ChatGPT,必不可少的就是向量数据库 因为 qdrant 向量数据库只支持 Docker 部署,所以需要先安装好 Docker 服务。 命令行安装 拉取镜像 docker pull qdrant/qdrant 运行服务 docker run -…

【Godot 3.5控件】用TextureProgress制作血条

说明 本文写自2022年11月13日-14日,内容基于Godot3.5。后续可能会进行向4.2版本的转化。 概述 之前基于ProgressBar创建过血条组件。它主要是基于修改StyleBoxFlat,好处是它几乎可以算是矢量的,体积小,所有东西都是样式信息&am…

神级工具之git (一): git 基操

一切都从:Git User Manual开始,或者中文版的Git中文手册 核心概念 工作区 工作区我们可见的,可以进行修改的目录树。我们可以在目录树中进行文件的查看,修改。通常我们会使用一个神级编辑器Vim。我给她取了个名字,就…