【大数据实时数据同步】超级详细的生产环境OGG(GoldenGate)12.2实时异构同步Oracle数据部署方案(上)

系列文章目录

【大数据实时数据同步】超级详细的生产环境OGG(GoldenGate)12.2实时异构同步Oracle数据部署方案(上)
【大数据实时数据同步】超级详细的生产环境OGG(GoldenGate)12.2实时异构同步Oracle数据部署方案(中)
【大数据实时数据同步】超级详细的生产环境OGG(GoldenGate)12.2实时异构同步Oracle数据部署方案(下)


文章目录

  • 系列文章目录
  • 前言
  • 一、数据库配置信息
  • 二、下载OGG12C
  • 三、上传安装包到主备库并解压
  • 四、配置环境变量
  • 五、创建安装目录
  • 六、数据库配置
    • 源端库配置
      • 1、开启数据库归档
      • 2、开启强制使用日志模式
      • 3、开启日志追加
      • 4、创建ogg管理用户
      • 5、授予ogg账户权限
      • 6、修改数据库参数
    • 目标端库配置
      • 1、创建ogg管理用户
      • 2、授予ogg账户权限
      • 3、修改数据库参数
  • 总结


前言

博主所在单位目前使用Oracle GoldenGate将各个业务生产库汇聚到一起做数仓实时ODS平台,源端库可能涉及Oracle、Mysql、达梦、Guassdb库。
之前写过一系列关于GoldenGate异构同步Mysql、Kafka、Kylin、Flink做实时计算的场景文章。但是突然发现,卧槽最最最应该第一个做的Oracle->Oracle的实时异构同步文档竟然没写!
来弥补一下这个空白!!!
好了,扯远了,回归技术!
下面是我给大家的生产环境下,如何部署GoldenGate12C及异构实时同步数据的解决方案。本文主要介绍如何实现实时异构的进行Oracle->Oracle的数据同步,这种数据同步适用于灾备、升级、实时ODS等场景使用。我这里给大家了三个GoldenGate部署方式,看大家喜欢用哪种吧!!
注意:本部署方案分为三章节,三章节的重点分别是:

  • GoldenGate12C安装前,数据库层面的准备工作!!!
  • 给你GoldenGate12C的三种部署方式,看你喜欢哪种部署方式!!!
  • 配置支持DDL操作的实时数据同步!!!

一、数据库配置信息

此架构为ALO模式的数据同步,系统均为:OracleLinux6.8,数据库安装可以参考另一篇数据库安装文档:
【大数据开发运维解决方案】linux5 安装 oracle 11g(11.2.0.4)实验。
源端数据库配置信息:
主机名:source
IP:192.168.1.6
归档位置:/u01/arch
字符集:AMERICAN_AMERICA.AL32UTF8
目的端数据库配置信息:
主机名:ogg
IP:192.168.1.10
归档位置:/u01/arch
字符集:AMERICAN_AMERICA.ZHS16GBK
UTF8是GBK的超集,有可能有些utf8中有但是gbk没有的字符,就会报错,比如之前生产遇到的不间断空格(c2a0),文章连接:
【大数据实时数据同步】GoldenGate实时同步异常:OGG-03533:character ‘c2 a0‘ at offset 0 that is not available报错解决

二、下载OGG12C

GoldenGate公司成立于1995年的美国加州旧金山, 它的名称源自旧金山闻名于世的金门大桥。
该公司于2009年9月被Oracle公司收购,在此之前Oracle和GoldGate公司就有了长达超过10年的合作关系。
GoldenGate几乎支持市面上流行的所有主流的操作系统平台和数据库。
点击此处跳转Oracle官网下载

三、上传安装包到主备库并解压

我是通过xmanager的ftp上传的,解压命令

[oracle@source u01]$ unzip V861007-01.zip

在这里插入图片描述

四、配置环境变量

源端环境变量设置如下:

# .bash_profile# Get the aliases and functions
if [ -f ~/.bashrc ]; then. ~/.bashrc
fi
# User specific environment and startup programs
PATH=$PATH:$HOME/bin
export PATH
export ORACLE_BASE=/u01/app/oracle
export GGHOME=$ORACLE_BASE/ogg12
export ORACLE_HOME=$ORACLE_BASE/product/11.2.0/db_1
export ORACLE_SID=orcl
export PATH=$PATH:$ORACLE_HOME/bin:$ORACLE_BASE/ogg12:$ORACLE_HOME/OPatch
export NLS_LANG=AMERICAN_AMERICA.AL32UTF8
export LD_LIBRARY_PATH=$ORACLE_HOME/lib--如果不配置这个,会爆缺少libnnz11.so等库文件的错。所以这里制定这些库文件,可以和后面安装过程用ldd命令验证的步骤搭配看
alias sqlplus='rlwrap sqlplus'
alias rman='rlwrap rman'
alias ss='sqlplus / as sysdba'
alias sc='sqlplus scott/tiger'
alias c='cd $GGHOME'
alias g='rlwrap ./ggsci'

目的端环境变量配置:

# .bash_profile
# Get the aliases and functions
if [ -f ~/.bashrc ]; then. ~/.bashrc
fi
# User specific environment and startup programs
PATH=$PATH:$HOME/bin
export PATH
export ORACLE_BASE=/u01/app/oracle
export GGHOME=$ORACLE_BASE/ogg12
export ORACLE_HOME=$ORACLE_BASE/product/11.2.0/db_1
export ORACLE_SID=ogg
export PATH=$PATH:$ORACLE_HOME/bin:$ORACLE_BASE/ogg12:$ORACLE_HOME/OPatch
export NLS_LANG=AMERICAN_AMERICA.ZHS16GBK
export LD_LIBRARY_PATH=$ORACLE_HOME/lib
alias sqlplus='rlwrap sqlplus'
alias rman='rlwrap rman'
alias ss='sqlplus / as sysdba'
alias sc='sqlplus scott/tiger'
alias c='cd $GGHOME'
alias g='rlwrap ./ggsci'

环境变量配置完要source .bash_profile一下生效

五、创建安装目录

因为两端都指定ogg安装目录为/u01/app/oracle/ogg12,所以两边都做下面操作:

mkdir /u01/app/oracle/ogg12

六、数据库配置

源端库配置

1、开启数据库归档

验证是否开启

SQL> archive log list

2、开启强制使用日志模式

alter database force logging;

验证是否开启

select force_logging from v$database;

3、开启日志追加

alter database add supplemental log data;

验证是否开启

select supplemental_log_data_min,
supplemental_log_data_pk,
supplemental_log_data_ui,
supplemental_log_data_fk
from v$database;

4、创建ogg管理用户

创建表空间oggdata,用来存放ogg账户的相关数据

CREATE TABLESPACE OGGDATA DATAFILE '/u01/app/oracle/oradata/orcl/ogg.dbf' SIZE 200M AUTOEXTEND ON NEXT 100M MAXSIZE 1024M;
create user ogg identified by ogg default tablespace oggdata;

5、授予ogg账户权限

GRANT CREATE TABLE,CREATE SEQUENCE TO OGG;
grant connect, resource, dba to ogg;

6、修改数据库参数

查看数据库版本:

select*from v$version;

Oracle 11.2.0.4需要配置参数,之前的版本不需要配置
修改参数:

alter system set enable_goldengate_replication=true scope=both; 

目标端库配置

1、创建ogg管理用户

创建表空间oggdata,用来存放ogg账户的相关数据

CREATE TABLESPACE OGGDATA DATAFILE '/u01/app/oracle/oradata/orcl/ogg.dbf' SIZE 200M AUTOEXTEND ON NEXT 100M MAXSIZE 1024M;
create user ogg identified by ogg default tablespace oggdata;

2、授予ogg账户权限

GRANT CREATE TABLE,CREATE SEQUENCE TO OGG;
grant connect, resource, dba to ogg;

3、修改数据库参数

查看数据库版本:

select*from v$version;

Oracle 11.2.0.4需要配置参数,之前的版本不需要配置
修改参数:

alter system set enable_goldengate_replication=true scope=both; 

总结

本篇博客主要介绍了在安装OGG12C之前,数据库层面应该做哪些变化!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/63193.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

chatgpt赋能python:Python中文版的重要性

Python中文版的重要性 作为一种流行的编程语言,Python已经成为了很多计算机科学家和开发者的首选编程语言。然而,对于许多人来说,英文不是他们的母语,这就导致了理解和学习Python变得更加困难。因此,Python的中文版逐…

申请微信公众号,当前绑定的银行卡暂不支持实名验证...

2019独角兽企业重金招聘Python工程师标准>>> 申请改名微信公众号,让微信扫描二维码,扫描完了后,提示“当前绑定的银行卡暂不支持实名验证”。 看了下说明,招商,农行等等几个少数的银行卡不支持实名认证。…

paypal更新界面后,无法添加银行卡怎么办?

paypal最近更新了操作界面,然后,,,,很多朋友就遇到了一个问题,无法添加银行卡,在新界面上无法添加银行卡,多次添加都以银行地址不对而无法添加,大打电话给客服的话&#…

chatgpt赋能python:Python中的Bind:掌握Python中最常用的绑定方法

Python中的Bind:掌握Python中最常用的绑定方法 绑定(bind)是Python编程中最常用的方法之一,它是将一个函数与一个对象或程序相关联的过程。在Python中,有多种方式可以实现绑定。本文将着重介绍bind的概念、语法和应用…

招行信用卡绑定Google Checkout

使用招行信用卡购买了Google的$5/年的20GB存储空间!没有办法,Google Checkout不支持中国(P.R.C),所以只能"被"成为香港(Hong.Kong)公民了,因为只能购买一年的,…

[iOS]App Store Connect添加银行卡时的CNAPS代码查询

App Store Connect 协议、税务和银行业务中,给付费APP类型添加银行卡需要填写CNAPS代码CNAPS代码,其实就是联行号。 联行号又称大额行号、银联号、银行行号或CNAPS号。 银行联行号查询

开通财付通境外并将申请到的美国运通卡与paypal账户成功绑定

经常看到一些国外的东西比国内的便宜,找人代购或嗨淘都有点麻烦,总觉得不如自己动手方便,所以一直想有个能与paypal绑定的卡,只可惜境内又办不到。 终于在微博上看到了财付通还能办境外支付的消息,可惜已经晚了&#…

2022年疫情下的卡塔尔世界杯,你看了么,盘点一下爆冷的赛事

卡塔尔世界杯 卡塔尔世界杯世界杯出现的爆冷比赛沙特阿拉伯 VS 阿根廷(1:2)德国 VS 日本 (1:2)比利时 VS 摩洛哥 (0:2)摩洛哥VS 加拿大 (2:1)日本 VS 西班牙 (2:1)摩洛哥 VS 西班牙(3:0) 总结 卡塔尔世界杯 卡塔尔世界杯有32个国家…

预测足球世界杯比赛

目录 1. 背景 2. 输入特征选择 3. 数据集-特征获取 4. 数据预处理 5. 模型训练与选择 6. 预测 7. 2018后新的数据 8. 个人总结 1. 背景 在这四年一次的足球世界杯即将来临之际,公司将要举办一个模型预测与人工预测的比赛活动,虽然本人不是足球迷…

嵌入式openwrt平台(mt7688)上使用讯飞语音服务

还记得第一次接触嵌入式开发,boss拿着一块widora的mt7688板子让我去开发openwrt环境下的使用讯飞语音技术的应用。我的天啊,我第一次接触,这是什么东西。因此,我这个新手走了不少弯路,但是最后成功使程序跑起来了&…

16K个大语言模型的进化树;81个在线可玩的AI游戏;AI提示工程的终极指南;音频Transformers课程 | ShowMeAI日报

👀日报&周刊合集 | 🎡生产力工具与行业应用大全 | 🧡 点赞关注评论拜托啦! 🤖 LLM 进化树升级版!清晰展示 15821 个大语言模型的关系 这张进化图来自于论文 「On the Origin of LLMs: An Evolutionary …

如何做好 PPT(蔡学镛演讲稿)

2019独角兽企业重金招聘Python工程师标准>>> 四大困扰,一个对策;告别损伤,呈现完美!你所需要的 【PPT 修复精华】,都在这一瓶 "学镛小黑瓶"。万千讲师的挚爱,你 值得拥有。 大家好,我是蔡学镛,我今天的讲题是「可卡因+海洛因: 超亢奋的 PPT 设计…

英文演讲稿(3-5分钟)

为什么80%的码农都做不了架构师?>>> 大学生英语演讲稿I believe in our future I believe in our future Honorable Judges, fellow students: Good afternoon! Recently, ther is a heated debate in our society. The college students are the benef…

意图识别与槽填充(填槽的概念)

转载于:https://blog.csdn.net/u010159842/article/details/80759428 原文链接:http://t.cn/RE0FkgD 跳槽,吐槽,匹诺曹都听过,这个填槽,emmmm,黑人问号脸???…

人才“选用育留”难?做好这步,人力资源或许比你想象的更轻松

人才作为企业生存和发展最重要的资源之一,如何发现、使用、培养、留住优秀人才是所有企业人力资源管理的关键。但在实际场景当中,“招聘流程长造成人才流失”、“员工招聘不精准、效率低”、“员工培育周期长、成本高”、“优秀人才留不住”等问题正深深…

偷偷爆料下国内比较大型的 IT 软件外包公司名单(2023 最新版!)

点关注公众号,回复“1024”获取2TB学习资源! 根据网上的资料,整理出来的一份国内软件外包公司的名单。 找工作的同学都要看看,根据自身的情况,学历低的 、没有经验的,可以先到外包公司试试,或者…

明星热图|欧阳娜娜、张艺兴代言新品牌;吴彦祖、高圆圆、全智贤演绎服装新品;关晓彤、欧阳靖、张云龙出席品牌活动...

图片是企业新闻传播的要素之一,优秀的图片使读者能更直观地了解新闻内容。“一周热图”栏目为大家展示每周通过美通社发布的最具代表性的企业新闻图片。 服装 潮流运动品牌FILA FUSION正式签约首位品牌代言人欧阳娜娜,这位出生于艺术世家的00后&#xff…

剧版浪姐口碑爆了!数据告诉你,《三十而已》凭什么这么戳中观众的心

▼ 更多精彩推荐,请关注我们 ▼ 作者:Mika 数据:真达 后期:泽龙 【导读】 最近《三十而已》这部剧频频霸占微博热搜,今天我们就来聊一聊。 Python技术部分请直接看第四部分。公众号后台,回复关键字“三十…

数据告诉你,剧版“浪姐“-《三十而已》凭什么这么戳中观众的心

CDA数据分析师 出品 作者:Mika 数据:真达 后期:泽龙 【导读】 最近《三十而已》这部剧频频霸占微博热搜,今天我们就来聊一聊。 Python技术部分请直接看第四部分。 Show me data,用数据说话 今天我们聊一聊 《三…

数据告诉你,剧版浪姐-《三十而已》凭什么这么戳中观众的心

image CDA数据分析师 出品 作者&#xff1a;Mika 数据&#xff1a;<typo id"typo-29" data-origin"真达" ignoretag"true">真达</typo> 后期&#xff1a;泽龙 【导读】 最近《三十而已》这部剧频频霸占微博热搜&#xff0c;今天我们…