MySQL基于GTID同步模式搭建主从复制

系列文章目录

rpmbuild构建mysql5.7.42版本的rpm包

文章目录

  • 系列文章目录
  • 一、mysql-5.7.42RPM包构建
  • 二、同步模式分类介绍
    • 1.异步同步模式
    • 2.半同步模式
      • 2.1.实现半同步操作流程
      • 2.2.半同步问题总结
      • 2.3.半同步一致性
      • 2.4.异步与半同步对比
    • 3.GTID同步
  • 三、GTID同步介绍
    • 1.gtid介绍
    • 2.gtid组成
    • 3.gtid工作原理
    • 4.gtid优缺点
  • 四、搭建主从复制
    • 1.两台机器分别安装mysql-rpm包
    • 2.检查两台机器my.cnf配置文件
    • 3.创建主从复制用户
    • 4.搭建主从
    • 5.验证
  • 五、主从复制原理
  • 总结

一、mysql-5.7.42RPM包构建

1、首先请查看顶部的系列文章目录,通过这篇文章构建出mysql的rpm安装包
2、接着将构建好的rpm包上传到服务器,至此安装包准备完毕,接下来搭建GTID同步模式的主从复制

二、同步模式分类介绍

1.异步同步模式

在这里插入图片描述

异步同步模式是 MySQL 默认的同步策略模式。
客户端在向服务端发送请求后，master处理完之后,直接返回客户端结果,接着在将对应的log信息发送给 slave节点。

异步同步模式缺点

主库在执行完客户端提交的事务后会立即将结果返回给客户端，并不关心从库是否已经接收并处理，
这样就会有一个问题，主库如果crash掉了，此时主库上已经提交的事务可能并没有传到从库上，
如果此时，强行将从提升为主，可能导致新的主库上数据不完整

2.半同步模式

在这里插入图片描述
半同步模式与异步同步的模式最大的区别

1、主库在执行完客户端提交的事务后不是立刻返回给客户端,而是等待至少一个从库接收到并写到relay_log中才返回给客户端
2、半同步模式也是基于异步复制的基础上进行的，无非是半同步模式需要安装异步插件完成

2.1.实现半同步操作流程

1、检测是否支持动态安装插件模式
mysql > select @@have_dynamic_loading; #返回YES为支持,反之不支持

2、在 master 上安装 master 对应的插件.slave节点也可以安装,此处不做示例
mysql> INSTALL PLUGIN rpl_semi_sync_master SONAME 'semisync_master.so'; #执行安装
mysql >show global variables like 'rpl_semi%'; #查看安装插件后的参数配置
+-------------------------------------------+------------+
| Variable_name                             | Value      |
+-------------------------------------------+------------+
| rpl_semi_sync_master_enabled              | OFF        |
| rpl_semi_sync_master_timeout              | 10000      |
| rpl_semi_sync_master_trace_level          | 32         |
| rpl_semi_sync_master_wait_for_slave_count | 1          |
| rpl_semi_sync_master_wait_no_slave        | ON         |
| rpl_semi_sync_master_wait_point           | AFTER_SYNC |
+-------------------------------------------+------------+

3、master 服务器和 slave 服务器都开启主从复制插件功能
mysql > set global rpl_semi_sync_master_enabled=ON; #调整半同步插件参数值
mysql > show global variables like 'rpl_semi%';
+-------------------------------------------+------------+
| Variable_name                             | Value      |
+-------------------------------------------+------------+
| rpl_semi_sync_master_enabled              | ON         |
| rpl_semi_sync_master_timeout              | 10000      |
| rpl_semi_sync_master_trace_level          | 32         |
| rpl_semi_sync_master_wait_for_slave_count | 1          |
| rpl_semi_sync_master_wait_no_slave        | ON         |
| rpl_semi_sync_master_wait_point           | AFTER_SYNC |
| rpl_semi_sync_slave_enabled               | ON         |
| rpl_semi_sync_slave_trace_level           | 32         |
+-------------------------------------------+------------+

4、salve 节点半同步复制模式
mysql >stop slave io_thread;
mysql >start slave io_thread;

5、在 master 上查看 slave 信息。 
这里我们看到 Rpl_semi_sync_master_clients=1，则表示有一个 salve 节点连接上了
mysql > show global status like '%semi%';
+--------------------------------------------+-------+
| Variable_name                              | Value |
+--------------------------------------------+-------+
| Rpl_semi_sync_master_clients               | 1     |
| Rpl_semi_sync_master_status                | ON    |
+--------------------------------------------+-------+
15 rows in set
Time: 0.011s

2.2.半同步问题总结

问题解答
slave 节点响应 master 延迟当 master 发送给 slave 节点 binary log 之后，需要等待 slave 的响应。有时可能 slave 节点响应很慢，master 不能一直等待，这样会导致客户端请求超时情况，可以通过下面的参数进行设置。该参数的单位是毫秒，默认是 10 秒，推荐设置大一点。因为超时之后，master 会自动切换为异步复制。rpl_semi_sync_master_timeout
半同步模式自动转为异步同步模式上方提到了，如果超时之后，半同步模式会自动切换为异步复制模式。
master 接收 slave 节点数量，响应客户端。当 master 需要将 binary log 发送给多个 slave 节点时，如果 slave 节点存在多个，master 都要等待 slave 一一响应之后才回复客户端，这也是一个特别耗时的过程，可以通过下面的参数进行设置。rpl_semi_sync_master_wait_for_slave_count #默认是1
当半同步模式自动切换为异步之后，如何切换为半同步模式。这时候需要手动切换模式。就是关闭 io_thread，再开启 io_thread

2.3.半同步一致性

半同步复制模式极大程度上提高了主从复制的一致性。同时在 MySQL5.7+的版本增加了另外一个参数，
让复制的一致性更加可靠。这个参数就是rpl_semi_sync_master_wait_point，需要在 master 上执行。

mysql > set global rpl_semi_sync_master_wait_point = 'x';该参数有两个值。一个值是 AFTER_SYNC，一个值是 AFTER_COMMIT。默认是 AFTER_SYNC。区别如下表格所示
AFTER_COMMITmaster 在将事务写入 binary log 之后，然后发送给 slave。同时也会自动提交 master 的事务。等 slave 响应之后，master 接着响应给客户端信息。
AFTER_SYNCmaster 在将事务写入 binary log 之后，然后发送给 slave。等待 slave 响应之后，才会提交 master 的事务，接着响应给客户端信息。

2.4.异步与半同步对比

异步同步模式是直接返回给客户端在处理 slave 的问题，如果 master 响应给客户端成功信息，在处理 slave 问题时，服务挂掉了，此时就会出现数据不一致。
半同步模式需要等待 slave 节点做出响应，master 才会响应客户端，如果 salve 响应较慢就会造成客户端等待时间较长
半同步模式master 等待 slave 响应之后才会响应给客户端，此方式极大程度的保证了数据的一致性，为主从复制的数据一致性提供了更可靠的保证。也推荐使用该方式进行主从复制操作。

3.GTID同步

如下方所示

三、GTID同步介绍

1.gtid介绍

GTID是一种全局事务ID,它是在master上已经提交的事务,slave直接根据该ID进行复制操作。
该操作替代了binary log + postion的方式。使得主从复制的配置操作更加简单。

2.gtid组成

server-id不是MySQL配置文件中id，而是每一个MySQL服务在启动时，都会生成一个全局随机唯一的ID。transaction-id则是事务的ID，创建事务是会自动生成一个ID。

GTID = server-id + transaction-id组成

3.gtid工作原理

1、当一个事务在主库端执行并提交时,会产生GITD,一同记录到binlog日志中
2、binlog传输到slave,并存储到slave的relay-log(中继日志)中,，读取GTID的这个值设置gtid_next变量，即告诉Slave，下一个要执行的GTID值
3、sql线程从relay log中获取GTID，然后对比slave端的binlog是否有该GTID
4、如果有记录，说明该GTID的事务已经执行，slave会忽略
5、如果没有记录，slave就会执行该GTID事务，并记录该GTID到自身的binlog。在读取执行事务前会先检查其他session持有该GTID，确保不被重复执行。
6、在解析过程中会判断是否有主键，如果没有就用二级索引，如果没有就用全部扫描

4.gtid优缺点

优点缺点
根据 GTID 可以快速的确定事务最初是在哪个实例上提交的。必须确保主从库的引擎一致
简单的实现 failover，不用以前那样在需要找 log_file 和 log_pos。不允许一个SQL同时更新一个事务引擎和非事务引擎的表
更简单的搭建主从复制，确保每个事务只会被执行一次。/
比传统的复制更加安全，一个 GTID 在一个服务器上只执行一次，避免重复执行导致数据混乱或者主从不一致。/
GTID是连续的没有空洞的，保证数据的一致性，零丢失/
GTID 用来代替classic的复制方法，不再使用 binlog+pos 开启复制。而是使用 master_auto_postion=1 的方式自动匹配 GTID 断点进行复制。/
GTID 的引入，让每一个事务在集群事务的海洋中有了秩序，使得 DBA 在运维中做集群变迁时更加方便/

四、搭建主从复制

环境准备

ip分类
192.168.56.130master
192.168.56.131slave

1.两台机器分别安装mysql-rpm包

这个rpm包就是第一步已构建好的rpm包

[root@mysql1 ~]# rpm -ivh city-mysql5.7.42-1-1.x86_64.rpm
Preparing...                          ################################# [100%]
Updating / installing...1:city-mysql5.7.42-1-1             ################################# [100%]
useradd: warning: the home directory already exists.
Not copying any file from skel directory into it.
Creating mailbox file: File exists
Datadir /export/servers/data/my3306 will been created,instance install will continue
Starting MySQL..... SUCCESS! 
Install successful!!!
The  Password of mysql user root is : 0gvzJr66iNs51. mysql进程可以使用systemctl启停；2. mysql未设置开机自启;3. mysql登陆方式：mysql -uroot -p -S /export/servers/data/my3306/run/mysqld.sock4. 建议修改root密码5. 参数文件中设置为只读（read_only=1 super_read_only=1），如需要请将参数值该为零。

2.检查两台机器my.cnf配置文件

因为在安装了构建好的rpm包后,my.cnf文件已经封装进去了，因此在安装后,只需要略微调试相关参数,即可使用。下方只列出了几个需要修改的重要参数，其余参数再次不展示
master节点

检查my.cnf文件中是否包含了开启gtid的相关参数
server_id               = 1   #自定义
log_bin                 = ON
binlog_format           = ROW
gtid_mode				= ON
enforce_gtid_consistency = ON
innodb_buffer_pool_size= 1G #根据服务器配置调整

slave节点

server_id               = 2 #自定义 与master不同即可
log_bin                 = mysql-bin
binlog_format           = ROW
gtid_mode				= ON
enforce_gtid_consistency = ON
log_slave_updates		= ON
read_only				= ON  #从库开启只读
super_read_only			= ON  #从库开启只读
innodb_buffer_pool_size= 1G #根据服务器配置调整

参数调整完成后,需要重启master-slave两个节点的MySQL,重启完成后,下一步就开始搭建主从关系

3.创建主从复制用户

登录主库执行

mysql > grant replication slave on *.* to 'repl'@'%' identified by '123456';
mysql >  flush privileges;

4.搭建主从

登录从库操作

mysql > reset master; 
mysql > change master to master_host='主库IP', master_port=主库端口,master_user='repl' ,master_password='xx' ,master_auto_position=1;
mysql > start slave; #开启主从复制
mysql > show slave status\G; #查看主从状态

当IO thread和SQL thrad 都为YES 说明主从搭建完毕

5.验证

登录主库操作

mysql> show master status;
+------------------+-----------+--------------+------------------+---------------------------------------------------+
| File             | Position  | Binlog_Do_DB | Binlog_Ignore_DB | Executed_Gtid_Set                                 |
+------------------+-----------+--------------+------------------+---------------------------------------------------+
| mysql-bin.010602 | 590048831 |              |                  | 52cf1b46-f308-11ec-a372-fa163e258462:1-1404783188 |
+------------------+-----------+--------------+------------------+---------------------------------------------------+
1 row in set (0.00 sec)

如上所示,主库已产生了binlog日志及记录了当前gtid执行的位置。至此基于GTID同步模式的主从复制搭建完成

五、主从复制原理

在这里插入图片描述

1、服务器开启二进制日志，主服务器会把sql操作记录通过多dump线程写入到主服务器的二进制日志中
2、从服务器的io 线程向主服务器二进制日志发送请求，master 服务器在接收到请求之后，根据偏移量将新的 binary log 发送给 slave 服务器。
3、slave 服务器收到新的 binary log 之后，写入到自身的 relay log 中，这就是所谓的中继日志
4、slave 服务器，单独开启一个 sql thread 读取 relay log 之后，写入到自身数据中

总结

本篇文章主要针对mysql5.7版本的同步模式分类、基于gtid同步模式搭建主从写的文章，对于mysql的构建安装过程可参考顶部的链接文章。希望这几篇文章可以帮助到大家

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.rhkb.cn/news/426207.html

如若内容造成侵权/违法违规/事实不符，请联系长河编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

C语言程序设计（进阶）

C语言程序设计（进阶）

行到水穷处，坐看云起时。 中秋快乐呀！ 数据在内存中的存储 1.数据类型的介绍 （1）基本的内置类型： char //字符数据类型 short //短整型 int //整型 long //长整型 …
阅读更多...
【零基础速领】全套AI大模型入门指南（学习路线+PDF文档+面试）

【零基础速领】全套AI大模型入门指南（学习路线+PDF文档+面试）

已经有越来越多的人开始认识到学习AI的重要性了！可能是自主的认知，也可能是被身边的人卷的。总之，可能已经没有人不知道人工智能这个概念了，可能人人都已知道ChatGPT了，哪怕他没有用过。 ChatGPT发布后，很…
阅读更多...
nginx实现https安全访问的详细配置过程

nginx实现https安全访问的详细配置过程

文章目录 前言什么是 HTTP？什么是 HTTPS？HTTP 和 HTTPS 的区别为什么 HTTPS 被称为安全的？配置过程配置自签名证书 前言 首先我们来简单了解一下什么是http和https以及他们的区别所在. 什么是 HTTP？ HTTP，全称为“超…
阅读更多...
LeetCode_sql_day24（1212.查询球队积分）

LeetCode_sql_day24（1212.查询球队积分）

描述 表: Teams ------------------------- | Column Name | Type | ------------------------- | team_id | int | | team_name | varchar | ------------------------- team_id 是该表具有唯一值的列。 表中的每一行都代表一支独立足球队。表: Matches…
阅读更多...
【Linux】探索文件I/O奥秘，解锁软硬链接与生成动静态库知识

【Linux】探索文件I/O奥秘，解锁软硬链接与生成动静态库知识

目录 1、C文件接口 1.1什么是当前路径？ 1.2程序默认打开的文件流： 2、系统文件I/O 2.1.接口介绍： 2.1.1open： 参数讲解; flags如何实现一个参数就可以有多个参数传参的效果？ open函数的返回值： 3…
阅读更多...
CentOS入门必备基础知识

CentOS入门必备基础知识

CentOS（Community ENTerprise Operating System）是基于红帽企业版Linux（RHEL）的免费开源Linux发行版，它以稳定、安全和可靠性著称，被广泛应用于服务器环境。以下是CentOS入门时你必须掌握的基础知识。 1. C…
阅读更多...
【技术调研】三维（3）-ThreeJs-几何体、材质、贴图、灯光及案例

【技术调研】三维（3）-ThreeJs-几何体、材质、贴图、灯光及案例

几何体 ​ 几何体是构建模型的基础，模型=几何体+材质。threejs中已内置了很多几何体。这里不一一介绍。 BufferGeometry 是面片、线或点几何体的有效表述。包括顶点位置，面片索引、法相量、颜色值、UV 坐标和自定义缓存属性值。使用 BufferGeometry 可以有效减少向 GPU 传输…
阅读更多...
报名开启！第七届“强网”拟态防御国际精英挑战赛正式官宣

报名开启！第七届“强网”拟态防御国际精英挑战赛正式官宣

向新向未来，顶赛启新篇！第七届“强网”拟态防御国际精英挑战赛正式官宣，暂定于2024年11月18日至21日在南京举办。 本届大赛旨在促进内生安全理念和技术在实践中的应用，吸引更多数字化产业加入内生安全产业生态圈，推动…
阅读更多...
基于C++实现（MFC）职工工作量统计系统

基于C++实现（MFC）职工工作量统计系统

题目：职工工作量统计系统设计 1、问题描述 职工包括姓名、职工号、性别、年龄、所在部门、联系方式等信息。 工作量包括职工号、完成的产品数量等信息。 该设计系统能够对职工的工作量进行统计，并排出名次。注意，一个职工的工作量是可以多次…
阅读更多...
微信支付开发-前端api实现

微信支付开发-前端api实现

一、操作流程图 二、代码实现 <?php /*** 数字人答题业务流* User: 龙哥三年风水* Date: 2024/9/11* Time: 14:59*/ namespace app\controller\shuziren; use app\controller\Base; use app\model\param\QuestionParam as PQPModel; use app\model\answer\QuestionBank; u…
阅读更多...
【Java】【力扣】83.删除排序链表中的重复元素

【Java】【力扣】83.删除排序链表中的重复元素

题目 给定一个已排序的链表的头 head &#xff0c; 删除所有重复的元素&#xff0c;使每个元素只出现一次 。返回 已排序的链表 。 示例 1&#xff1a; 输入&#xff1a;head [1,1,2] 输出&#xff1a;[1,2]示例 2&#xff1a; 输入&#xff1a;head [1,1,2,3,3] 输出&#…
阅读更多...
电脑录屏工具哪个好用？推荐新手几款实用工具介绍

电脑录屏工具哪个好用？推荐新手几款实用工具介绍

现在不管是录个教学视频教教别人&#xff0c;还是直播游戏给粉丝看&#xff0c;或者是展示你的产品&#xff0c;都得用到它。但是市面上的录屏软件多得让人眼花缭乱&#xff0c;新手可能一看就懵了。别急&#xff0c;今天我就给你介绍几个特别好用的电脑录屏工具&#xff0c;不…
阅读更多...
Java之线程篇四

Java之线程篇四

目录 volatile关键字 volatile保证内存可见性 代码示例 代码示例2-&#xff08;volatile&#xff09; volatile不保证原子性 synchronized保证内存可见性 wait()和notify() wait()方法 notify() 理解notify()和notifyAll() wait和sleep的对比 volatile关键字 volati…
阅读更多...
国家标准参编周期一般是多久？参编的流程有哪些？

国家标准参编周期一般是多久？参编的流程有哪些？

在当今快速发展的时代&#xff0c;标准的重要性日益凸显。国家标准作为规范行业发展、保障产品质量、促进技术进步的重要依据&#xff0c;吸引着众多企业积极参与其中。而国家标准参编&#xff0c;为企业提供了一个提升自身竞争力、展示技术实力的良好平台。那么&#xff0c;国…
阅读更多...
第k个排列 - 华为OD统一考试(E卷)

第k个排列 - 华为OD统一考试(E卷)

2024华为OD机试&#xff08;E卷D卷C卷&#xff09;最新题库【超值优惠】Java/Python/C合集 题目描述 给定参数n&#xff0c;从1到n会有n个整数:1,2,3,.,n&#xff0c;这n个数字共有 n!种排列。按大小顺序升序列出所有排列情况&#xff0c;并-一标记&#xff0c;当n3时,所有排列…
阅读更多...
vscode任务配置之tasks.json

vscode任务配置之tasks.json

目录 用途说明 用途1&#xff1a;配置编译任务 1.生成task.json文件 2.编辑task.json文件 3.运行任务 用途2&#xff1a;给一个脚本文件配置任务 1.生成task.json文件 2.编辑task.json文件 3.运行任务 用途说明 在VS Code中配置任务主要涉及到task.json文件的编辑&am…
阅读更多...
Java学习Day42：骑龙救！（springMVC）

Java学习Day42：骑龙救！（springMVC）

springMVC与sevlet都是对应表现层web的&#xff0c;但是越复杂的项目使用SpringMVC越方便 基于Java实现MVC模型的轻量级web框架 目标&#xff1a; 小案例&#xff1a; 1.导入依赖 spring-context: 提供 Spring 框架的核心功能&#xff0c;如依赖注入、事件发布和其他应用上…
阅读更多...
面试真题-TCP的三次握手

面试真题-TCP的三次握手

TCP的基础知识 TCP头部 面试题&#xff1a;TCP的头部是多大&#xff1f; TCP&#xff08;传输控制协议&#xff09;的头部通常是固定的20个字节长&#xff0c;但是根据TCP选项&#xff08;Options&#xff09;的不同&#xff0c;这个长度可以扩展。TCP头部包含了许多关键的字…
阅读更多...
ollama安装(ubuntu20.04)

ollama安装(ubuntu20.04)

Ollama是一款开源的自然语言处理工具&#xff0c;它可以帮助开发者快速构建文本处理应用。 ollama官网: https://ollama.ai/ 一、ollama 自动安装 linux统一采用sh脚本安装&#xff0c;一个命令行搞定。 curl -fsSL https://ollama.com/install.sh | sh二、ollama 手动安装 o…
阅读更多...
ros学习笔记.4 Path Planning Part 2 (避障)

ros学习笔记.4 Path Planning Part 2 (避障)

避障是如何工作的什么是局部规划器&#xff1f;什么是局部成本图&#xff1f;路径规划回顾如何使用动态重新配置和其他 Rviz 工具 局部规划器 一旦全局规划器计算出要遵循的路径&#xff0c;该路径就会发送给局部规划器。然后&#xff0c;局部规划器将执行全局规划的每个部分&…
阅读更多...
最新文章
推荐文章

Copyright @ 2022~2023

友情链接： 我的编程经验分享 一条长河网 尧图网站开发