Mysql分布式集群部署---MySQL集群Cluster将数据分成多个片段，每个片段存储在不同的服务器上

1.1 目的

部署MysqlCluster集群环境

1.2 MySQL集群Cluster原理

1 数据分片

MySQL集群Cluster将数据分成多个片段，每个片段存储在不同的服务器上。这样可以将数据负载分散到多个服务器上，提高系统的性能和可扩展性。

2. 数据同步

MySQL集群Cluster使用多个服务器来存储数据，因此需要确保数据在不同的服务器之间同步。MySQL集群Cluster使用多种同步机制，如异步复制、半同步复制和全同步复制等，来确保数据的一致性和可靠性。

3. 负载均衡

MySQL集群Cluster使用负载均衡算法来分配客户端请求到不同的服务器上。这样可以避免单个服务器过载，提高系统的性能和可用性。

4. 自动故障转移

MySQL集群Cluster可以自动检测服务器的故障，并将故障服务器上的数据转移到其他服务器上。这样可以确保系统的高可用性和可靠性。

1.3 NDB引擎介绍

在MySQL实现集群Cluster架构中，存储节点使用的存储引擎为NDB引擎。NDB引擎是一种分布式的基于内存的引擎，因此作为MySQL集群Cluster架构中的存储节点，内存一定要足够大。
使用NDB引擎有以下优点：

1、基于内存存储，没有磁盘I/O瓶颈，速度快。
2、扩展性好，增加节点即可实现数据库集群Cluster的扩展。
3、冗余性好，单个节点故障，集群还可以提供服务。
同时，NDB引擎也有以下缺点：

1、由于存储基于内存，因此在设备断电后数据即丢失。
2、存储空间大小受内存大小限制。
3、多个节点分布式架构整体速度受会网络速度影响

1.4 InnoDB存储引擎

InnoDB是一种支持事务和行级锁的崇尚ACID特性的储存引擎。它是MySQL5.5版本后的默认引擎。InnoDB非常适合那些需要频繁进行更新操作的应用，比如在线事务处理系统（OLTP）。
使用InnoDB引擎有以下优点：

1、支持事务：InnoDB储存引擎具有事务处理的能力，能够保证数据的完整性和一致性。
2、行级锁：InnoDB通过行级锁来控制并发读写操作，提高了多用户环境下的并发性能。
3、外键约束：InnoDB支持外键约束，保证数据的完整性。
4、适合OLTP：InnoDB引擎特别适合处理大量的并发读写操作，如OLTP系统。
5、Crash Recovery：InnoDB具备崩溃恢复的功能，能够在异常退出后将数据恢复到一致的状态。
同时，InnoDB引擎也有以下缺点：

1、 读写效率较差。
2、 占用的数据空间相对较大。

1.5 MyISAM存储引擎

MyISAM是MySQL早期的默认储存引擎，它采用表级锁，适合处理大量的读操作。然而，它不支持事务和外键约束。
使用MyISAM引擎有以下优点：

1、表级锁：MyISAM采用表级锁，对于大量更新操作的并发性能较差。
2、不支持事务：MyISAM不支持事务处理，因此可能存在数据不一致的风险。
3、全文索引：MyISAM支持全文索引，适合处理搜索引擎和全文搜索等应用。
4、插入性能：MyISAM在插入性能方面较好，对于大量的插入操作，性能较高。

同时，MyISAM引擎也有以下缺点：

1、不支持事务的完整性和并发性。

1.6 引擎对比选择

InnoDB适用于大量的并发读写操作、需要事务处理和外键约束的应用；MyISAM适用于大量的读操作、不需要事务处理和外键约束的应用；NDB适用于高并发、实时性要求高的应用。

2. 部署程序

2.1 部署环境

服务器作用 服务器名 服务器IP 系统版本
管理节点 master 192.168.186.128 Centos7
数据节点 slave1 192.168.186.129 Centos7
SQL节点 slave2 192.168.186.130 Centos7
SQL节点 slave3 192.168.186.130 Centos7

2.2.1 修改四台主机名和添加hosts

#关闭防火墙：
systemctl stop firewalld
systemctl disable firewalld
#关闭selinux：
sed -i 's/enforcing/disabled/' /etc/selinux/config # 永久
setenforce 0 # 临时
#时间同步
yum install ntpdate -y
ntpdate time.windows.com

hostnamectl set-hostname master && bash   #192.168.186.128上操作
hostnamectl set-hostname slave1 && bash   #192.168.186.129上操作
hostnamectl set-hostname slave2 && bash   #192.168.186.130上操作
hostnamectl set-hostname slave3 && bash   #192.168.186.131上操作

#四台服务器同时添加内容
cat >> /etc/hosts << EOF
192.168.186.128 master
192.168.186.129 slave1
192.168.186.130 slave2
192.168.186.131 slave3
EOF

#所有机器上都操作
ssh-keygen -t rsa #一路回车，不输入密码
###把本地的ssh公钥文件安装到远程主机对应的账户
for i in master slave1 slave2  slave3;do ssh-copy-id -i .ssh/id_rsa.pub $i ;done

2.3 管理节点部署

2.3.1 管理节点原理

顾名思义，管理节点用来对其它节点进行管理。实际操作中，是通过对一个叫做config.ini的配置文件进行维护而起到管理的作用。该文件可以用来配置有多少需要维护的副本、需要在每个数据节点上为数据和索引分配多少内存、数据节点的位置、在每个数据节点上保存数据的磁盘位置、SQL节点的位置等信息。管理节点只能有一个，配置要求不高。

#关闭防火墙：
systemctl stop firewalld
systemctl disable firewalld
#关闭selinux：
sed -i 's/enforcing/disabled/' /etc/selinux/config # 永久
setenforce 0 # 临时
#时间同步
yum install ntpdate -y
ntpdate time.windows.com

mkdir -p /var/log/mysql-cluster
mkdir -p /etc/mysql-cluster
mkdir -p /usr/local/mysql && cd /usr/local/mysql #上传安装包到此路径下
wget https://downloads.mysql.com/archives/get/p/14/file/mysql-cluster-8.0.25-linux-glibc2.12-x86_64.tar.gz --no-check-certificate
tar -zxvf mysql-cluster-8.0.25-linux-glibc2.12-x86_64.tar.gz #解压
mv mysql-cluster-8.0.25-linux-glibc2.12-x86_64 mysql-cluster #重命名
touch /etc/mysql-cluster/config.inicat > /etc/mysql-cluster/config.ini << EOF
[ndbd default]
#数据写入数量。1表示一份,1个数据节点
NoOfReplicas=1[ndb_mgmd]
nodeid=1
#管理结点的日志
datadir=/var/log/mysql-cluster
#管理结点的IP地址。本机IP
HostName=192.168.186.128###### data node options:           #存储结点
[ndbd]
HostName=192.168.186.129
DataDir=/data/mysql
#mysql数据存储路径
nodeid=2# SQL node options:                 #关于SQL结点
[mysqld]
HostName=192.168.186.130
nodeid=3[mysqld]
HostName=192.168.186.131
nodeid=4
EOF

#初始化管理节点
/usr/local/mysql/mysql-cluster/bin/ndb_mgmd -f /etc/mysql-cluster/config.ini

#查看集群状态
/usr/local/mysql/mysql-cluster/bin/ndb_mgm
ndb_mgm> show
#发现管理节点已经启动，当数据节点以及SQL节点未启动时显示的是not connected。

在这里插入图片描述

2.4 数据节点部署

2.4.1 数据节点原理

用来存放Cluster里面的数据，可以有多个数据节点。每个数据节点可以有多个镜像节点。任何一个数据节点发生故障，只要它的镜像节点正常，Cluster就可以正常运行。
这3种逻辑上不同的节点物理上可以存放在不同的服务器上，也可以在同一台 服务器上。通过架构中各个节点的介绍，可以总结一下MySQL Cluter的访问过程：前台应用利用一定的负载均衡算法将对数据库的访问分散到不同的SQL节点上，然后SQL节点对数据节点进行数据访问并从数据节点返回结果，最后SQL节点将收到的结果返给前台应用。而管理节点并不参与访问过长，它只用来对SQL节点和数据节点进行配置管理。

#关闭防火墙：
systemctl stop firewalld
systemctl disable firewalld
#关闭selinux：
sed -i 's/enforcing/disabled/' /etc/selinux/config # 永久
setenforce 0 # 临时
#时间同步
yum install ntpdate -y
ntpdate time.windows.com

mkdir -p /usr/local/mysql && cd /usr/local/mysql
wget https://downloads.mysql.com/archives/get/p/14/file/mysql-cluster-8.0.25-linux-glibc2.12-x86_64.tar.gz --no-check-certificate
tar -zxvf mysql-cluster-8.0.25-linux-glibc2.12-x86_64.tar.gz #解压
mv mysql-cluster-8.0.25-linux-glibc2.12-x86_64 mysql-cluster #重命名
useradd -M -s /sbin/nologin mysql
mkdir -p /etc/mysql
mkdir -p /data/mysql
chown -R mysql:mysql /data/mysql/

cat > /etc/my.cnf << EOF[mysqld]
#mysql数据存储路径
datadir=/data/mysql
#启动ndb引擎       
ndbcluster
#管理节点IP地址
ndb-connectstring=192.168.186.128[mysql_cluster]
#管理节点IP地址
ndb-connectstring=192.168.186.128
EOF

#启动数据节点
/usr/local/mysql/mysql-cluster/bin/ndbd –initial

在这里插入图片描述

#检查数据节点是否启动
/usr/local/mysql/mysql-cluster/bin/ndb_mgm
ndb_mgm> show

在这里插入图片描述

2.5 SQL节点部署（2台 SQL服务器同样的部署方式）

SQL节点可以理解为应用和数据节点之间的一个桥梁。应用不能直接访问数据节点，只能先访问SQL节点，然后SQL节点再去访问数据节点来返回数据。Cluster中可以有多个SQL节点，通过每个SQL节点查询到的数据都是一直的，通常来说，SQL节点越多，分配到每个SQL节点的负载就越少，系统的整体性能就越好。

#关闭防火墙：
systemctl stop firewalld
systemctl disable firewalld
#关闭selinux：
sed -i 's/enforcing/disabled/' /etc/selinux/config # 永久
setenforce 0 # 临时
#时间同步
yum install ntpdate -y
ntpdate time.windows.com

mkdir -p /usr/local/mysql
mkdir -p /etc/mysql
mkdir -p /data/mysql && cd /usr/local/mysql
wget https://downloads.mysql.com/archives/get/p/14/file/mysql-cluster-8.0.25-linux-glibc2.12-x86_64.tar.gz --no-check-certificate
tar -zxvf mysql-cluster-8.0.25-linux-glibc2.12-x86_64.tar.gz #解压
mv mysql-cluster-8.0.25-linux-glibc2.12-x86_64 mysql-cluster #重命名chown -R mysql:mysql /data/mysql/
useradd -M -s /sbin/nologin mysql

#创建SQL节点配置文件
cat > /etc/my.cnf << EOF[mysqld]
user=mysql
#启动ndb引擎
ndbcluster
#管理节点IP地址
ndb-connectstring=192.168.186.128[mysql_cluster]
#管理节点IP地址
ndb-connectstring=192.168.186.128
EOF

#配置mysql服务
cp /usr/local/mysql/mysql-cluster/support-files/mysql.server /etc/init.d/mysqld
chmod +x /etc/init.d/mysqld

#编辑mysqld服务
vim /etc/init.d/mysqld

在这里插入图片描述

#图片中的代码如下：
# Set some defaults
mysqld_pid_file_path=
if test -z "$basedir"
thenbasedir=/usr/local/mysql/mysql-clusterbindir=/usr/local/mysql/mysql-cluster/binif test -z "$datadir"thendatadir=/data/mysqlfisbindir=/usr/local/mysql/mysql-cluster/binlibexecdir=/usr/local/mysql/mysql-cluster/bin
elsebindir="$basedir/bin"if test -z "$datadir"thendatadir="$basedir/data"fisbindir="$basedir/sbin"libexecdir="$basedir/libexec"
fi
#初始化mysql数据库
cd /usr/local/mysql/mysql-cluster/bin
./mysqld --initialize --user=mysql --basedir=/usr/local/mysql/mysql-cluster --datadir=/data/mysql/

在这里插入图片描述

#启动mysql
systemctl daemon-reload
systemctl start mysqld
systemctl enable  mysqld#两台SQL节点操作相同。

#检查SQL节点是否启动
/usr/local/mysql/mysql-cluster/bin/ndb_mgm
ndb_mgm> show

#2台 SQL服务器同样的部署后，截图如下：
在这里插入图片描述

cp /usr/local/mysql/mysql-cluster/support-files/mysql.server /etc/init.d/mysqld
ln -s /usr/local/tools/mysql/bin/mysql /usr/bin

#登录数据库
mysql -uroot -p  #初始化时候的密码
alter user user() identified by "Mysql@123";   #修改为新的密码
flush privileges;

3. 验证集群

#192.168.5.130上执行
mysql -uroot -pMysql@123   #利用修改后的密码登录
mysql> show databases;
+--------------------+
| Database           |
+--------------------+
| information_schema |
| mysql              |
| ndbinfo            |
| performance_schema |
| sys                |
+--------------------+
5 rows in set (0.11 sec)mysql> create database mqq;
Query OK, 1 row affected (0.17 sec)mysql> show databases;
+--------------------+
| Database           |
+--------------------+
| information_schema |
| mqq                |
| mysql              |
| ndbinfo            |
| performance_schema |
| sys                |
+--------------------+
6 rows in set (0.00 sec)mysql>

192.168.5.131上验证

mysql -uroot -pMysql@123  #利用修改后的密码登录
mysql> show databases;

在这里插入图片描述
可以看到数据完成同步。
至此MysqlCluster集群部署完成

4. 集群命令操作

4.1 管理节点操作

管理节点关闭（关闭管理节点后会一起关闭数据节点）

/usr/local/mysql/mysql-cluster/bin/ndb_mgm -e shutdownrm /usr/local/mysql/mysql-cluster/ndb_1_config.bin.1 #如果集群配置有更新了

4.2 数据节点操作

数据节点（NDB）关闭

cd /usr/local/mysql/mysql-cluster/bin
./ndbd stop

4.3 SQL节点操作

SQL节点关闭

systemctl stop mysqld

参考地址：https://blog.csdn.net/hanyuce/article/details/134684116?app_version=6.2.2&code=app_1562916241&csdn_share_tail=%7B%22type%22%3A%22blog%22%2C%22rType%22%3A%22article%22%2C%22rId%22%3A%22134684116%22%2C%22source%22%3A%22qq_14910065%22%7D&uLinkId=usr1mkqgl919blen&utm_source=app

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.rhkb.cn/news/213269.html

如若内容造成侵权/违法违规/事实不符，请联系长河编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

在线教育小程序正在成为教育行业的新生力量

在线教育小程序正在成为教育行业的新生力量

教育数字化转型是目前教育领域的一个热门话题&#xff0c;那么到底什么是教育数字化转型&#xff1f;如何做好教育数字化转型&#xff1f; 教育数字化转型是利用信息技术和数字工具改变和优化教育的过程。主要特征包括技术整合、在线学习、个性化学习、大数据分析、云计算、虚拟…
阅读更多...
基于HSV空间色彩的图像分割方法(含python代码实现)

基于HSV空间色彩的图像分割方法(含python代码实现)

文章目录 1. 介绍2. HSV颜色空间3. python实现HSV图像分割3.1. 代码实现3.2. 运行结果 1. 介绍 HSV颜色系统简介&#xff1a; HSV 即使用色相&#xff08;Hue&#xff09;、饱和度&#xff08;Saturation&#xff09;、明度&#xff08;Value&#xff09;来表示色彩的一种方式…
阅读更多...
贝锐花生壳3大安全能力，保障网络服务安全远程连接

贝锐花生壳3大安全能力，保障网络服务安全远程连接

在没有公网IP的情况下&#xff0c;使用内网穿透工具&#xff0c;将本地局域网服务映射至外网&#xff0c;虽然高效快捷&#xff0c;但信息安全也是不可忽略的方面。 对此&#xff0c;贝锐花生壳提供了多维度的安全防护能力&#xff0c;满足不同场景下用户安全远程访问内网服务的…
阅读更多...
uniapp 数组添加不重复元素

uniapp 数组添加不重复元素

一、效果图 二、代码 //点击事件rightBtn(sub, index) {console.log(sub, index)//uniapp 数组添加不重复元素if (this.selectList.includes(sub.type)) {this.selectList this.selectList.filter((item) > {return item ! sub.type;});} else {this.selectList.push(sub.t…
阅读更多...
cache 2.单机并发缓存

cache 2.单机并发缓存

0.对原教程的一些见解 个人认为原教程中两点知识的引入不够友好。 首先是只读数据结构 ByteView 的引入使用是有点迷茫的&#xff0c;可能不能很好理解为什么需要ByteView。 第二是主体结构 Group的引入也疑惑。其实要是熟悉groupcache&#xff0c;那对结构Group的使用是清晰…
阅读更多...
销售技巧培训之如何提高手机销售技巧

销售技巧培训之如何提高手机销售技巧

销售技巧培训之如何提高手机销售技巧 随着科技的迅速发展&#xff0c;手机已成为我们日常生活中不可或缺的一部分。作为一名手机销售员&#xff0c;了解手机销售技巧是必不可少的。本文将通过案例分析与实践&#xff0c;为你揭示手机销售的奥秘。 一、了解客户需求 在销售过程…
阅读更多...
CRM系统选择技巧，什么样的CRM系统好用？

CRM系统选择技巧，什么样的CRM系统好用？

SaaS行业发展迅速&#xff0c;更多的企业逐渐选择CRM管理系统。打开搜索引擎&#xff0c;有非常多的结果。怎样在数十万个搜索结果中选择适合您的CRM系统&#xff1f;下面我们将聊聊&#xff0c;怎样选择CRM系统。 第一步&#xff1a;明确自身需求 重要性&#xff1a;每家企业…
阅读更多...
【Java Web学习笔记】5 - XML

【Java Web学习笔记】5 - XML

项目代码 https://github.com/yinhai1114/JavaWeb_LearningCode/tree/main/xml 零、在线文档 XML系列教程 一、XML引出 1.为什么需要XML 1.需求1 :两个程序间进行数据通信? 2.需求2:给一台服务器&#xff0c;做一个配置文件&#xff0c;当服务器程序启动时&#xff0c;去…
阅读更多...
JUnit 之初体验

JUnit 之初体验

文章目录 1.定义2.引入1&#xff09;使用 Maven 工具2&#xff09;使用 Gradle 工具3&#xff09;使用 Jar 包 2.样例0&#xff09;前提1&#xff09;测试类2&#xff09;测试方法3&#xff09;测试断言4&#xff09;实施 总结 1.定义 JUnit 是一个流行的 Java 单元测试框架&a…
阅读更多...
初识 pytest 及断言使用

初识 pytest 及断言使用

章节目录&#xff1a; 一、pytest 相关概述二、环境搭建三、使用前提四、断言4.1 常用断言4.2 异常断言4.3 断言装饰器 五、结束语 一、pytest 相关概述 pytest 是一个基于 Python 编写的测试框架&#xff0c;用于编写和运行各种类型的软件测试。它提供了丰富的功能和灵活的语法…
阅读更多...
Vue：绘制图例

Vue：绘制图例

本文记录使用Vue框架绘制图例的代码片段。 可以嵌入到cesium视图中，也可以直接绘制到自己的原生系统中。 一、绘制图例Vue组件 <div v-for="(color, index) in colors" :key="index" class="legend-item"><div class="color-…
阅读更多...
机器学习中的特征工程

机器学习中的特征工程

1 特征工程概述 特征工程是机器学习中的一个关键步骤&#xff0c;在机器学习领域中占有非常重要的地位&#xff0c;是机器学习中不可或缺的一部分&#xff0c;下图展示了一个常规的机器学习流程&#xff1a; 特征工程涉及从原始数据中提取、选择和转换特征&#xff0c;以改善模…
阅读更多...
计算机网络TCP篇②

计算机网络TCP篇②

来源自小林Coding博客&#xff0c;阅读后部分精简笔记 目录 一、TCP 重传、滑动窗口、流量控制、拥塞控制 1.1、重传机制 1.1.1、超时重传 1.1.2、快速重传 1.1.3、SACK 方法 1.1.4、Duplicate SACK 1.2、滑动窗口 1.3、流量控制 1.3.1、操作系统缓冲区与滑动窗口的关…
阅读更多...
13、pytest为失败的断言定义自己的解释

13、pytest为失败的断言定义自己的解释

官方实例 # content of ocnftest.py from test_foocompare import Foodef pytest_assertrepr_compare(op, left, right):if isinstance(left, Foo) and isinstance(right, Foo) and op "":return["Comparing Foo instances:",f" vals:{left.val} !…
阅读更多...
【数据结构第 6 章 ②】- 图的存储结构（详解邻接矩阵）- 用 C 语言实现

【数据结构第 6 章 ②】- 图的存储结构（详解邻接矩阵）- 用 C 语言实现

目录 一、邻接矩阵表示法 二、AMGraph.h 三、AMGraph.c 四、Test.c 【数据结构第 6 章 ① 】- 图的定义和基本术语-CSDN博客 由于图的结构比较复杂&#xff0c;任意两个顶点之间都可能存在联系&#xff0c;因此无法以数据元素在存储区中的物理位置来表示元素之间的关系&…
阅读更多...
Leetcode2477. 到达首都的最少油耗

Leetcode2477. 到达首都的最少油耗

Every day a Leetcode 题目来源&#xff1a;2477. 到达首都的最少油耗 解法1&#xff1a;贪心 深度优先搜索 题目等价于给出了一棵以节点 0 为根结点的树&#xff0c;并且初始树上的每一个节点上都有一个人&#xff0c;现在所有人都需要通过「车子」向结点 0 移动。 对于…
阅读更多...
微软NativeApi-NtQuerySystemInformation

微软NativeApi-NtQuerySystemInformation

微软有一个比较实用的Native接口&#xff1a;NtQuerySystemInformation&#xff0c;具体可以参考微软msdn官方文档&#xff1a;NtQuerySystemInformation&#xff0c; 是一个系统函数&#xff0c;用于收集特定于所提供的指定种类的系统信息。ProcessHacker等工具使用NtQuerySys…
阅读更多...
C/C++，优化算法——双离子推销员问题（Bitonic Travelling Salesman Problem）的计算方法与源代码

C/C++，优化算法——双离子推销员问题（Bitonic Travelling Salesman Problem）的计算方法与源代码

1 文本格式 // C program for the above approach #include <bits/stdc.h> using namespace std; // Size of the array a[] const int mxN 1005; // Structure to store the x and // y coordinates of a point struct Coordinates { double x, y; } a[mxN]; //…
阅读更多...
luceda ipkiss教程 43：画渐变圆弧型波导

luceda ipkiss教程 43：画渐变圆弧型波导

案例分享&#xff1a; from si_fab import all as pdk import ipkiss3.all as i3 from ipcore.properties.restrictions import RestrictTuple from ipkiss.geometry.shapes.modifiers import __ShapePathBase__ import numpy as np from math import atan2class ShapePathTa…
阅读更多...
优化 SQL 日志记录的方法

优化 SQL 日志记录的方法

为什么 SQL 日志记录是必不可少的 SQL 日志记录在数据库安全和审计中起着至关重要的作用&#xff0c;它涉及跟踪在数据库上执行的所有 SQL 语句&#xff0c;从而实现审计、故障排除和取证分析。SQL 日志记录可以提供有关数据库如何访问和使用的宝贵见解&#xff0c;使其成为确…
阅读更多...
最新文章
推荐文章

Copyright @ 2022~2023