MySQL NDB Cluster 分布式架构搭建 自定义启动与重启Shell脚本

此次NDB Cluster使用三台虚拟机进行搭建,一台作为管理节点;而对于另外两台服务器,每一台都充当着数据节点和SQL节点的角色。注意不是MGR主从复制架构,而是分布式MySQL架构。

创建 /var/lib/mysql-cluster/config.ini Cluster全局配置文件

[NDBD DEFAULT]
NoOfReplicas =2
DataMemory = 512M
MaxNoOfExecutionThreads = 4
[NDB_MGMD]
NodeId=1
hostname =192.168.182.102
datadir =/var/lib/mysql-cluster
[NDBD]
NodeId =2
hostname =192.168.182.103
datadir =/usr/local/mysql-cluster/data
[NDBD]
NodeId =3
hostname =192.168.182.104
datadir =/usr/local/mysql-cluster/data
[mysqld]
NodeId =4
hostname =192.168.182.103
[mysqld]
NodeId =5
hostname =192.168.182.104

在管理节点中执行以下命令,初始化管理节点(注意mysql cluster路径是固定的,否则会报错)

/usr/local/mysql/mysql-cluster/bin/ndb_mgmd -f /var/lib/mysql-cluster/config.ini --initial --ndb-nodeid=1

创建 /etc/my.cnf mysql配置文件

[mysqld]
basedir=/usr/local/mysql-cluster
datadir=/usr/local/mysql-cluster/data
socket=/usr/local/mysql-cluster/sock/mysql.sock
user=hadoop
symbolic-links=0
ndbcluster
ndb-connectstring=192.168.182.102
port=3306[mysql_cluster]
ndb-connectstring=192.168.182.102[ndbd]
ndb-connectstring=192.168.182.102[mysqld_safe]
log-error=/usr/local/mysql-cluster/logs/mysql.pid
pid-file=/usr/local/mysql-cluster/logs/error.log[mysql]
socket=/usr/local/mysql-cluster/sock/mysql.sock
#
## include all files from the config directory
##
#!includedir /etc/my.cnf.d

 在初始化mysqld之前,需要将data、logs、sock文件夹创建完毕,否则无法初始化

[hadoop@hadoop103 mysql-cluster]$ pwd
/usr/local/mysql-cluster
[hadoop@hadoop103 mysql-cluster]$ ls
bin  docs  include  lib  LICENSE  man  README  share  support-files
[hadoop@hadoop103 mysql-cluster]$ mkdir data
[hadoop@hadoop103 mysql-cluster]$ mkdir sock
[hadoop@hadoop103 mysql-cluster]$ mkdir logs

 初始化mysqld,同时没有对root账号设置密码

[hadoop@hadoop103 mysql-cluster]$ bin/mysqld --initialize-insecure --user=hadoop
2024-03-01T22:50:53.201408Z 0 [Warning] [MY-010139] [Server] Changed limits: max_open_files: 1024 (requested 8161)
2024-03-01T22:50:53.201412Z 0 [Warning] [MY-010142] [Server] Changed limits: table_open_cache: 431 (requested 4000)
2024-03-01T22:50:53.202613Z 0 [Warning] [MY-011070] [Server] 'Disabling symbolic links using --skip-symbolic-links (or equivalent) is the default. Consider not using this option as it' is deprecated and will be removed in a future release.
2024-03-01T22:50:53.202952Z 0 [System] [MY-013169] [Server] /usr/local/mysql-cluster/bin/mysqld (mysqld 8.0.36-cluster) initializing of server in progress as process 2947
2024-03-01T22:50:53.211541Z 1 [System] [MY-013576] [InnoDB] InnoDB initialization has started.
2024-03-01T22:50:53.873353Z 1 [System] [MY-013577] [InnoDB] InnoDB initialization has ended.
2024-03-01T22:50:54.189948Z 0 [System] [MY-010865] [NDB] '--initialize' -> ndbcluster plugin disabled
2024-03-01T22:50:55.344321Z 6 [Warning] [MY-010453] [Server] root@localhost is created with an empty password ! Please consider switching off the --initialize-insecure option.
[hadoop@hadoop103 mysql-cluster]$ sudo cp support-files/mysql.server /etc/init.d/mysqld
[hadoop@hadoop103 mysql-cluster]$ sudo chmod +x /etc/init.d/mysqld

再初始化初始化数据节点,注意此时初始化完毕会自动连接到管理节点

[hadoop@hadoop103 mysql-cluster]$ bin/ndbd --initial
2024-03-02 06:51:57 [ndbd] INFO     -- Angel connected to '192.168.182.102:1186'
2024-03-02 06:51:57 [ndbd] INFO     -- Angel allocated nodeid: 2

 集群目前连接情况

[hadoop@hadoop102 mysql-cluster]$ bin/ndb_mgm -e show
Connected to Management Server at: localhost:1186
Cluster Configuration
---------------------
[ndbd(NDB)]	2 node(s)
id=2	@192.168.182.103  (mysql-8.0.36 ndb-8.0.36, starting, Nodegroup: 0)
id=3 (not connected, accepting connect from 192.168.182.104)[ndb_mgmd(MGM)]	1 node(s)
id=1	@192.168.182.102  (mysql-8.0.36 ndb-8.0.36)[mysqld(API)]	2 node(s)
id=4 (not connected, accepting connect from 192.168.182.103)
id=5 (not connected, accepting connect from 192.168.182.104)

注意SQL节点需要在数据节点全部启动后,才能开始启动,所以别着急启动mysqld

同时为了防止在之后停止mysqld的时候,出现rm: cannot remove '/var/lock/subsys/mysql': Permission denied报错,导致后续无法启动mysqld,需要修改该文件夹的权限

sudo chown -R hadoop:hadoop /var/lock/subsys

第三台服务器操作同第二台操作一致。在第三台服务器完成数据节点初始化之后,便可以启动两个SQL节点。整个集群启动成功后的连接情况如下

[hadoop@hadoop102 mysql-cluster]$ bin/ndb_mgm -e show
Connected to Management Server at: localhost:1186
Cluster Configuration
---------------------
[ndbd(NDB)]	2 node(s)
id=2	@192.168.182.103  (mysql-8.0.36 ndb-8.0.36, Nodegroup: 0, *)
id=3	@192.168.182.104  (mysql-8.0.36 ndb-8.0.36, Nodegroup: 0)[ndb_mgmd(MGM)]	1 node(s)
id=1	@192.168.182.102  (mysql-8.0.36 ndb-8.0.36)[mysqld(API)]	2 node(s)
id=4	@192.168.182.103  (mysql-8.0.36 ndb-8.0.36)
id=5	@192.168.182.104  (mysql-8.0.36 ndb-8.0.36)

为了测试集群是否能够正常存储数据,需要在SQL节点中设置MySQL远程连接配置。在这里我创建了一个名为hadoop的用户,并赋予全部操作权限

[hadoop@hadoop103 mysql-cluster]$ bin/mysql -urootmysql> CREATE USER 'hadoop'@'%' IDENTIFIED BY '123456';
Query OK, 0 rows affected (0.03 sec)mysql> GRANT ALL PRIVILEGES ON *.* TO 'hadoop'@'%' WITH GRANT OPTION;
Query OK, 0 rows affected (0.11 sec)mysql> FLUSH PRIVILEGES;
Query OK, 0 rows affected (0.00 sec)

 在Navicat中测试连接情况

以下是自定义的集群启动Shell脚本 

#!/bin/bash/usr/local/mysql/mysql-cluster/bin/ndb_mgmd -f /var/lib/mysql-cluster/config.ini --config-cache=FALSE --ndb-nodeid=1ssh hadoop103 /usr/local/mysql-cluster/bin/ndbd
ssh hadoop104 /usr/local/mysql-cluster/bin/ndbdPASSWORD=123456
echo $PASSWORD | sudo -S ssh -t root@hadoop103 'service mysqld start'
echo $PASSWORD | sudo -S ssh -t root@hadoop104 'service mysqld start'

以下是自定义的集群重启Shell脚本(前提是hadoop102的root用户已经将ssh密钥分配给hadoop103和hadoop104的root用户,否则还需要输入密码;本机sudo不需要输入密码的前提是/etc/sudoers配置了该用户)

#!/bin/bash# 定义要查找的端口号
PORT=1186# 使用 lsof 命令查找占用指定端口的进程,并提取进程 ID
PID=$(sudo -S lsof -t -i:$PORT)# 检查是否找到了进程 ID
if [ -z "$PID" ]; thenecho "未找到占用端口 $PORT 的进程"
else# 使用 kill 命令终止进程/usr/local/mysql/mysql-cluster/bin/ndb_mgm -e shutdownsudo kill -9 $PIDecho "已终止进程 $PID"
fi# 使用 lsof 命令查找占用指定端口的进程,并提取进程 ID
PID=$(sudo lsof -t -i:$PORT)# 检查是否找到了进程 ID
if [ -z "$PID" ]; thenecho "未找到占用端口 $PORT 的进程, the cluster will start"/usr/local/mysql/mysql-cluster/bin/ndb_mgmd -f /var/lib/mysql-cluster/config.ini --config-cache=FALSE --ndb-nodeid=1ssh hadoop103 /usr/local/mysql-cluster/bin/ndbdssh hadoop104 /usr/local/mysql-cluster/bin/ndbdPASSWORD=123456echo $PASSWORD | sudo -S ssh -t root@hadoop103 'service mysqld restart'echo $PASSWORD | sudo -S ssh -t root@hadoop104 'service mysqld restart'
else# 使用 kill 命令终止进程sudo kill -9 $PIDecho "已终止进程 $PID"
fi

以下是集群重启的日志与结果

[hadoop@hadoop102 mysql-cluster]$ ./restart.sh 
Connected to Management Server at: localhost:1186
3 NDB Cluster node(s) have shutdown.
Disconnecting to allow management server to shutdown.
已终止进程 3123
未找到占用端口 1186 的进程, the cluster will start
MySQL Cluster Management Server mysql-8.0.36 ndb-8.0.36
2024-03-02 07:20:42 [MgmtSrvr] INFO     -- Skipping check of config directory since config cache is disabled.
2024-03-02 07:20:42 [MgmtSrvr] WARNING  -- at line 4: [DB] IndexMemory is deprecated, will use Number bytes on each ndbd(DB) node allocated for storing indexes instead
2024-03-02 07:20:42 [ndbd] INFO     -- Angel connected to '192.168.182.102:1186'
2024-03-02 07:20:42 [ndbd] INFO     -- Angel allocated nodeid: 2
2024-03-02 07:20:42 [ndbd] INFO     -- Angel connected to '192.168.182.102:1186'
2024-03-02 07:20:42 [ndbd] INFO     -- Angel allocated nodeid: 3
Pseudo-terminal will not be allocated because stdin is not a terminal.
Shutting down MySQL.... SUCCESS! 
Starting MySQL... SUCCESS! 
Pseudo-terminal will not be allocated because stdin is not a terminal.
Shutting down MySQL.... SUCCESS! 
Starting MySQL..... SUCCESS! 

参考链接

MySQL Cluster集群搭建-CSDN博客

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/267715.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

(面试题)数据结构:链表相交

问题:有两个链表,如何判断是否相交,若相交,找出相交的起始节点 一、介绍 链表相交: 若两个链表相交,则两个链表有共同的节点,那从这个节点之后,后面的节点都会重叠,知道…

灯塔:CSS笔记

CSS&#xff1a;层叠样式表 所谓层叠 即叠加的意思&#xff0c;表示样式可以一层一层的层叠覆盖 css写在style标签中&#xff0c;style标签一般写在head标签里面&#xff0c;title标签下面 <!DOCTYPE html> <html lang"en"> <head><meta cha…

Vue开发实例(一)Vue环境搭建第一个项目

Vue环境搭建&第一个项目 一、环境搭建二、安装Vue脚手架三、创建Vue项目 一、环境搭建 下载方式从官网下载&#xff1a;http://nodejs.cn/download/ 建议下载v12.16.0版本以上的&#xff0c;因为版本低无法创建Vue的脚手架 检验是否安装成功 配置环境变量 新增NODE_HOME&…

chrome选项页面options page配置

options 页面用以定制Chrome浏览器扩展程序的运行参数。 通过Chrome 浏览器的“工具 ->更多工具->扩展程序”&#xff0c;打开chrome://extensions页面&#xff0c;可以看到有的Google Chrome扩展程序有“选项Options”链接&#xff0c;如下图所示。单击“选项Options”…

车载测试_UDS诊断:功能寻址、物理寻址

车载项目讲解 简历修改优化 模拟面试 面试录音辅导 预约面试技巧 面试一对一在线协助 车载入职技术支持三个月 诊断三要素&#xff1a;请求/肯定响应/否定响应&#xff08;诊断服务失败或者无法完成&#xff09;。 服务可以诊断通信管理请求、数据请求、故障代码请求、输入/输出…

SpringBoot约定大于配置

什么是约定大于配置 "约定大于配置"&#xff08;Convention Over Configuration&#xff09;是一种理念&#xff0c;旨在通过默认约定和规则来减少开发人员需要做的配置工作。在Spring Boot框架中&#xff0c;这一原则得到了充分应用&#xff0c;帮助开发者更快地构…

使用Spark探索数据

需求分析 使用Spark来探索数据是一种高效处理大规模数据的方法&#xff0c;需要对数据进行加载、清洗和转换&#xff0c;选择合适的Spark组件进行数据处理和分析。需求分析包括确定数据分析的目的和问题、选择合适的Spark应用程序和算法、优化数据处理流程和性能、可视化和解释…

(三)softmax分类--九五小庞

softmax分类 对数几率回归解决的是二分类的问题&#xff0c;对于多个选项的问题&#xff0c;我们可以使用softmax函数&#xff0c;它是对数几率回归在N个可能不同的值上的推广 softmax各样本分量之和为1&#xff0c;当只有两个类别时&#xff0c;与对数几率回归完全相同 损失…

vmware虚拟机centos中/dev/cl_server8/root 空间不够

在使用vmware时发现自己的虚拟机的/dev/cl_server8/root空间不够了&#xff0c;没办法安装新的服务。所以查了一下改空间的办法。 1.在虚拟机关闭的状态下&#xff0c;选中需要扩容的虚拟机->设置->硬件-> 硬盘->扩展->填写扩大到的值。 2.打开虚拟机&#xff…

CSS 盒子模型(box model)

概念 所有HTML元素可以看作盒子&#xff0c;在CSS中&#xff0c;"box model"这一术语是用来设计和布局时使用CSS盒模型本质上是一个盒子&#xff0c;封装周围的HTML元素&#xff0c;它包括&#xff1a;外边距(margin)&#xff0c;边框(border)&#xff0c;内边距(pad…

ELK+kafka+filebeat企业内部日志分析系统

目录 ELKkafkafilebeat企业内部日志分析系统 1、组件介绍 1、Elasticsearch&#xff1a; 2、Logstash: 3、Kibana: 4、Kafka&#xff1a; 5、Filebeat: 2、环境介绍 3、版本说明 4、搭建架构 5、实施部署 1、 Elasticsearch集群部署 1、安装配置jdk 2、安装配置ES…

2024 年适用于电脑的十大录制屏幕软件

录制屏幕软件的设计和开发旨在让您的工作流程更轻松、更高效。这些漂亮的工具有助于为教育目的捕获图像快照或记录屏幕以与客户共享模型。无论您寻找桌面屏幕录像机的原因是什么&#xff0c;这里都有最好的付费和免费实用程序。该类别中我们最喜欢的一些选择是 奇客录屏助手和 …

基于Springboot的人事管理系统 (有报告)。Javaee项目,springboot项目。

演示视频&#xff1a; 基于Springboot的人事管理系统 &#xff08;有报告&#xff09;。Javaee项目&#xff0c;springboot项目。 项目介绍&#xff1a; 采用M&#xff08;model&#xff09;V&#xff08;view&#xff09;C&#xff08;controller&#xff09;三层体系结构&am…

【机器学习】FashionMNIST数据集简介及下载方法(自动下载)

【机器学习】FashionMNIST数据集简介及下载方法(自动下载) &#x1f308; 个人主页&#xff1a;高斯小哥 &#x1f525; 高质量专栏&#xff1a;Matplotlib之旅&#xff1a;零基础精通数据可视化、Python基础【高质量合集】、PyTorch零基础入门教程&#x1f448; 希望得到您的订…

MATLAB环境下基于图像处理的计算病理学图像分割(MATLAB R2021B)

人工智能是病理学诊断和研究的重要新兴方法&#xff0c;其不仅可用于病理形态数据分析&#xff0c;还可整合免疫组化、分子检测数据和临床信息&#xff0c;得出综合的病理诊断报告&#xff0c;为患者提供预后信息和精准的药物治疗指导。计算病理学是病理学与AI、计算机视觉等信…

【LeetCode:2368. 受限条件下可到达节点的数目 + BFS】

&#x1f680; 算法题 &#x1f680; &#x1f332; 算法刷题专栏 | 面试必备算法 | 面试高频算法 &#x1f340; &#x1f332; 越难的东西,越要努力坚持&#xff0c;因为它具有很高的价值&#xff0c;算法就是这样✨ &#x1f332; 作者简介&#xff1a;硕风和炜&#xff0c;…

Java面试——Redis

优质博文&#xff1a;IT-BLOG-CN 一、Redis 为什么那么快 【1】完全基于内存&#xff0c;绝大部分请求是纯粹的内存操作&#xff0c;非常快速。数据存在内存中。 【2】数据结构简单&#xff0c;对数据操作也简单&#xff0c;Redis中的数据结构是专门进行设计的。 【3】采用单线…

(C语言)回调函数

回调函数是什么&#xff1f; 回调函数就是⼀个通过函数指针调⽤的函数。 如果你把函数的指针&#xff08;地址&#xff09;作为参数传递给另⼀个函数&#xff0c;当这个指针被⽤来调⽤其所指向的函数 时&#xff0c;被调⽤的函数就是回调函数。回调函数不是由该函数的实现⽅…

python 基础知识点(蓝桥杯python科目个人复习计划56)

今日复习内容&#xff1a;做题 例题1&#xff1a;最小的或运算 问题描述&#xff1a;给定整数a,b&#xff0c;求最小的整数x&#xff0c;满足a|x b|x&#xff0c;其中|表示或运算。 输入格式&#xff1a; 第一行包括两个正整数a&#xff0c;b&#xff1b; 输出格式&#…

【【C语言简单小题学习-1】】

实现九九乘法表 // 输出乘法口诀表 int main() {int i 0;int j 0;for (i 1; i < 9; i){for (j 1; j < i;j)printf("%d*%d%d ", i , j, i*j);printf("\n"); }return 0; }猜数字的游戏设计 #define _CRT_SECURE_NO_WARNINGS 1 #include<stdi…