ZK集群搭建:详细步骤与注意事项

在大数据和分布式系统日益重要的今天,ZooKeeper(简称ZK)作为一种分布式协调服务,扮演着举足轻重的角色。它主要用于管理大型分布式系统中的配置信息、命名、同步等。下面将详细介绍如何搭建一个ZooKeeper集群,帮助大家掌握这一关键技能。

0x00、准备工作

硬件与软件准备

硬件:至少需要三台服务器(或虚拟机)来搭建一个基本的ZooKeeper集群。

服务器系统CPU内存IP
cvm1CentOS 7.64核8G172.20.0.10
cvm2CentOS 7.64核8G172.20.0.16
cvm3CentOS 7.64核8G172.20.0.17

软件:每台服务器需要安装JDK(Java Development Kit),因为ZooKeeper是用Java编写的。建议使用JDK 1.8或更高版本。

网络配置

为每台服务器分配一个唯一的IP地址,并在/etc/hosts文件中配置主机名和IP地址的映射关系,以便ZooKeeper集群内部能够相互通信。

0x01、安装JDK

下载JDK安装包

从Oracle官网或其他可信的JDK下载源获取JDK安装包。

解压并安装JDK

使用tar命令解压JDK安装包,并将其移动到合适的目录,例如/data/jdk/。

配置环境变量

编辑/etc/profile文件,添加以下环境变量:

export JAVA_HOME=/data/zk/jdk1.8.0_xxx  
export PATH=$PATH:$JAVA_HOME/bin

保存并退出,然后执行下面的命令使配置生效。

source /etc/profile

0x02、下载并安装ZooKeeper

下载ZooKeeper安装包

从ZooKeeper官网(https://zookeeper.apache.org/)下载最新版本的ZooKeeper安装包。

解压并安装ZooKeeper

使用tar命令解压ZooKeeper安装包,并将其移动到合适的目录,例如/data/zk/。

配置ZooKeeper

进入ZooKeeper的conf目录,复制zoo-sample.cfg文件并重命名为zoo.cfg。

编辑zoo.cfg文件,进行以下配置:

# The number of milliseconds of each tick
tickTime=2000
# The number of ticks that the initial 
# synchronization phase can take
initLimit=10
# The number of ticks that can pass between 
# sending a request and getting an acknowledgement
syncLimit=5
# the directory where the snapshot is stored.
# do not use /tmp for storage, /tmp here is just 
# example sakes.
dataDir=/data/zookeeper_data
# the port at which the clients will connect
clientPort=2181
# the maximum number of client connections.
# increase this if you need to handle more clients
#maxClientCnxns=60
#
# Be sure to read the maintenance section of the 
# administrator guide before turning on autopurge.
#
# http://zookeeper.apache.org/doc/current/zookeeperAdmin.html#sc_maintenance
#
# The number of snapshots to retain in dataDir
#autopurge.snapRetainCount=3
# Purge task interval in hours
# Set to "0" to disable auto purge feature
#autopurge.purgeInterval=1
server.1=172.20.0.10:2888:3888
server.2=172.20.0.16:2888:3888
server.3=172.20.0.17:2888:3888

创建myid文件

在每台服务器的dataDir目录下创建myid文件,文件内容应为服务器的编号(与zoo.cfg中的server.X对应)。

0x03、部署ZooKeeper集群

复制ZooKeeper安装包到其他服务器

使用scp命令将ZooKeeper安装包复制到其他两台服务器。

配置其他服务器的myid文件

在其他两台服务器的dataDir目录下创建myid文件,并分别填写对应的服务器编号。

启动ZooKeeper服务

在每台服务器的ZooKeeper安装目录下的bin目录中,执行./zkServer.sh start命令启动ZooKeeper服务。

cd /data/apache-zookeeper-3.5.9-bin/bin
./zkServer.sh start

使用./zkServer.sh status命令查看ZooKeeper服务的状态。

0x04、验证ZooKeeper集群

检查集群状态

在任意一台服务器上执行./zkServer.sh status命令,查看集群状态。正常情况下,会有一台服务器被选举为leader,其他服务器为follower。

测试数据同步

使用ZooKeeper客户端连接到任意一台服务器,创建节点并设置值。

cd /data/apache-zookeeper-3.5.9-bin/bin
./zkCli.sh -server 172.20.0.10:2181,172.20.0.16:2181,172.20.0.17:2181

在其他服务器上使用ZooKeeper客户端连接到相应的服务器,检查节点和值是否已同步。

0x05、注意事项

防火墙配置

确保每台服务器的防火墙配置允许ZooKeeper集群内部通信所需的端口。

日志管理

定期检查和清理ZooKeeper的日志文件,以避免磁盘空间不足导致的问题。

监控与报警

配置监控和报警系统,以便在ZooKeeper集群出现异常时能够及时发现并处理。

版本兼容性

确保集群中所有ZooKeeper服务器的版本一致,以避免版本不兼容导致的问题。


0x06、最后几句

ZooKeeper集群的搭建是一个复杂但重要的过程,它涉及到硬件准备、软件安装、网络配置、服务启动和验证等多个环节。通过上面的详细介绍,相信你应该能够掌握ZooKeeper集群搭建的基本步骤和注意事项,为构建稳定、高效的分布式系统打下坚实的基础。

同时,也建议在实际操作中不断积累经验,优化集群配置,提高系统的性能和可靠性。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/452741.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【RabbitMQ】RabbitMQ 的七种工作模式介绍

目录 1. Simple(简单模式) 2. Work Queue(工作队列) 3. Publish/Subscribe(发布/订阅) 4. Routing(路由模式) 5. Topics(通配符模式) 6. RPC(RPC通信) 7. Publisher Confirms(发布确认) 上一篇文章中我们简单认识了RabbitM1: 【RabbitMQ】RabbitMQ 的概念以及使用Rabb…

面试官-HashMap的容量为什么一定是2^n?

嗨,我是大明哥,一个专注「死磕 Java」系列创作的硬核程序员。 回答 HashMap 的容量被设计为 2^n,主要有如下几个优势: 位运算效率:与使用取模(%)操作相比,使用位运算来计算索引位置…

用Spring AI 做智能客服,基于私有知识库和RAG技术

Java智能客服系统运用RAG技术提升答疑精准度 基于Spring ai 的 RAG(检索增强生成)技术,Java智能客服系统能够利用私有知识库中的信息提供更准确的答疑服务。 它的核心思路是: 首先,将客服QA以Word形式导入到系统中&…

upload-labs Pass-04

upload-labs Pass-04 在进行测试前,先了解一下.htaccess文件 .htaccess文件 .htaccess是Apache网络服务器一个配置文件,当.htaccess文件被放置在一个通过Apache Web服务器加载的目录中,.htaccess文件会被Apache Web服务器软件检测并执行&…

深度学习 之 模型部署 使用Flask和PyTorch构建图像分类Web服务

引言 随着深度学习的发展,图像分类已成为一项基础的技术,被广泛应用于各种场景之中。本文将介绍如何使用Flask框架和PyTorch库来构建一个简单的图像分类Web服务。通过这个服务,用户可以通过HTTP POST请求上传花朵图片,然后由后端…

【大数据技术基础 | 实验四】HDFS实验:读写HDFS文件

文章目录 一、实验目的二、实验要求三、实验原理(一)Java Classpath(二)Eclipse Hadoop插件 四、实验环境五、实验内容和步骤(一)配置master服务器classpath(二)使用master服务器编写…

D42【python 接口自动化学习】- python基础之函数

day42 高阶函数 学习日期:20241019 学习目标:函数﹣- 55 高阶函数:函数对象与函数调用的用法区别 学习笔记: 函数对象和函数调用 # 函数对象和函数调用 def foo():print(foo display)# 函数对象 a foo print(a) # &…

influxdb安装

官网: https://www.influxdata.com/ centos7安装 wget https://dl.influxdata.com/influxdb/releases/influxdb2-2.0.4.x86_64.rpmyum localinstall influxdb2-2.0.4.x86_64.rpm启动 systemctl start influxdb systemctl enable influxdb # netstat -npult |gre…

Springboot指定扫描路径

方式一:通过在启动类的SpringbootApplication中指定包扫描或类扫描 指定需要扫描的包 scanBasePackages{"待扫描包1","待扫描包2", . . . ," "} 指定需要扫描的类 scanBasePackageClasses{类1.class,类2.class,...} 方式二&#xff…

权限(补充)

在上一篇Linux权限(想了解的可以点击看看哦)中已经见识了一部分权限,但是少了很重要的一部分: 那就是用户之间的转换,文件读写的关系,这里就简单的介绍一些; 我们在Linux权限知道了目录权限的关…

sql数据库命令行操作(数据库的创建和删除)

查询数据库 查询电脑里面所有数据库 SHOW DATABASES;查询当前所处的数据库 SELECT DATABASE();应用场景:当我使用了USE命令后不知道自己所在哪个数据库时,可以使用这个命令查询自己所在数据库 创建数据库 创建 CREATE DATABASE [IF NOT EXISTS] 数据…

StarTowerChain:开启去中心化创新篇章

官网: www.startower.fr 在当今创新驱动的时代,StarTowerChain 以其独特的去中心化创新模式,为我们带来了新的希望和机遇。去中心化,这个充满活力与创造力的理念,正引领着我们走向未来的创新之路。 StarTowerChain …

远程连接服务器

linux客户端通过秘钥登录linux服务端root用户 [rootClient ~]# ssh-keygen Generating public/private rsa key pair. Enter file in which to save the key (/root/.ssh/id_rsa): // 存放文件,若直接回车就存在括号文件中) Enter passphrase (empty f…

SpringCloudAlibaba[Nacos]注册配置中心注册与发现服务

Nacos的全称是Dynamic Naming and Configuration Service,Na为naming/nameServer即注册中心,co为configuration即注册中心,service是指该注册/配置中心都是以服务为核心。是阿里巴巴开源易于构建云原生应用的动态服务发现、配置管理和服务管理平台。 Nac…

基于预测算法的航班离港延误系统

毕业设计不知道做什么?想找一个结合算法与应用的项目?那你绝对不能错过这个"基于预测算法的航班离港延误系统"!✈️📊 项目简介: 这个系统专注于航班离港的延误预测,通过强大的神经网络技术对大…

2024软考网络工程师笔记 - 第4章.局域网和城域网

文章目录 局域网基础1️⃣局域网和城域网体系架构 IEEE(负责链路层)2️⃣局域网拓扑结构 🕑CSMA/CD1️⃣CSMA/CD2️⃣CSMA/CD三种监听算法3️⃣冲突检测原理 🕒二进制指数退避算法1️⃣ 二进制指数退避算法 🕓最小帧长…

IO进程---day5

1、使用有名管道实现两个进程之间的相互通信 //管道文件 #include<myhead.h> int main(int argc, const char *argv[]) {//创建有名管道文件1if(mkfifo("./pipe1",0664)-1){perror("创建管道文件失败");return 0;}if(mkfifo("./pipe2",066…

数据结构:二叉树、堆

目录 一.树的概念 二、二叉树 1.二叉树的概念 2.特殊类型的二叉树 3.二叉树的性质 4.二叉树存储的结构 三、堆 1.堆的概念 2.堆的实现 Heap.h Heap.c 一.树的概念 注意&#xff0c;树的同一层中不能有关联&#xff0c;否侧就不是树了&#xff0c;就变成图了&#xff…

RequestBody接收参数报错com.fasterxml.jackson.databind.exc.MismatchedInputException

目录&#xff1a; 1、错误现象2、解决办法3、最终验证 1、错误现象 报错的现象和代码如下&#xff1a; 2、解决办法 查了很多都说参数类型对不上&#xff0c;但是明明是对上的&#xff0c;没有问题&#xff0c;最后只有换接收方式后验证是可以的&#xff1b;最终想了一下&…

效果不错的论文介绍:Im2Flow2Act:-跨领域机器人操控技术

Im2Flow2Act: 跨领域机器人操控技术 简介 今天介绍一个比较惊艳的论文&#xff0c;Im2Flow2Act&#xff0c;可以预测应该怎么移动图象中的物体预测移动方法完成需要执行的动作任务。 Im2Flow2Act 是一个基于学习的机器人操控框架&#xff0c;旨在通过多种数据源为机器人提供操…