jdk+zookeeper+kafka 搭建kafka集群

环境准备

环境资源包：
jdk-8u341-linux-x64.tar.gz
kafka_2.12-2.2.0.tgz
zookeeper-3.4.14.tar.gz

server-idip状态
server110.206.120.10leader
server210.206.120.2follower
server310.206.120.3follower

一、安装jdk

因为kafka需要Java环境，所以优先配置jdk环境，若已经配置了java环境，此步骤可以忽略

[root@VM-120-2-centos ~]# tar -xvf jdk-8u341-linux-x64.tar.gz 
[root@VM-120-2-centos ~]# mv jdk1.8.0_341/ /usr/local/
#在文件末尾加入以下语句
[root@VM-120-2-centos ~]# vim /etc/profile
export JAVA_HOME=/usr/local/jdk1.8.0_341
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib[root@VM-120-2-centos ~]# source /etc/profile
[root@VM-120-2-centos ~]# java -version
java version "1.8.0_341"
Java(TM) SE Runtime Environment (build 1.8.0_341-b10)
Java HotSpot(TM) 64-Bit Server VM (build 25.341-b10, mixed mode)
至此jdk环境配置完成

二、zookeeper集群安装

[root@VM-120-2-centos ~]#  cd 
[root@VM-120-2-centos ~]# tar -xvf zookeeper-3.4.14.tar.gz 
[root@VM-120-2-centos ~]# mv zookeeper-3.4.14 /usr/local/zookeeper
[root@VM-120-2-centos ~]# cd /usr/local/zookeeper/conf/
[root@VM-120-2-centos ~]# cp zoo_sample.cfg zoo.cfg
[root@VM-120-2-centos ~]# vim zoo.cfg
tickTime=2000
initLimit=10
syncLimit=5
dataLogDir=/usr/local/zookeeper/logs
dataDir=/usr/local/zookeeper/data
clientPort=2181
autopurge.snapRetainCount=500
autopurge.purgeInterval=24
server.1= 10.206.120.10:2888:3888
server.2= 10.206.120.2:2888:3888
server.3= 10.206.120.2:2888:3888
[root@VM-120-2-centos ~]# mkdir /usr/local/zookeeper/data
#10.206.120.10服务器上执行
[root@VM-120-2-centos ~]# echo "1" > /usr/local/zookeeper/data/myid #10.206.120.2服务器上执行       
[root@VM-120-2-centos ~]# echo "2" > /usr/local/zookeeper/data/myid#10.206.120.3服务器上执行       
[root@VM-120-2-centos ~]# echo "3" > /usr/local/zookeeper/data/myid
[root@VM-120-2-centos ~]# cd ../bin/
[root@VM-120-2-centos ~]# ./zkServer.sh start
[root@VM-120-2-centos ~]# ./zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /usr/local/zookeeper/bin/../conf/zoo.cfg
Mode: leader
[root@VM-120-2-centos ~]# netstat -ntlp
看看端口是否正常启动

二、kafka集群安装

[root@VM-120-2-centos ~]# cd 
[root@VM-120-2-centos ~]# tar -xvf kafka_2.12-2.2.0.tgz 
[root@VM-120-2-centos ~]# mv kafka_2.12-2.2.0 /usr/local/kafka
[root@VM-120-2-centos ~]# cd /usr/local/kafka/config/
[root@VM-120-2-centos ~]# cp server.properties server.properties.bak
#10.206.120.2服务器上将以下内容写入文件
[root@VM-120-2-centos ~]# vim server.properties
broker.id=2
listeners=PLAINTEXT://10.206.120.2:9092
advertised.listeners=PLAINTEXT://43.137.8.225:9092
num.network.threads=3
num.io.threads=8
socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
socket.request.max.bytes=204857600
log.dirs=/usr/local/kafka/logs
num.partitions=1
num.recovery.threads.per.data.dir=1
offsets.topic.replication.factor=1
transaction.state.log.replication.factor=1
transaction.state.log.min.isr=1
log.retention.hours=1680
log.segment.bytes=1073741824
log.retention.check.interval.ms=300000
zookeeper.connect=10.206.120.2:2181,10.206.120.10:2181
zookeeper.connection.timeout.ms=6000
group.initial.rebalance.delay.ms=10
max.poll.interval.ms=800000
max.poll.records=50#10.206.120.10服务器上将以下内容写入文件
[root@VM-120-2-centos ~]# vim server.properties
broker.id=1
listeners=PLAINTEXT://10.206.120.10:9092
advertised.listeners=PLAINTEXT://118.195.137.101:9092
num.network.threads=3
num.io.threads=8
socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
socket.request.max.bytes=204857600
log.dirs=/usr/local/kafka/logs
num.partitions=1
num.recovery.threads.per.data.dir=1
offsets.topic.replication.factor=1
transaction.state.log.replication.factor=1
transaction.state.log.min.isr=1
log.retention.hours=1680
log.segment.bytes=1073741824
log.retention.check.interval.ms=300000
zookeeper.connect=10.206.120.2:2181,10.206.120.10:2181
zookeeper.connection.timeout.ms=6000
group.initial.rebalance.delay.ms=10
max.poll.interval.ms=800000
max.poll.records=50#10.206.120.3服务器上将以下内容写入文件
[root@VM-120-2-centos ~]# vim server.properties
broker.id=3
listeners=PLAINTEXT://10.206.120.3:9092
advertised.listeners=PLAINTEXT://175.27.146.204:9092
num.network.threads=3
num.io.threads=8
socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
socket.request.max.bytes=204857600
log.dirs=/usr/local/kafka/logs
num.partitions=1
num.recovery.threads.per.data.dir=1
offsets.topic.replication.factor=1
transaction.state.log.replication.factor=1
transaction.state.log.min.isr=1
log.retention.hours=1680
log.segment.bytes=1073741824
log.retention.check.interval.ms=300000
zookeeper.connect=10.206.120.2:2181,10.206.120.10:2181
zookeeper.connection.timeout.ms=6000
group.initial.rebalance.delay.ms=10
max.poll.interval.ms=800000
max.poll.records=50[root@VM-120-2-centos ~]# cd ../bin/
[root@VM-120-2-centos ~]# nohup ./kafka-server-start.sh ../config/server.properties &#查看9092端口是否启动，启动即为正常
[root@VM-120-10-centos bin]# netstat -ntlp  

#下面所有命令在kafka的bin目录下执行（笔者是/usr/local/kafka/bin）
#创建topic话题
./kafka-topics.sh --create --bootstrap-server 10.206.120.10:2181,10.206.120.2:2181,10.206.120.3:2181 --replication-factor 3 --topic test1 --partitions 3
#开启一个生产者
./kafka-console-producer.sh --broker-list 10.206.120.10:2181,10.206.120.2:2181,10.206.120.3:2181 --topic test
#开启两个消费者
./kafka-console-consumer.sh --bootstrap-server 10.206.120.10:2181,10.206.120.2:2181,10.206.120.3:2181 --topic test --from-beginning
#列出所有topic
./kafka-topics.sh --zookeeper 10.206.120.10:2181,10.206.120.2:2181,10.206.120.3:2181 -list
#输出某个topic
./kafka-topics.sh --zookeeper 10.206.120.10:2181,10.206.120.2:2181,10.206.120.3:2181 --delete --topic test
#详细描述某个topic
./kafka-topics.sh --zookeeper 10.206.120.10:2181,10.206.120.2:2181,10.206.120.3:2181 --describe --topic test

在这里插入图片描述
在这里插入图片描述
至此集群搭建成功，可以正常使用了

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.rhkb.cn/news/216779.html

如若内容造成侵权/违法违规/事实不符，请联系长河编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

Linux AMH服务器管理面板本地安装与远程访问

Linux AMH服务器管理面板本地安装与远程访问

最近，我发现了一个超级强大的人工智能学习网站。它以通俗易懂的方式呈现复杂的概念，而且内容风趣幽默。我觉得它对大家可能会有所帮助，所以我在此分享。点击这里跳转到网站。 文章目录 1. Linux 安装AMH 面板2. 本地访问AMH 面板3. Linux安装…
阅读更多...
股票放量成交后，大涨的概率有多少？

股票放量成交后，大涨的概率有多少？

很多时候，经常有人会感觉，成交量突然放大5倍以上，后面的股价大概率会上涨，很多投顾班的老师也是给大家展示这样的感觉，那究竟有多大比例的上涨呢？ 【文章仅是数据分析，不构成任何投资建议】 一…
阅读更多...
【Docker】进阶之路：（九）Docker网络

【Docker】进阶之路：（九）Docker网络

【Docker】进阶之路：（九）Docker网络 Docker网络模式简介bridge网络模式host网络模式none网络模式container网络模式user-defined网络模式1.创建自定义的bridge网络2.使用自定义网络 高级网络配置docker network命令 为什么要了解容器的网络模…
阅读更多...
zabbix——实现高效网络监控

zabbix——实现高效网络监控

在当今的数字化时代，网络和服务器的健康状况对于企业的正常运营至关重要。为了及时发现和解决潜在的问题，许多企业选择使用网络监控工具来追踪服务器的性能和网络参数。其中，Zabbix是一个功能强大且开源的网络监控工具，被广泛应用…
阅读更多...
CSS的基本选择器及高级选择器（附详细示例以及效果图）

CSS的基本选择器及高级选择器（附详细示例以及效果图）

Hi i,m JinXiang ⭐ 前言 ⭐ 本篇文章主要介绍HTML中CSS的基础选择及高级选择器（详解）以及部分理论知识 🍉欢迎点赞 👍 收藏 ⭐留言评论 📝私信必回哟😁 🍉博主收将持续更新学习记录获&#xf…
阅读更多...
微服务--07--Sentienl中使用的限流算法

微服务--07--Sentienl中使用的限流算法

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录 Sentienl中使用的限流算法1、计数器固定窗口算法2、计数器滑动窗口算法----（默认）3、漏桶算法----（排队等待）4、令牌…
阅读更多...
Apache Web 服务器监控工具

Apache Web 服务器监控工具

将Apache Web 服务器监控纳入 IT 基础架构管理策略有助于先发制人地识别性能瓶颈，这种主动监控方法提供必要的数据，以确保 Web 服务器能够胜任任务，并在需要时进行优化。保证客户获得流畅、无忧的用户体验可以大大有助于巩固他们对组织的信任…
阅读更多...
《拥抱变化：解析极限编程》读书笔记

《拥抱变化：解析极限编程》读书笔记

文章目录 一、书名和作者二、书籍概览2.1 主要论点和结构2.2 目标读者和应用场景 三、核心观点与主题3.1开发问题3.2 极限编程实践3.3 极限编程计划与设计3.4 极限编程的实现 四、亮点与启发4.1 最有影响的观点4.2 对个人专业发展的启示 五、批评与局限性5.1 可能存在的争议和过…
阅读更多...
在Ascend昇腾硬件用npu加速paddleLite版本ocr（nnadapter）

在Ascend昇腾硬件用npu加速paddleLite版本ocr（nnadapter）

在Ascend昇腾硬件用npu加速paddleLite版本ocr（nnadapter） 参考文档* nnadapter参考文档地址* 华为昇腾 NPU参考文档地址* PaddleLite的CAPI参考文档 一.确保cpu版本运行正常二.编译Ascend上npu加速库三.跑通npu加速版本Demo1.Demo下载地址2.参考手册网址…
阅读更多...
.net core提示The xx field is required，One or more validation errors occurred

.net core提示The xx field is required，One or more validation errors occurred

访问接口时缺少model中的参数时，会提示： The xx field is required One or more validation errors occurred原因是.net core webapi默认参数为不可空，因此会验证并报错。 解决方案： 在项目的.csproj中，修改Nullable…
阅读更多...
案例057:基于微信小程序的马拉松报名系统

案例057:基于微信小程序的马拉松报名系统

文末获取源码 开发语言：Java 框架：SSM JDK版本：JDK1.8 数据库：mysql 5.7 开发软件：eclipse/myeclipse/idea Maven包：Maven3.5.4 小程序框架：uniapp 小程序开发软件：HBuilder X 小程序…
阅读更多...
模块四（一）：搭建自己的SSR

模块四（一）：搭建自己的SSR

前言：同构渲染是将服务器渲染和客户端渲染相结合的一种渲染方式，在服务端生成初始页面，提升首屏加载速度，并且有利于SEO；在客户端接管HTML，并且将静态HTML激活为数据绑定的动态HTML，为用户提供更…
阅读更多...
文件重命名技巧：不同路径文件批量重命名并单独编号方法

文件重命名技巧：不同路径文件批量重命名并单独编号方法

在日常生活和工作中，经常要处理大量的文件，而文件名的混乱或者不规范可能会给文件管理带来困扰。如果要批量重命名不同路径的文件，并给不同路径文件单独编号，就更难实现。手动修改往往容易出错且时间耗费太多，工作时间…
阅读更多...
云计算大屏，可视化云计算分析平台（云实时数据大屏PSD源文件）

云计算大屏，可视化云计算分析平台（云实时数据大屏PSD源文件）

大屏组件可以让UI设计师的工作更加便捷，使其更高效快速的完成设计任务。现分享可视化云分析系统、可视化云计算分析平台、云实时数据大屏的大屏Photoshop源文件，开箱即用！ 若需 更多行业 相关的大屏，请移步小7的另一篇文章&#…
阅读更多...
串口通信(5)-C#串口通信数据接收不完整解决方案

串口通信(5)-C#串口通信数据接收不完整解决方案

本文讲解C#串口通信数据接收不完整解决方案。 目录 一、概述 二、Modbus RTU介绍 三、解决思路 四、实例 一、概述 串口处理接收数据是串口程序编写的关键，在实际应用中基本是哪个采用异步通信的方式，所以接收数据就需要考虑接收数据的完整性&…
阅读更多...
用户案例｜Milvus 助力 Credal.AI 实现 GenAI 安全与可控

用户案例｜Milvus 助力 Credal.AI 实现 GenAI 安全与可控

AIGC 时代，企业流程中是否整合人工智能（AI）对于的企业竞争力至关重要。然而，随着 AI 不断发展演进，企业也在此过程中面临数据安全管理、访问权限、数据隐私等方面的挑战。 为了更好地解决上述问题，Credal.A…
阅读更多...
【解决】Windows 11检测提示电脑不支持 TPM 2.0（注意从DTPM改为PTT）

【解决】Windows 11检测提示电脑不支持 TPM 2.0（注意从DTPM改为PTT）

win11升级，tpm不兼容 写在最前面1. 打开电脑健康状况检查2. 开启tpm3. 微星主板AMD平台开启TPM2.0解决电脑健康状况检查显示可以安装win11，但是系统更新里显示无法更新 写在最前面 我想在台式电脑上用win11的专注模式，但win10不支持 1. 打…
阅读更多...
Scrapy爬虫学习

Scrapy爬虫学习

Scrapy爬虫学习一 1 scrapy框架1.1 scrapy 是什么1.2 安装scrapy 2 scrapy的使用2.1创建scrapy项目2.2 创建爬虫文件2.3爬虫文件的介绍2.4 运行爬虫文件 3 爬取当当网前十页数据3.1 dang.py：爬虫的主文件3.2 items.py 定义数据结构3.3 pipelines.py 管道3.4 执行命令…
阅读更多...
C#实现支付宝转账功能

C#实现支付宝转账功能

环境 .net 6 AlipaySDKNet.OpenAPI 2.4.0 申请证书 登录支付宝开放平台https://open.alipay.com/ 进入控制台 授权回调地址也设置一下，加密方式AES 新建.net 6空白的web项目 证书除了java都需要自己生成一下pkcs1的密钥 privatekey.txt就是根据应用私钥生成…
阅读更多...
登录/验证码/注册

登录/验证码/注册

登录 pom文件 <!--hutool工具类--><dependency><groupId>cn.hutool</groupId><artifactId>hutool-all</artifactId><version>5.8.9</version></dependency><!--jwt--><dependency><groupId>io.jsonw…
阅读更多...
最新文章
推荐文章

Copyright @ 2022~2023