Kafka搭建(集群版)

Kafka单机版

部署前提

VMware环境 : 两台centos系统

Jdk包:jdk-8u202-linux-x64.tar.gz
Kafka包:kafka_2.12-3.5.0.tgz
Zookeeper包:apache-zookeeper-3.7.2-bin.tar.gz

百度网盘自取: 链接: https://pan.baidu.com/s/11EWuhBoSmH3musd_3Rgodw?pwd=e32t 提取码: e32t

Kafka搭建(集群版)

创建服务器

  • 修改克隆机主机名，以下以kafka-broker1举例说明
#使用root用户登录
#修改主机名
vim /etc/hostname
kafka-broker1 #末尾追加
  • 配置Linux克隆机主机名称映射hosts文件，打开/etc/hosts
# 修改主机名称映射vim /etc/hosts添加如下内容:
192.168.233.106 kafka-broker1
192.168.233.107 kafka-broker2
  • 重启克隆机kafka-broker1
# 重启
reboot
  • 其他机器也同样配置

以下操作默认在kafka-broker1里操作

创建xsync文件

cd /root
mkdir bin
cd bin
vim xsync
  • 增加如下内容
#!/bin/bash#1. 判断参数个数
if [ $# -lt 1 ]
thenecho Not Enough Arguement!exit;
fi#2. 遍历集群所有机器
for host in kafka-broker1 kafka-broker2
doecho ====================  $host  ====================#3. 遍历所有目录，挨个发送for file in $@do#4 判断文件是否存在if [ -e $file ]then#5. 获取父目录pdir=$(cd -P $(dirname $file); pwd)#6. 获取当前文件的名称fname=$(basename $file)ssh $host "mkdir -p $pdir"rsync -av $pdir/$fname $host:$pdirelseecho $file does not exists!fidone
done
  • 修改xsync文件权限
# 进入/root/bin目录
cd /root/bin
# 修改权限
chmod 777 xsync

SSH无密登录配置

分发文件时，需要通过脚本切换主机进行指令操作，切换主机时，是需要输入密码的，每一次都输入就显得有点麻烦，所以这里以虚拟机kafka-broker1为例配置SSH免密登录(其他节点执行同样步骤即可)，配置完成后，脚本执行时就不需要输入密码了。

生成公钥和私钥

# 公钥和私钥
ssh-keygen -t rsa#然后敲（三个回车），就会生成两个文件id_rsa（私钥）、id_rsa.pub（公钥）
  • 将公钥拷贝到要免密登录的目标机器上，拷贝过程需要输入目标机器密码
# ssh-copy-id 目标机器
ssh-copy-id kafka-broker1
ssh-copy-id kafka-broker2

安装JDK1.8

卸载现有JDK

  • 不同节点都要执行操作

    rpm -qa | grep -i java | xargs -n1 sudo rpm -e --nodeps

上传Java压缩包

  • 将jdk-8u202-linux-x64.tar.gz文件上传到虚拟机的/opt/software目录中

解压Java压缩包

  • 进入/opt/software目录

    cd /opt/software/

  • 解压缩文件到指定目录

    tar -zxvf jdk-8u212-linux-x64.tar.gz -C /opt/module/

  • 进入/opt/module目录

    cd /opt/module

  • 改名

    mv jdk1.8.0_212/ java

配置Java环境变量

  • 新建 /etc/profile.d/my_env.sh文件

    vim /etc/profile.d/my_env.sh

  • 添加内容

    #JAVA_HOME
export JAVA_HOME=/opt/module/java
export PATH=$PATH:$JAVA_HOME/bin

  • 让环境变量生效

    source /etc/profile.d/my_env.sh

安装测试

java -version

分发软件

  • 分发环境变量文件

    xsync /etc/profile.d/my_env.sh

  • 进入/opt/module路径

    cd /opt/module

  • 调用分发脚本将本机得Java安装包分发到其他两台机器

    xsync java

在每个节点让环境变量生效

安装ZooKeeper

上传ZooKeeper压缩包

将apache-zookeeper-3.7.2-bin.tar.gz文件上传到三台虚拟机的/opt/software目录中

解压ZooKeeper压缩包

  • 进入到/opt/software目录中

    cd /opt/software/

  • 解压缩文件到指定目录

    tar -zxvf apache-zookeeper-3.7.1-bin.tar.gz -C /opt/module/

  • 进入/opt/module目录

    cd /opt/module

  • 文件目录改名

    mv apache-zookeeper-3.7.1-bin/ zookeeper

配置服务器编号

  • 在/opt/module/zookeeper/目录下创建zkData

  • 进入/opt/module/zookeeper目录

    cd /opt/module/zookeeper

  • 创建zkData文件目录

    mkdir zkData

  • 创建myid文件

  • 进入/opt/module/zookeeper/zkData目录

    cd /opt/module/zookeeper/zkData

  • 创建myid文件

    vim myid

  • 在文件中增加内容

    1

修改配置文件

  • 重命名/opt/module/zookeeper/conf目录下的zoo_sample.cfg文件为zoo.cfg文件

  • 进入cd /opt/module/zookeeper/conf文件目录

    cd /opt/module/zookeeper/conf

  • 修改文件名称

    mv zoo_sample.cfg zoo.cfg

  • 修改文件内容

    vim zoo.cfg

  • 修改zoo.cfg文件

以下内容为修改内容
# **以下内容为修改内容**
dataDir=/opt/module/zookeeper/zkData#以下内容为新增内容####################### cluster ##########################
# server.A=B:C:D
#
# A是一个数字，表示这个是第几号服务器
# B是A服务器的主机名
# C是A服务器与集群中的主服务器（Leader）交换信息的端口
# D是A服务器用于主服务器（Leader）选举的端口
#########################################################server.1=kafka-broker1:2888:3888
server.2=kafka-broker2:2888:3888

设置防火墙端口

firewall-cmd --zone=public --add-port=2181/tcp --permanent
firewall-cmd --zone=public --add-port=2888/tcp --permanent
firewall-cmd --zone=public --add-port=3888/tcp --permanent
firewall-cmd --reload
firewall-cmd --zone=public --list-ports

启动ZooKeeper

在每个节点下执行如下操作

  • 进入zookeeper目录

    cd /opt/module/zookeeper

  • 启动ZK服务

    bin/zkServer.sh start

关闭ZooKeeper

在每个节点下执行如下操作

  • 进入zookeeper目录

    cd /opt/module/zookeeper

  • 关闭ZK服务

    bin/zkServer.sh stop

查看ZooKeeper状态

在每个节点下执行如下操作

  • 进入zookeeper目录

    cd /opt/module/zookeeper

  • 查看ZK服务状态

    bin/zkServer.sh status

分发软件

  • 进入/opt/module路径

    cd /opt/module

  • 调用分发脚本将本机得ZooKeeper安装包分发到其他机器

    xsync zookeeper

分别将不同虚拟机/opt/module/zookeeper/zkData目录下myid文件进行修改

vim /opt/module/zookeeper/zkData/myid
# kafka-broker1:1
# kafka-broker2:2

启停脚本

ZooKeeper软件的启动和停止比较简单，但是每一次如果都在不同服务器节点执行相应指令，也会有点麻烦，所以我们这里将指令封装成脚本文件，方便我们的调用。

  • 在虚拟机kafka-broker1的/root/bin目录下创建zk.sh脚本文件

  • 在/root/bin这个目录下存放的脚本，root用户可以在系统任何地方直接执行

  • 进入/root/bin目录

    cd /root/bin

  • 创建zk.sh脚本文件

    vim zk.sh

在脚本中增加内容:
#!/bin/bash
case $1 in
"start"){for i in kafka-broker1 kafka-broker2doecho ---------- zookeeper $i 启动 ------------ssh $i "/opt/module/zookeeper/bin/zkServer.sh start"done
};;
"stop"){for i in kafka-broker1 kafka-broker2doecho ---------- zookeeper $i 停止 ------------ssh $i "/opt/module/zookeeper/bin/zkServer.sh stop"done
};;
"status"){for i in kafka-broker1 kafka-broker2doecho ---------- zookeeper $i 状态 ------------ssh $i "/opt/module/zookeeper/bin/zkServer.sh status"done
};;
esac
增加脚本文件权限

  • 给zk.sh文件授权

    chmod 777 zk.sh

脚本调用方式

  • 启动ZK服务

    zk.sh start

  • 查看ZK服务状态

    zk.sh status

  • 停止ZK服务

    zk.sh stop

安装Kafka

上传Kafka压缩包

将kafka_2.12-3.5.0.tgz文件上传到虚拟机的/opt/software目录中

解压Kafka压缩包

  • 进入/opt/software目录

    cd /opt/software

  • 解压缩文件到指定目录

    tar -zxvf kafka_2.12-3.5.0.tgz -C /opt/module/

  • 进入/opt/module目录

    cd /opt/module

  • 修改文件目录名称

    mv kafka_2.12-3.5.0/ kafka

修改配置文件

  • 进入cd /opt/module/kafka/config文件目录

    cd /opt/module/kafka/config

  • 修改配置文件

    vim server.properties

  • 输入以下内容：

    #broker的全局唯一编号，每个服务节点不能重复，只能是数字。
broker.id=1
#broker对外暴露的IP和端口 （每个节点单独配置）
advertised.listeners=PLAINTEXT://**kafka-broker1**:9092
#处理网络请求的线程数量
num.network.threads=3
#用来处理磁盘IO的线程数量
num.io.threads=8
#发送套接字的缓冲区大小
socket.send.buffer.bytes=102400
#接收套接字的缓冲区大小
socket.receive.buffer.bytes=102400
#请求套接字的缓冲区大小
socket.request.max.bytes=104857600
#kafka运行日志(数据)存放的路径，路径不需要提前创建，kafka自动帮你创建，可以配置多个磁盘路径，路径与路径之间可以用"，"分隔
log.dirs=/opt/module/kafka/datas
#topic在当前broker上的分区个数
num.partitions=1
#用来恢复和清理data下数据的线程数量
num.recovery.threads.per.data.dir=1
#每个topic创建时的副本数，默认时1个副本
offsets.topic.replication.factor=1
#segment文件保留的最长时间，超时将被删除
log.retention.hours=168
#每个segment文件的大小，默认最大1G
log.segment.bytes=1073741824
#检查过期数据的时间，默认5分钟检查一次是否数据过期
log.retention.check.interval.ms=300000
#配置连接Zookeeper集群地址（在zk根目录下创建/kafka，方便管理）
zookeeper.connect=kafka-broker1:2181,kafka-broker2:2181/kafka

分发kafka软件

  • 进入 /opt/module目录

    cd /opt/module

  • 执行分发指令

    xsync kafka

按照上面的配置文件内容，在每一个Kafka节点进行配置

vim /opt/module/kafka/config/server.properties

配置环境变量

  • 修改 /etc/profile.d/my_env.sh文件

    vim /etc/profile.d/my_env.sh

  • 添加内容

    #KAFKA_HOME
export KAFKA_HOME=/opt/module/kafka
export PATH=$PATH:$KAFKA_HOME/bin

  • 让环境变量生效

    source /etc/profile.d/my_env.sh

  • 分发环境变量，并让环境变量生效

    xsync /etc/profile.d/my_env.sh

  • 每个节点执行刷新操作

    source /etc/profile.d/my_env.sh

启动Kafka

启动前请先启动ZooKeeper服务

  • 进入/opt/module/kafka目录

    cd /opt/module/kafka

  • 执行启动指令

    bin/kafka-server-start.sh -daemon config/server.properties

关闭Kafka

  • 进入/opt/module/kafka目录

    cd /opt/module/kafka

  • 执行关闭指令

    bin/kafka-server-stop.sh

启停脚本

(1) 在虚拟机kafka-broker1的/root/bin目录下创建kfk.sh脚本文件，对kafka服务的启动停止等指令进行封装

  • 进入/root/bin目录

    cd /root/bin

  • 创建kfk.sh脚本文件

    vim kfk.sh

  • 在脚本中增加内容:

    #! /bin/bash
case $1 in
"start"){for i in kafka-broker1 kafka-broker2doecho " --------启动 $i Kafka-------"ssh $i "/opt/module/kafka/bin/kafka-server-start.sh -daemon /opt/module/kafka/config/server.properties"done
};;
"stop"){for i in kafka-broker1 kafka-broker2doecho " --------停止 $i Kafka-------"ssh $i "/opt/module/kafka/bin/kafka-server-stop.sh "done
};;
esac
增加脚本文件权限

  • 给文件授权

    chmod 777 kfk.sh

脚本调用方式

  • 启动kafka

    kfk.sh start

  • 停止Kafka

    kfk.sh stop

注意：停止Kafka集群时，一定要等Kafka所有节点进程全部停止后再停止ZooKeeper集群。因为Zookeeper集群当中记录着Kafka集群相关信息，Zookeeper集群一旦先停止，Kafka集群就没有办法再获取停止进程的信息，只能手动杀死Kafka进程了。

联合脚本

因为Kafka启动前，需要先启动ZooKeeper，关闭时，又需要将所有Kafka全部关闭后，才能关闭ZooKeeper，这样，操作起来感觉比较麻烦，所以可以将之前的2个脚本再做一次封装。

  • 在虚拟机kafka-broker1的/root/bin目录下创建xcall脚本文件

  • 进入/root/bin目录

    cd /root/bin

  • 创建xcall文件

    vim xcall

  • 在脚本中增加内容:

    #! /bin/bashfor i in kafka-broker1 kafka-broker2
doecho --------- $i ----------ssh $i "$*"
done
增加脚本文件权限

  • 进入/root/bin目录

    cd /root/bin

  • 增加权限

    chmod 777 xcall

创建cluster.sh脚本文件

  • 进入/root/bin目录

    cd /root/bin

  • 创建cluster.sh脚本文件

    vim cluster.sh

  • 在脚本中增加内容:

    #!/bin/bashcase $1 in
"start"){echo ================== 启动 Kafka集群 ==================#启动 Zookeeper集群zk.sh start#启动 Kafka采集集群kfk.sh start};;
"stop"){echo ================== 停止 Kafka集群 ==================#停止 Kafka采集集群kfk.sh stop#循环直至 Kafka 集群进程全部停止kafka_count=$(xcall jps | grep Kafka | wc -l)while [ $kafka_count -gt 0 ]dosleep 1kafka_count=$(xcall | grep Kafka | wc -l)echo "当前未停止的 Kafka 进程数为 $kafka_count"done#停止 Zookeeper集群zk.sh stop
};;
esac
增加脚本文件权限

  • 进入/root/bin目录

    cd /root/bin

  • 增加权限

    chmod 777 cluster.sh

脚本调用方式

  • 集群启动

    cluster.sh start

  • 集群关闭

    cluster.sh stop

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.rhkb.cn/news/369191.html

如若内容造成侵权/违法违规/事实不符，请联系长河编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

Logstash安装插件失败的问题

Logstash安装插件失败的问题

Logstash安装插件失败的问题 安装 logstash-output-jdbc 失败 报错为： Unable to download data from https://rubygems.org - Net::OpenTimeout: Failed to open TCP connection to rubygems.org:443 (execution expired) (https://rubygems.org/latest_specs.4.…
阅读更多...
NLP篇1

NLP篇1

场景：假设给你一篇文章。 目标：说白了，就是数学的分类。但是如何实现分类呢。下面将逐步一 一 分析与拆解。先把目标定好了和整体框架定好了。而不是只见树木而不见森林。 情感分类（好评、差评，中性） 整体…
阅读更多...
Portainer 是一个开源的容器管理平台-非常直观好用的Docker图形化项目

Portainer 是一个开源的容器管理平台-非常直观好用的Docker图形化项目

在这个容器化技术大行其道的时代，Docker和Kubernetes几乎成了技术圈的新宠。可是管理起容器来，有时候还是有点头大。命令行操作对于某些小伙伴来说，可能还是有点不太友好。 今天开源君分享一个叫 Portainer 的开源项目，一个用来简…
阅读更多...
Dungeonborne卡顿怎么办 快速解决Dungeonborne卡顿问题

Dungeonborne卡顿怎么办 快速解决Dungeonborne卡顿问题

随着Dungeonborne游戏剧情的深入，玩家将逐渐解锁更多的地图和副本，每个区域都有其独特的生态和敌人。在探索的过程中，玩家不仅可以获得强大的装备和道具，还能结识到志同道合的伙伴，共同面对更强大的敌人。不过也有玩家…
阅读更多...
Jenkins 强制杀job

Jenkins 强制杀job

有时候有的jenkins job运行时间太长，在jenkins界面点击x按钮进行abort，会失败： 这时候点击： “Click here to forcibly terminate running steps” 会进一步kill 任务，但是也还是有杀不掉的可能性。 终极武器是jenkin…
阅读更多...
棱镜七彩上榜数说安全《2024年中国网络安全市场全景图》

棱镜七彩上榜数说安全《2024年中国网络安全市场全景图》

2024年7月4日，数说安全正式发布《2024年中国网络安全市场全景图》（以下简称全景图），棱镜七彩凭借专业的技术优势和产品创新实力再次上榜开发安全-软件成分分析（SCA）领域。 据悉，本次全景图在各市…
阅读更多...
zerotier-one自建根服务器方法五

zerotier-one自建根服务器方法五

一、简介 前面几篇文章已经写完了自己建立服务器的方法，今天写一下我在使用过程中遇到的问题和解决方法。 二、准备工作 准备一个有公网IP的云主机。 要稳定性、安全性、不差钱的可以使用阿里、腾讯等大厂的云服务器。 本人穷屌丝一枚，所以我用的是免…
阅读更多...
扫地机器人如何利用图算法来进行避障策略和优化清扫路径的？

扫地机器人如何利用图算法来进行避障策略和优化清扫路径的？

前言 扫地机器人是现代家庭中最常见的智能设备。其基本的核心组件由主控系统（大脑）、传感器等控制系统（感知系统）、动力供应系统（心脏）、清扫系统（四肢）组成。 扫地机器人的智能、高…
阅读更多...
基于Redisson实现分布式锁

基于Redisson实现分布式锁

基于redisson实现分布式锁 之前背过分布式锁几种实现方案的八股文，但是并没有真正自己实操过。现在对AOP有了更深一点的理解，就自己来实现一遍。 1、分布式锁的基础知识 分布式锁是相对于普通的锁的。普通的锁在具体的方法层面去锁，单体应…
阅读更多...
一款EF Core下高性能、轻量级针对分表分库读写分离的解决方案

一款EF Core下高性能、轻量级针对分表分库读写分离的解决方案

ShardingCore项目介绍 ShardingCore是一款开源、简单易用、高性能、普适性，针对EF Core生态下的分表分库的扩展解决方案，支持EF Core2的所有版本，支持EF Core2的所有数据库、支持自定义路由、动态路由、高性能分页、读写分离的一款EF Core拓展…
阅读更多...
使用大漠插件进行京东联盟转链

使用大漠插件进行京东联盟转链

由于之前开发了一套使用api转链的接口在前面几个月失效了。因为京东联盟系统升级，导致之前可以转的链接现在必须要升级权限才可以。但是升级条件对于我们这些自己买东西转链想省点钱的人来说基本上达不到。 所以，基于这种情况。我之前研究过大漠插件&am…
阅读更多...
代码转换成AST语法树移除无用代码console.log、import

代码转换成AST语法树移除无用代码console.log、import

公司中代码存在大量,因此产生 可以使用 @babel/parser 解析代码生成 AST (抽象语法树)，然后使用 @babel/traverse 进行遍历并删除所有的 console.log 语句，最后使用 @babel/generator 生成修改后的代码。 这里有一个网址，可以线上解析代码转换成AST语法树： https://astex…
阅读更多...
mysql 9 新特新

mysql 9 新特新

mysql9新特性 新特性Audit Log NotesC API NotesCharacter Set SupportCompilation NotesComponent NotesConfiguration NotesData Dictionary NotesData Type NotesDeprecation and Removal NotesEvent Scheduler NotesJavaScript ProgramsOptimizer NotesPerformance Schema …
阅读更多...
MAS马氏数控制榫机控制面板维修显示屏MDK3113B

MAS马氏数控制榫机控制面板维修显示屏MDK3113B

马氏数控榫头机触摸屏/显示面板维修型号：MX3810A；MDK3113B；MXK2815B MAS马氏数控开榫机触摸屏/显示面板维修型号： MX2108B；MD2108A；MJ105А 数控面板维修包括：马氏数控榫头机、开榫机、制榫机…
阅读更多...
eclipse基础工程配置（ tomcat配置JRE环境）

eclipse基础工程配置（ tomcat配置JRE环境）

文章目录 I eclipse1.1 工程配置1.2 编译工程1.3 添加 JRE for the project build pathII tomcat配置JRE环境2.1 Eclipse编辑tomcat运行环境（Mac版本）2.2 Eclipse编辑tomcat运行环境（windows版本）2.3 通过tomcat7W.exe配置运行环境（windows系统）I eclipse 1.1 工程配置 …
阅读更多...
探索人工智能在电子商务平台与游戏发行商竞争中几种应用方式

探索人工智能在电子商务平台与游戏发行商竞争中几种应用方式

过去 12 年来，电脑和视频游戏的发行策略发生了巨大变化。数字游戏的销量首次超过实体游戏的销量 在20132020 年的封锁进一步加速了这一趋势。例如，在意大利，封锁的第一周导致数字游戏下载量 暴涨174.9%. 展望未来，市场有望继续增…
阅读更多...
如何改善提示词，让 GPT-4 更高效准确地把视频内容整体转换成文章？

如何改善提示词，让 GPT-4 更高效准确地把视频内容整体转换成文章？

（注：本文为小报童精选文章。已订阅小报童或加入知识星球「玉树芝兰」用户请勿重复付费） 让我们来讨论一下大语言模型应用中的一个重要原则 ——「欲速则不达」。 作为一个自认为懒惰的人，我一直有一个愿望：完成视频制作…
阅读更多...
React+TS前台项目实战（二十四）-- 全局常用绘制组件Qrcode封装

React+TS前台项目实战（二十四）-- 全局常用绘制组件Qrcode封装

文章目录 前言Qrcode组件1. 功能分析2. 代码详细注释3. 使用方式4. 效果展示(pc端 / 移动端) 总结 前言 今天要封装的Qrcode 组件，是通过传入的信息，绘制在二维码上，可用于很多场景，如区块链项目中的区块显示交易地址时就可以用到…
阅读更多...
HMI 的 UI 风格创造奇迹

HMI 的 UI 风格创造奇迹

HMI 的 UI 风格创造奇迹
阅读更多...
Prometheus + Grafana 监控系统搭建使用指南-mysqld_exporter 安装与配置

Prometheus + Grafana 监控系统搭建使用指南-mysqld_exporter 安装与配置

使用mysqld_exporter 实现Prometheus 监控Mysql 系列文章目录 Prometheus 的安装部署Grafana的安装部署Linux服务器接入Prometheus监控-Node Exporter 安装指南Prometheus 接入SpringBoot微服务监控Mysql 接入 Prometheus RocketMQ 接入Prometheus 监控ElasticSearch 接入 Pr…
阅读更多...
最新文章
推荐文章

Copyright @ 2022~2023