（二十五）大数据实战——kafka集群及Kafka-Eagle控制台安装与部署

前言

本节内容我们主要介绍一下搭建kafka集群以及kafka集群的一个web客户端组件Kafka-Eagle的部署安装，使用的kafka版本是kafka_2.12-3.0.0。在搭建kafka集群之前，我们要预先搭建好zookeeper集群，这里作者默认zookeeper的集群环境已经搭建完成，可参考作者往期博客内容。新版本的kafka集群分为俩种搭建方式，一种依赖zookeeper，一种使用Kraft模式，本节内容我们主要介绍zookeeper模式的kafka集群搭建部署。

正文

①kafka高可用集群部署规划

kafka高可用集群部署规划
hadoop101	hadoop102	hadoop103
zookeeper	zookeeper	zookeeper
kafka	kafka	kafka
Kafka-Eagle

②上传kafka安装包到hadoop101服务器/opt/software目录

③解压kafka安装包到/opt/module目录

- 命令：tar -zxvf kafka_2.12-3.0.0.tgz -C /opt/module

④在/opt/module/kafka_2.12-3.0.0/config目录下修改kafka配置文件server.properties

- server.properties 配置文件位置

- 配置brokerid
broker.id=0
- 配置kafka数据存储目录，这里存储到kafka安装目录/opt/module/kafka_2.12-3.0.0/data下
log.dirs=/opt/module/kafka_2.12-3.0.0/data
- 配置zookeeper访问路径
zookeeper.connect=hadoop101:2181,hadoop102:2181,hadoop103:2181/kafka

⑤分发kafka安装包到hadoop102和hadoop103服务器，并修改其brokerid配置

- 分发kafka安装包

- 修改hadoop102的server.properties 配置文件的brokerid

- 修改hadoop103的server.properties 配置文件的brokerid

⑥配置kafka环境变量

- 在hadoop101服务器/etc/profile.d/my_env.sh 文件中增加 kafka环境变量配置

- 分发环境变量配置到hadoop102和hadoop103服务器

- 使环境变量生效

⑦将kafak安装包授权给hadoop用户，使用root用户启动kafka可以跳过此步骤

- 命令：

sudo chown -R hadoop:hadoop /opt/module/kafka_2.12-3.0.0/

⑦使用hadoop用户启动zookeeper集群服务和kafak集群服务

- 启动zookeeper集群

- 启动kafka集群
bin/kafka-server-start.sh -daemon config/server.properties
- 查看日志，验证kafka集群是否已经启动成功

⑧使用脚本启停kafka集群

- mykafka.sh集群启停脚本

#! /bin/bash
case $1 in
"start"){for i in hadoop101 hadoop102 hadoop103doecho " --------启动 $i Kafka-------"ssh $i "/opt/module/kafka_2.12-3.0.0/bin/kafka-server-start.sh -daemon /opt/module/kafka_2.12-3.0.0/config/server.properties"done
};;
"status"){for i in hadoop101 hadoop102 hadoop103doecho =============== $i ===============ssh $i jpsdone
};;
"stop"){for i in hadoop101 hadoop102 hadoop103doecho " --------停止 $i Kafka-------"ssh $i "/opt/module/kafka_2.12-3.0.0/bin/kafka-server-stop.sh "done
};;
esac

- 在kafka的bin目录下创建mykafka.sh启停脚本

- 测试脚本

⑨安装kafka客户端工具Kafka-Eagle监控

- 上传Kafka-Eagle安装包到hadoop101服务器

- 解压Kafka-Eagle安装包到/opt/module目录

- 进入Kafka-Eagle安装目录，修改system-config.properties配置文件

- 修改zookeeper连接地址
efak.zk.cluster.alias=cluster1
cluster1.zk.list=hadoop101:2181,hadoop102:2181,hadoop103:2181/kafka
- 修改kafka offset storage的存储目录
cluster1.efak.offset.storage=kafka
- 修改数据库连接配置
efak.driver=com.mysql.cj.jdbc.Driver
efak.url=jdbc:mysql://hadoop101:3306/ke?useUnicode=true&characterEncoding=UTF-8&zeroDateTimeBehavior=convertToNull
efak.username=root
efak.password=root
- 添加Kafka-Eagle监控环境变量配置

- 修改kafka服务器启动参数
export KAFKA_HEAP_OPTS="-server -Xms2G -Xmx2G -XX:PermSize=128m -XX:+UseG1GC -XX:MaxGCPauseMillis=200 -XX:ParallelGCThreads=8 -XX:ConcGCThreads=5 -XX:InitiatingHeapOccupancyPercent=70"
export JMX_PORT="9999"
- 分发kafka-server-start.sh启动脚本

- 重启kafka

- 启动Kafka-Eagle

- 访问Kafka-Eagle