目录
前言
一、安装前的准备
1. 系统要求
2. 安装 JDK
3. 安装 Kafka 和 Zookeeper
4. MySQL 环境准备
二、下载并安装 Kafka Eagle
三、配置 Kafka Eagle
1. 编辑配置文件
2. 配置 Kafka 和 Zookeeper 信息
四、启动 Kafka Eagle
五、访问 Kafka Eagle
六、测试功能
七、总结
前言
Kafka Eagle 是一款开源的 Kafka 管理和监控工具,可以帮助用户管理 Kafka 集群、监控集群状态、管理 Topic、消费组等信息。本文将详细介绍如何在 Linux 系统上安装和配置 Kafka Eagle。
一、安装前的准备
1. 系统要求
- 操作系统:本文以 CentOS 7 为例,其他 Linux 系统安装步骤类似。
- Java 环境:Kafka Eagle 依赖 Java 环境,需要安装 JDK。
- Kafka 环境:确保 Kafka 和 Zookeeper 已正确安装并运行。
2. 安装 JDK
Kafka Eagle 依赖 Java 运行环境,以下是安装 JDK 的步骤:
- 检查是否安装 JDK:
java -version
- 如果没有安装,自行安装 JDK。
3. 安装 Kafka 和 Zookeeper
Kafka Eagle 依赖于 Kafka 和 Zookeeper 进行数据的管理和监控,请确保已正确安装并运行 Kafka 和 Zookeeper。如果尚未安装,可以参考 Kafka 和 Zookeeper 的安装教程。
修改Kafka的kafka-server-start.sh文件:
if [ "x$KAFKA_HEAP_OPTS" = "x" ]; thenexport KAFKA_HEAP_OPTS="-server -Xms2G -Xmx2G -XX:PermSize=128m -XX:+UseG1GC -XX:MaxGCPauseMillis=200 -XX:ParallelGCThreads=8 -XX:ConcGCThreads=5 -XX:InitiatingHeapOccupancyPercent=70"export JMX_PORT="9999"#export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"
fi
# 注意:修改之后在启动 Kafka 之前要分发之其他节点
xsync.sh kafka-server-start.sh
4. MySQL 环境准备
Kafka-Eagle 的安装依赖于 MySQL,MySQL 主要用来存储可视化展示的数据。如果集群中之前安装过 MySQL 可以跨过该步。
二、下载并安装 Kafka Eagle
- 进入 Kafka Eagle 官方 GitHub 页面:Kafka Eagle GitHub。
- 下载最新版本的 Kafka Eagle(例如 2.1.0 版本)。
- 解压文件:
cd /opt/moudles tar -zxvf kafka-eagle-bin-2.0.8.tar.gz # 将 efak-web-2.0.8-bin.tar.gz 解压至/opt/installs cd kafka-eagle-bin-2.0.8 tar -zxvf efak-web-2.0.8-bin.tar.gz -C /opt/installs/
- 修改名称:
mv efak-web-2.0.8/ efak
三、配置 Kafka Eagle
Kafka Eagle 的配置文件位于 conf/system-config.properties
,我们需要修改此文件以完成配置。
1. 编辑配置文件
使用文本编辑器打开配置文件:
vi /opt/install/efak/conf/system-config.properties
2. 配置 Kafka 和 Zookeeper 信息
找到以下配置项,并进行修改:
-
配置 Zookeeper 连接:
efak.zk.cluster.alias=cluster1,cluster2 cluster1.zk.list=bigdata01:2181,bigdata02:2181,bigdata03:2181/kafka cluster2.zk.list=bigdata01:2181,bigdata02:2181,bigdata03:2181/kafka
-
配置 Kafka 集群名称:
# offset 保存在 kafka cluster1.efak.offset.storage=kafka
-
MySQL 数据库配置:Kafka Eagle 支持将监控数据存储到 MySQL 中。(需要提前MySQL数据库中创建数据库ke)
# 修改数据库连接:&serverTimezone=GMT 时区一定要写,否则报405错误! # 127.0.0.1 = localhost hosts文件中定义的 efak.driver=com.mysql.cj.jdbc.Driver efak.url=jdbc:mysql://127.0.0.1:3306/ke?useUnicode=true&characterEncoding=UTF-8&zeroDateTimeBehavior=convertToNull&serverTimezone=GMT efak.username=root efak.password=123456
-
其他配置项:添加环境变量
# kafkaEFAK
export KE_HOME=/opt/installs/efak
export PATH=$PATH:$KE_HOME/binsource /etc/profile
四、启动 Kafka Eagle
进入 Kafka Eagle 的安装目录,并启动服务:
- 切换到安装目录:
/opt/installs/efak
- 启动 Kafka Eagle:
# 启动之前先启动Kafka和Zookeeper zk.sh start kf.sh start# 由于之前配置环境变量,也可以ke.sh start bin/ke.sh start
- 停止 Kafka Eagle:
# 停止 efak,执行命令 bin/ke.sh stop
五、访问 Kafka Eagle
Kafka Eagle 默认运行在 8048 端口上,打开浏览器,访问以下地址:
http://<服务器IP>:8048
首次访问会要求输入默认账户和密码:
- 用户名:
admin
- 密码:
admin123
六、测试功能
进入 Kafka Eagle 后,可以在界面中查看 Kafka 集群的状态、Topic、消费组等信息。Kafka Eagle 提供了图形化界面,可以直观地管理 Kafka 集群,包括:
- Topic 和分区管理
- 消费者组状态查看
- 消息延迟监控
- 集群健康状态监控
七、总结
至此,Kafka Eagle 已成功安装并配置完毕。使用 Kafka Eagle 可以更加方便地管理和监控 Kafka 集群,为运维和开发人员提供了极大的便利。