目录
前言
一、安装前的准备
1. 系统要求
2. 安装 JDK
3. 下载 Kafka
二、配置 Kafka
1. 配置 Zookeeper
2. 配置 Kafka Broker
3. 分发Kafka安装包
4. 配置环境变量（xcall.sh）
三、启动 Kafka 和 Zookeeper
四、测试 Kafka
1. 创建 Topic
2. 生产消息
3. 消费消息
五、总结
前言
Kafka 是一种高性能、分布式的消息队列系统，广泛应用于大数据实时处理场景中。本文将详细介绍如何在 Linux 环境中安装和配置 Kafka，希望对初学者有所帮助。
一、安装前的准备
1. 系统要求
- 操作系统：本文以 CentOS 7 为例，其他 Linux 系统安装步骤类似。
- Java 环境：Kafka 依赖 Java 运行环境，需要先安装 JDK。
- Zookeeper: Kafka 依赖 Zookeeper 进行分布式协调。Zookeeper 可以单独安装，也可以使用 Kafka 内置的 Zookeeper 服务。
2. 安装 JDK
- 检查是否安装 JDK：
java -version - 如果没有安装，可自行安装 JDK。
3. 下载 Kafka
- 进入 Kafka 官方下载页面：Kafka 下载页面。
- 选择合适的 Kafka 版本（比如最新稳定版），复制下载链接。
- 下载 Kafka。
- 解压文件：
cd /opt/moudles tar -zxvf kafka_2.12-3.0.0.tgz -C /opt/installs/ - 修改解压后的文件名称：
mv kafka_2.12-3.0.0/ kafka3 # 版本号解读：2.12 是scala版本，3.0.0是kafka版本
二、配置 Kafka
Kafka 主要有两个配置文件：server.properties 和 zookeeper.properties。
1. 配置 Zookeeper
Kafka 依赖 Zookeeper 进行分布式协调。Zookeeper 的配置文件位于 config/zookeeper.properties。(安装Zookeeper时已配置）
2. 配置 Kafka Broker
Kafka Broker 的配置文件位于 config/server.properties。
- 打开配置文件：
vi /opt/install/kafka3/config/server.properties - 修改
broker.id（每个 Kafka 节点需要一个唯一的 ID）：broker.id=0 - 配置连接 Zookeeper 集群地址（在 zk 根目录下创建/kafka，方便管理）：
zookeeper.connect=bigdata01:2181,bigdata02:2181,bigdata03:2181/kafka # /kafka的意思是：在zk中创建一个文件夹叫做kafka - 配置日志存储路径：
log.dirs=/opt/installs/kafka3/datas
3. 分发Kafka安装包
xsync.sh /opt/install/kafka3/
# 分别在 bigdata02 和 bigdata03上修改配置文件/opt/installs/kafka/config/server.properties 中的 broker.id=1、broker.id=2
# 注：broker.id 不得重复，整个集群中唯一。4. 配置环境变量（xcall.sh）
# 修改bigdata01的环境变量
export KAFKA_HOME=/opt/installs/kafka3
export PATH=$PATH:$KAFKA_HOME/bin# 分发一下：
xsync.sh /etc/profile# 刷新环境变量xcall.sh source /etc/profile 三、启动 Kafka 和 Zookeeper
- 启动 Zookeeper：
xcall.sh zkServer.sh start # 或者使用脚本zk.sh start - 启动 Kafka：
# 依次在 bigdata01、bigdata02、bigdata03 节点上启动 Kafka，先进入到kafka3 这个文件夹中bin/kafka-server-start.sh -daemon config/server.properties# 关闭指令 bin/kafka-server-stop.sh
使用 jps 命令查看进程，确保 Zookeeper 和 Kafka 都已成功启动。
四、测试 Kafka
1. 创建 Topic
bin/kafka-topics.sh --bootstrap-server bigdata01:9092 --create --partitions 1 --replication-factor 3 --topic first
2. 生产消息
bin/kafka-console-producer.sh --bootstrap-server bigdata01:9092 --topic first
输入消息内容，然后回车发送。
3. 消费消息
打开另一个终端，输入以下命令接收消息：
bin/kafka-console-consumer.sh --bootstrap-server bigdata01:9092 --topic first 五、总结
至此，我们成功在 Linux 系统上安装并配置了 Kafka，并进行了简单的消息收发测试。
