点一下关注吧!!!非常感谢!!持续更新!!!
目前已经更新到了:
- Hadoop(已更完)
- HDFS(已更完)
- MapReduce(已更完)
- Hive(已更完)
- Flume(已更完)
- Sqoop(已更完)
- Zookeeper(已更完)
- HBase(已更完)
- Redis (已更完)
- Kafka (正在更新…)
章节内容
上节我们完成的内容:
- Kafka核心概念介绍
- Producer
- Consumer
- Topic
- Partition
- 等等
简单介绍
Kafka在3版本以下都是需要ZooKeeper来做协调器的,在3版本以上,Kafka实现了自己的协议去做高可用,但是大家也没有都切换到这个新的方案上,还是比较保守的(如果在生产环境上 )。
ZooKeeper
环境变量
# 我们要确保有ZooKeeper环境,之前已经安装过了。最好确认一下你的ZooKeeper环境是正确的。
vim /etc/profile
检查你的环境变量是否配置完毕,我这里是 3台云服务器都配置好了。
# zookeeper
export ZOOKEEPER_HOME=/opt/servers/apache-zookeeper-3.8.4-bin
export PATH=$PATH:$ZOOKEEPER_HOME/bin
配置的结果大致如下:
记得刷新环境变量
source /etc/profile
验证环境
如果你已经启动了ZooKeeper,那么进行下面的服务测试:
zkServer.sh status
如果你出现下图的样子,你的ZK是没有问题的。
可以从下图中看到,我这台是 Follower 节点。主节点好像是 h122 节点。
Kafka
下载项目
我这里选择的是 2.7 的版本,你可以到 GitHub 或者 官方下载
https://github.com/apache/kafka/releases/tag/2.7.2
https://kafka.apache.org/downloads
GitHub是源码,需要自己编译!!!
官方下载地址是编译的:
解压配置
下载好之后,上传到服务器上,或者直接在服务器上 wget 进行下载。
tar -zxvf kafka_2.12-2.7.2.tgz
按照之前的规范,我们需要进行移动处理:
mv kafka_2.12-2.7.2 ../servers
环境变量
vim /etc/profile
写入如下的环境变量内容
# kafka
export KAFKA_HOME=/opt/servers/kafka_2.12-2.7.2
export PATH=$PATH:$KAFKA_HOME/bin
记得刷新环境变量
启动配置
Kafka是需要连接ZooKeeper的,所以我们需要修改Kafka的配置。
vim /opt/servers/kafka_2.12-2.7.2/config/server.properties
ZK配置
修改 zookeeper.connet 这一行:
log配置
这里注意修改一下,同时记得把文件夹创建出来
启动服务
kafka-server-start.sh /opt/servers/kafka_2.12-2.7.2/config/server.properties