1.zk集群优化
修改zookeeper的堆内存大小,一般情况下,生产环境给到2G足以,如果规模较大可以适当调大到4G。
(1)配置ZK的堆内存
vim /app/softwares/zk/conf/java.env
export JAVA_HOME=/sortwares/jdk1.8.0_291
export JVMFLAGS="-Xms256m -Xmx256m $JVMFLAGS"
EOF
(2)同步文件到其他节点
data_rsync.sh /app/softwares/zk/conf/java.env
(3)重启集群
zkManager.sh restart
(4)验证堆内存
jmap -heap `jps | awk '/QuorumPeerMain/{print $1}'`
可以看到:MaxHeapSize = 268435456 (256.0MB),表明此时堆内存已经修改成功
2.部署kafka集群
1.停止kafka单点服务
kafka-server-stop.sh
2.修改配置文件
vim /app/softwares/kafka/config/server.properties
# 唯一标识kafka节点的数字编号,随便写,同一个集群中节点的id编号不重复即可。
broker.id=101
# 指定kafka的数据存储路径。
log.dirs=/app/data/kafka
# kafka连接zookeeper集群地址
zookeeper.connect=10.0.0.101:2181,10.0.0.102:2181,10.0.0.103:2181/kafka321
3.同步相关文件
data_rsync.sh /app/softwares/kafka
data_rsync.sh /app/softwares/kafka_2.13-3.2.1/
data_rsync.sh /etc/profile.d/kafka.sh
4.其他2个节点修改配置文件
vim /app/softwares/kafka/config/server.properties
broker.id=102(每个节点,唯一标识kafka节点的数字编号,集群内部不重复即可)
5.所有节点启动kafka环境
source /etc/profile.d/kafka.sh
kafka-server-start.sh -daemon $KAFKA_HOME/config/server.properties
6.查看zookeeper的源数据
zkCli.sh -server 10.0.0.101:2181,10.0.0.102:2181,10.0.0.103:2181
ls /kafka321/brokers/ids