kafka集群

cd /opt/software 

把kafka压缩包拉进来  并解压到/usr下

 tar -xzvf /opt/software/kafka_2.12-2.7.0.tgz -C /usr/

改名

 mv /usr/kafka_2.12-2.7.0/  /usr/kafka

配置环境变量

 vim /etc/profile大写G定位到最后一行  在 o  在下一行添加kefka环境变量export  JAVA_HOME=/usr/java/jdk1.8.0_151export  KAFKA_HOME=/usr/kafkaexport  PATH=$PATH:$JAVA_HOME/bin:$KAFKA_HOME/bin                

 让其生效

source /etc/profile

建一个logs目录,下面配置日志放在这里

cd /usr/kafka  && mkdir logs

修改kafka/config/server.properties

vim /usr/kafka/config/server.properties#每一台机子的唯一识别
broker.id=0
#topic删除策略 把消息放在kafka要先建topic,把消息放在topic,如果没有这句话就是假删除(一旦公司收集到你的信息,就不会轻易删掉,java代码中会设置个字段让你查不到,他的数据库还会有你的信息,有了这句话就是真删除)
delete.topic.enable=true
#这里去公司了让你做优化可能会用到这里,最多用三个线程处理请求,只要搞不死服务器,线程越大越好
num.network.threads=3
#向磁盘上读写数据 八个磁盘io处理数据
num.io.threads=8
#kafka接受消息,存消息一类一类存用topic,消息凑够一批(一个一个存太慢)放在topic,凑够这一批的地方叫缓存区buffer,放在缓存里面,达到设置的发送缓存标准,就发送给类topic
#发送的缓存区  够了就发送
socket.send.buffer.bytes=102400
#接收的缓存区    够了就接收
socket.receive.buffer.bytes=102400
#请求的缓冲区最大值,超过这个会报OOM异常
socket.request.max.bytes=104857600
#存日志的地方,上面建了个logs目录
log.dirs=/usr/kafka/logs
#把类topic分区
num.partitions=1
#恢复和清理data下数据的线程数量
num.recovery.threads.per.data.dir=1
offsets.topic.replication.factor=1
transaction.state.log.replication.factor=1
transaction.state.log.min.isr=1
#消息保存一周,就删除
log.retention.hours=168
#大于3G就删,独立于log.retention.hours的功能
#log.retention.bytes=3*1073741824
#超过1G就创建新的 不用上面的(3*1073741824)无限大
log.segment.bytes=1073741824
log.retention.check.interval.ms=300000
#配置连接Zookeeper集群地址
zookeeper.connect=zookeeper-1:2181,zookeeper-2:2181,zookeeper-3:2181
#连zk连了十八秒还连不上就不连了
zookeeper.connection.timeout.ms=18000
group.initial.rebalance.delay.ms=0#保存退出
:wq

配置连接Zookeeper集群地址

vim  /etc/hosts192.168.58.91 kafka1
192.168.58.92 kafka2
192.168.58.93 kafka3
192.168.58.81 zookeeper-1
192.168.58.82 zookeeper-2
192.168.58.83 zookeeper-3#保存退出
:wq

修改生产者配置 

vim /usr/kafka/config/producer.propertiesbootstrap.servers=kafka1:9092,kafka2:9092,kafka3:9092
#消息太多压缩,这里是none指定了不对数据进行任何压缩,可选其他压缩方式(gzip, snappy, lz4, zstd)
compression.type=none#保存退出
:wq

修改消费者配置 

vim /usr/kafka/config/consumer.propertieskafka1:9092,kafka2:9092,kafka3:9092
#组名称,一个组的消费者组名一样
group.id=test-consumer-group:wq

kafka1配好了,准备把配好的发射给kafka2,kafka3  ,但是有的还得改

生成 SSH 密钥对

#这里为了方便不设盐值,直接回车到底
ssh-keygen

将 SSH 公钥复制到远程服务器

ssh-copy-id kafka1yes
123456ssh-copy-id kafka2yes
123456ssh-copy-id kafka3yes
123456

发射   因为是目录里面有东西 所以要   -r  递归发射

scp -r /usr/kafka/  kafka2:/usr/scp -r /usr/kafka/  kafka3:/usr/

再次发射

scp  /etc/profile/  kafka2:/etc/scp  /etc/profile/  kafka3:/etc/在all Sessions 里面  ,查看是否添加成功
tail -5 /etc/profile在all Sessions 里面  让环境变量生效
source /etc/profile

再再发射  

scp  /etc/hosts  kafka2:/etc
scp  /etc/hosts  kafka3:/etc

kafka2,kafka3

vim /usr/kafka/config/server.properties进去后把broker.id=0改改,三台机子不能一样kafka1  :  broker.id=0kafka2  :  broker.id=1kafka3  :  broker.id=2   随便改只要不一样,是正数就行

在zookeeper-1 ,zookeeper-2 ,zookeeper-3   vim /etc/hosts 里面添加

192.168.58.91 kafka1
192.168.58.92 kafka2
192.168.58.93 kafka3

 启动kafka之前一定要保证zk在启动,并且可用

启动zk

./shell/zk_start_stop.sh#连接
zkCli.sh 

启动kafka   在kafka1,kafka2,kafka3 运行下面两个命令

#启动kafka
kafka-server-start.sh -daemon /usr/kafka/config/server.properties#查看是否运行
jps

查看当前服务器中topic主题    发现没有

kafka-topics.sh  --zookeeper zookeeper-1:2181,zookeeper-2:2181,zookeeper-3:2181 --list

创建topic: list

#--zookeeper zookeeper-1:2181指定了ZooKeeper服务器的地址和端口
#--create创建一个新的主题
#--replication-factor 3设置了主题的副本因子,Kafka集群中至少需要有3个可用的broker(Kafka代理),不能大于zookeeper机子数量
#--partitions 5 主题的分区数量
#--topic tp1    主题的名称
kafka-topics.sh  --zookeeper zookeeper-1:2181 --create --replication-factor 3 --partitions 5 --topic tp1在查topic主题kafka-topics.sh  --zookeeper zookeeper-1:2181,zookeeper-2:2181,zookeeper-3:2181 --list

在kafka1上   模拟消费者

kafka-console-consumer.sh  --bootstrap-server kafka1:9092 --from-beginning --topic tp1

在kafka2上   模拟生产者

kafka-console-producer.sh --broker-list kafka2:9092 --topic tp1

生产完后,kafka1上   消费者那里就会有

--------------------------------------------

删除topic:

kafka-topics.sh --zookeeper cluster1:2181 --delete --topic tp1

----------------------------------------------------------------------------------------------------------------

如果你有错误,可以去看日志文件

cat  /usr/kafka/logs/kafkaServer.out

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/412455.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

店招起名“大润發”,侵犯“大润发”商标权赔偿8000元!

近日某干果店招为“大润發水果干果批发”的店铺,因侵犯“大润发”注册商标专用权,赔偿原告所属主体共计人民币8000元,有些人起店招名称喜欢傍大牌,这样很容易侵犯商标权。 有些聪明的人会想,大牌商标是繁体&#xff0c…

ssrf实现

一、SSRF (Server-side Request Forge, 服务端请求伪造) 1、概念: 它是一种由攻击者构造形成由服务端发起请求的一个安全漏洞。一般情况下,SSRF攻击的目标是从外网无法访问的内部系统。正是因为它是由服务端发起的,所…

【GPT】Coze使用开放平台接口-【4】创建机器人

在前面三篇,我们分别创建了插件,插件里面添加了多个工具。接着,我们把插件添加到工作流内,成为一个开放平台API的调用节点,从而创建出一条业务流。分别是,语音伪造检测工作流,以及通话语音内容分…

【JVM】亿级流量调优(二)

亿级流量调优 指针压缩 -XX:-UseCompressedOops指针压缩技术只有64位机器才有。jdk6以后引入的技术,默认是开启的 关闭指针压缩的情况下 通过HSDB用Memory Viewer查看该对象在内存中的分配地址发现类型指针占8字节,0x3其实是数组的长度,前…

全面解析:动态住宅代理的关键优势

在大数据时代的背景下,代理IP成为了很多企业顺利开展的重要工具。代理IP地址可以分为住宅代理IP地址和数据中心代理IP地址。选择住宅代理IP的好处是可以实现真正的高匿名性,而使用数据中心代理IP可能会暴露自己使用代理的情况。 住宅代理IP是指互联网服务…

代码随想录第十天——LeetCode 150. 逆波兰表达式求值、239. 滑动窗口最大值、347.前 K 个高频元素

150. 逆波兰表达式求值 力扣题目链接(opens new window) 根据 逆波兰表示法,求表达式的值。 有效的运算符包括 , - , * , / 。每个运算对象可以是整数,也可以是另一个逆波兰表达式。 说明: 整数除法只保留整数部分。 给定逆波兰表达式总是…

夜深了,赶紧根据软件系统建模建设一个房屋租赁服务系统,坐上收租大佬宝座,走上人生巅峰

目录 案例 【题目】 【问题 1】(12 分) 【问题 2】(5 分) 【问题 3】(8 分) 【答案】 【问题 1】答案 【问题 2】答案 【问题 3】答案 相关推荐 案例 阅读以下关于软件系统建模的叙述,在答题纸上回答问题 1 至问题 3。 【题目】 某公司欲建设一个房屋租赁服务…

如何在你vs code和ide编译器使用AI

vs code举例。先看效果图 2个步骤轻松拥有 1、注册豆包AI账号:点击注册 2、在vs code中安装: 第一种方法:快速安装 第二种方法:手动安装, 第1步:安装 Visual Studio Code 后,左侧导航栏上点击扩展。 第2步…

【C/C++】C语言中的内存分布

在C语言中,内存分布主要可以分为以下几个区域: 栈(Stack):由编译器自动分配和释放,存放函数的参数值、局部变量的值等。 堆(Heap):一般由程序员分配和释放,若…

SpringBoot异常处理原理分析

springboot默认机制 错误处理的自动配置都在ErrorMvcAutoConfiguration中,两大核心机制: SpringBoot 会自适应处理错误,响应页面或JSON数据 SpringMVC的错误处理机制依然保留,MVC处理不了,才会交给boot进行处理 发生…

K 个一组翻转链表

题目 给你一个链表,每 k 个节点一组进行翻转,请你返回翻转后的链表。 k 是一个正整数,它的值小于或等于链表的长度。 如果节点总数不是 k 的整数倍,那么请将最后剩余的节点保持原有顺序。 进阶: 你可以设计一个只…

2024年【A特种设备相关管理(A4电梯)】考试报名及A特种设备相关管理(A4电梯)考试资料

题库来源:安全生产模拟考试一点通公众号小程序 A特种设备相关管理(A4电梯)考试报名是安全生产模拟考试一点通总题库中生成的一套A特种设备相关管理(A4电梯)考试资料,安全生产模拟考试一点通上A特种设备相关…

AI模型:追求全能还是专精?

近日,OpenAI预计在秋季推出代号为“草莓”的新AI。从专注于数学问题到处理主观营销策略,"草莓"模型展现出惊人的多样性。而这种全能型 AI 是否代表了未来趋势?相比专攻于某一领域的专业型AI产品,全能型AI产品是否一定具…

全免费的数据恢复工具推荐!这几个不容错过!

不小心的数据丢失总会带来许多困扰,不过这些困扰也能通过一些全免费的数据恢复工具解决。接下来,就来给大家介绍几款好用的数据恢复工具! 第一款:福昕数据恢复 直达链接:www.pdf365.cn/foxit-restore/ 福昕数据恢复…

苹果秋季发布会前瞻:iPhone 16领衔新品盛宴

苹果定档9月9日,揭开新品神秘面纱 苹果公司近日正式宣布,将于9月9日在加州库比蒂诺的Apple Park,史蒂夫乔布斯剧院举办年度秋季新品发布会,主题为“It’s Glowtime”,预示着Siri界面将迎来一场华丽变身。此次发布会较原…

一分钟学会万用表

目录: 1、电池的安装 1)指针万用表 2)数字万用表 3)高精度表 2、表笔的分类 3、表笔安装 5、常用测量方法 1)二极管测量 2)电阻与通断测量 3)电压测量 4)电流测量 …

[C++]AVL树插入和删除操作的实现

AVL树又称为高度平衡的二叉搜索树,是1962年由两位俄罗斯数学家G.M.Adel’son-Vel’skii和E.M.Landis提出的。ALV树提高了二叉搜索树树的搜索效率。为此,就必须每向二叉搜索树插人一个新结点时调整树的结构,使得二叉搜索树保持平衡,从而尽可能降低树的高度,减少树的平均搜索长度…

数分基础(03-3)客户特征分析-Tableau

文章目录 客户特征分析 - Tableau1. 说明2. 思路与步骤3. 数据准备和导入3.1 用EXCEL初步检查和处理数据3.1.1 打开3.1.2 初步检查(1)缺失值(2)格式化日期字段(3)其他字段数据类型(4&#xff09…

桥梁在线监测解决方案:科技赋能,守护桥梁安全

在现代社会,桥梁作为连接城市与乡村、跨越河流与峡谷的重要交通设施,其安全性和稳定性直接关系到人民生命财产的安全以及经济社会的正常运转。然而,桥梁在长期使用过程中,会受到自然环境、车辆荷载、材料老化等多种因素的影响&…

8.26-docker创建容器+打包镜像+docker文件的学习

一、回顾 创建容器:docker run -it --name a1 centos:latest /bin/bash 查看容器:docker ps(查看正在up的容器) docker ps -a(查看所有的容器) 切回宿主机:ctrl p q 启动容器:docke…