Kafka集群与可靠性

Kafka集群与可靠性

1.Kafka集群搭建实战

使用两台Linux服务器：一台192.168.182.137 一台192.168.182.138

安装kafka首先，我们需要配置java环境变量（这里就略过了）

mkdir /opt/kafka
#上传压缩包kafka_2.13-3.3.1.tgz并解压
tar -zxvf kafka_2.13-3.3.1.tgz
#进入目录
cd /opt/kafka/kafka_2.13-3.3.1
# 修改config目录下的server.properties配置文件

修改config目录下的server.properties配置文件

  1. 修改broker.id，确保每个集群的节点broker的id都是不一样的

    broker.id=0

image-20240116155502101

  1. 修改监听的端口和ip

    # 192.168.182.137是我虚拟机的ip, 9092是kafka默认的端口
listeners = PLAINTEXT://192.168.182.137:

    image-20240116155646799

  2. 修改zookeeper的ip

    zookeeper.connect=192.168.182.137:2181

image-20240116155828472

  1. 编写脚本启动kafka和zk

    start_ZK.sh

    #!/bin/bash
./zookeeper-server-start.sh ../config/zookeeper.properties

    stop_Kafka.sh

    #!/bin/bash
./kafka-server-stop.sh ../config/server.properties

    start_Kafka.sh

    #!/bin/bash
./kafka-server-start.sh ../config/server.properties

​

启动zk

# 将启动日志打印到zk.log文件中，后台启动
nohup ./start_ZK.sh -> zk.log &

启动kafka

nohup ./start_Kafka.sh &

查看启动日志

tail -f nohup.out

image-20240116160554154

ps:其他节点的配置类似，要确保每个集群的节点broker的id都是不一样的，这里138我使用的是137的zookeeper（确保多个broker注册到同一个zookeeper）

2.Kafka集群规模如何预估

吞吐量：

集群可以提高处理请求的能力。单个Broker的性能不足，可以通过扩展broker来解决。

磁盘空间：

比如，如果一个集群有10TB的数据需要保留，而每个broker可以存储2TB，那么至少需要5个broker。如果启用了数据复制，则还需要一倍的空间，那么这个集群需要10个broker。

3.Kafka集群原理

成员关系与控制器

控制器其实就是一个broker, 只不过它除了具有一般 broker的功能之外, 还负责分区首领的选举。

当控制器发现一个broker加入集群时, 它会使用 broker ID来检査新加入的 broker是否包含现有分区的副本。 如果有, 控制器就把变更通知发送给新加入的 broker和其他 broker, 新 broker上的副本开始从首领那里复制消息。

简而言之, Kafka使用 Zookeeper的临时节点来选举控制器,并在节点加入集群或退出集群时通知控制器。 控制器负责在节点加入或离开集群时进行分区首领选举。

从下面的两台启动日志中看出，192.168.140.103 这台服务器是控制器。

image-20240116221553427

集群工作机制

复制功能是 Kafka 架构的核心。在 Kafka 的文档里, Kafka 把自己描述成“一个分布式的、可分区的、可复制的提交日志服务”。

复制之所以这么关键, 是因为它可以在个别节点失效时仍能保证 Kafka 的可用性和持久性。
Kafka 使用主题来组织数据, 每个主题被分为若干个分区,每个分区有多个副本。那些副本被保存在 broker 上, 每个 broker 可以保存成百上千个属于 不同主题和分区的副本。

replication-factor参数

比如我们创建一个llp的主题，复制因子是2，分区数是2

./kafka-topics.sh --bootstrap-server 192.168.140.103:9092  --create --topic llp --replication-factor 2 --partitions 2

replication-factor用来设置主题的副本数。每个主题可以有多个副本，副本位于集群中不同的 broker 上，也就是说副本的数量不能超过 broker 的数量。

./kafka-topics.sh --bootstrap-server 192.168.140.103:9092 --describe

image-20240116223301961

从这里可以看出，llp分区有两个分区，partition0和partition1 ，其中

在partition0 中，broker1（broker.id =0）是Leader，broker2（broker.id =1）是跟随副本。

在partition1 中，broker2（broker.id =1）是Leader，broker1（broker.id =0）是跟随副本。

image-20240116222641119

image.png

首领副本

每个分区都有一个首领副本。为了保证一致性，所有生产者请求和消费者请求都会经过这个副本 。

跟随者副本

首领以外的副本都是跟随者副本。跟随者副本不处理来自客户端的请求,它们唯一一的任务就是从首领那里复制消息, 保持与首领一致的状态 。 如果首领发生崩溃, 其中的一个跟随者会被提升为新首领 。

auto.leader.rebalance.enable参数

是否允许定期进行 Leader 选举。

设置它的值为true表示允许Kafka定期地对一些Topic 分区进行Leader重选举，当然这个重选举不是无脑进行的，它要满足一定的条件才会发生。

比如Leader A一直表现得很好，但若auto.leader.rebalance.enable=true，那么有可能一段时间后Leader A就要被强行卸任换成Leader B。
换一次Leader 代价很高，原本向A发送请求的所有客户端都要切换成向B发送请求，而且这种换Leader本质上没有任何性能收益，因此建议在生产环境中把这个参数设置成false。

集群消息生产

复制系数、不完全的首领选举、最少同步副本

可靠系统里的生产者

发送确认机制

3 种不同的确认模式。

acks=0 意味着如果生产者能够通过网络把消息发送出去，那么就认为消息已成功写入Kafka 。

acks=1 意味若首领在收到消息并把它写入到分区数据文件（不一定同步到磁盘上）时会返回确认或错误响应。

acks=all 意味着首领在返回确认或错误响应之前，会等待（min.insync.replicas）同步副本都收到悄息。

ISR

image.png

Kafka的数据复制是以Partition为单位的。而多个备份间的数据复制，通过Follower向Leader拉取数据完成。从一这点来讲，有点像Master-Slave方案。不同的是，Kafka既不是完全的同步复制，也不是完全的异步复制，而是基于ISR的动态复制方案。

ISR，也即In-Sync Replica。每个Partition的Leader都会维护这样一个列表，该列表中，包含了所有与之同步的Replica（包含Leader自己）。每次数据写入时，只有ISR中的所有Replica都复制完，Leader才会将其置为Commit，它才能被Consumer所消费。

这种方案，与同步复制非常接近。但不同的是，这个ISR是由Leader动态维护的。如果Follower不能紧“跟上”Leader，它将被Leader从ISR中移除，待它又重新“跟上”Leader后，会被Leader再次加加ISR中。每次改变ISR后，Leader都会将最新的ISR持久化到Zookeeper中。

至于如何判断某个Follower是否“跟上”Leader，不同版本的Kafka的策略稍微有些区别。

从0.9.0.0版本开始，replica.lag.max.messages被移除，故Leader不再考虑Follower落后的消息条数。另外，Leader不仅会判断Follower是否在replica.lag.time.max.ms时间内向其发送Fetch请求，同时还会考虑Follower是否在该时间内与之保持同步。

示例

image.png

在第一步中，Leader A总共收到3条消息，但由于ISR中的Follower只同步了第1条消息（m1），故只有m1被Commit，也即只有m1可被Consumer消费。此时Follower B与Leader A的差距是1，而Follower C与Leader A的差距是2，虽然有消息的差距，但是满足同步副本的要求保留在ISR中。

在第二步中，由于旧的Leader A宕机，新的Leader B在replica.lag.time.max.ms时间内未收到来自A的Fetch请求，故将A从ISR中移除，此时ISR={B，C}。同时，由于此时新的Leader B中只有2条消息，并未包含m3（m3从未被任何Leader所Commit），所以m3无法被Consumer消费。

使用ISR方案的原因

由于Leader可移除不能及时与之同步的Follower，故与同步复制相比可避免最慢的Follower拖慢整体速度，也即ISR提高了系统可用性。

ISR中的所有Follower都包含了所有Commit过的消息，而只有Commit过的消息才会被Consumer消费，故从Consumer的角度而言，ISR中的所有Replica都始终处于同步状态，从而与异步复制方案相比提高了数据一致性。

ISR相关配置说明

Broker的min.insync.replicas参数指定了Broker所要求的ISR最小长度，默认值为1。也即极限情况下ISR可以只包含Leader。但此时如果Leader宕机，则该Partition不可用，可用性得不到保证。

只有被ISR中所有Replica同步的消息才被Commit，但Producer发布数据时，Leader并不需要ISR中的所有Replica同步该数据才确认收到数据。Producer可以通过acks参数指定最少需要多少个Replica确认收到该消息才视为该消息发送成功。acks的默认值是1，即Leader收到该消息后立即告诉Producer收到该消息，此时如果在ISR中的消息复制完该消息前Leader宕机，那该条消息会丢失。而如果将该值设置为0，则Producer发送完数据后，立即认为该数据发送成功，不作任何等待，而实际上该数据可能发送失败，并且Producer的Retry机制将不生效。

更推荐的做法是，将acks设置为all或者-1，此时只有ISR中的所有Replica都收到该数据（也即该消息被Commit），Leader才会告诉Producer该消息发送成功，从而保证不会有未知的数据丢失。

总结

设置acks=all，且副本数为3
极端情况1：
默认min.insync.replicas=1，极端情况下如果ISR中只有leader一个副本时满足min.insync.replicas=1这个条件，此时producer发送的数据只要leader同步成功就会返回响应，如果此时leader所在的broker crash了，就必定会丢失数据！这种情况不就和acks=1一样了！所以我们需要适当的加大min.insync.replicas的值。

极端情况2：
min.insync.replicas=3（等于副本数），这种情况下要一直保证ISR中有所有的副本，且producer发送数据要保证所有副本写入成功才能接收到响应！一旦有任何一个broker crash了，ISR里面最大就是2了，不满足min.insync.replicas=3，就不可能发送数据成功了！

根据这两个极端的情况可以看出min.insync.replicas的取值，是kafka系统可用性和数据可靠性的平衡！

减小 min.insync.replicas 的值，一定程度上增大了系统的可用性，允许kafka出现更多的副本broker crash并且服务正常运行；但是降低了数据可靠性，可能会丢数据（极端情况1）。
增大 min.insync.replicas 的值，一定程度上增大了数据的可靠性，允许一些broker crash掉，且不会丢失数据（只要再次选举的leader是从ISR中选举的就行）；但是降低了系统的可用性，会允许更少的broker crash（极端情况2）。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.rhkb.cn/news/241818.html

如若内容造成侵权/违法违规/事实不符，请联系长河编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

006.Oracle事务处理

006.Oracle事务处理

我 的 个 人 主 页：👉👉 失心疯的个人主页 👈👈 入 门 教 程 推 荐 ：👉👉 Python零基础入门教程合集 👈👈 虚 拟 环 境 搭 建 ：👉&…
阅读更多...
STM32407用汇顶的GT911触摸芯片调试实盘

STM32407用汇顶的GT911触摸芯片调试实盘

这个配置很关键 代码 #include "stm32f4xx.h" #include "GT9147.h" #include "Touch.h" #include "C_Touch_I2C.h" #include "usart.h" #include "delay.h" #include "LCD.h" #incl…
阅读更多...
旅游项目day03

旅游项目day03

1. 前端整合后端发短信接口 2. 注册功能 后端提供注册接口，接受前端传入的参数，创建新的用户对象，保存到数据库。 接口设计： 实现步骤： 手机号码唯一性校验（后端一定要再次校验手机号唯一性&#xff09…
阅读更多...
贯通用友T+与企企，引领企业数字化转型新篇章！

贯通用友T+与企企，引领企业数字化转型新篇章！

客户介绍： 某科技有限公司是一家专注于高端芯片研发和制造的高科技企业。自成立以来，该企业始终坚持以科技创新为核心，致力于为全球客户提供高性能、高品质的芯片解决方案。公司拥有一支由业内资深专家和优秀工程师组成的研发团队&#xff0…
阅读更多...
FairGuard游戏安全2023年度报告

FairGuard游戏安全2023年度报告

导 读：2023年，游戏行业摆脱了疫情带来诸多负面影响，国内游戏市场收入与用户规模双双实现突破，迎来了历史新高点。但游戏黑灰产规模也在迅速扩大，不少游戏饱受其侵扰，游戏厂商愈发重视游戏安全问题。 为帮助…
阅读更多...
Pytorch从零开始实战17

Pytorch从零开始实战17

Pytorch从零开始实战——生成对抗网络入门 本系列来源于365天深度学习训练营 原作者K同学 文章目录 Pytorch从零开始实战——生成对抗网络入门环境准备模型定义开始训练总结 环境准备 本文基于Jupyter notebook，使用Python3.8，Pytorch1.8cpu&#xf…
阅读更多...
什么是DDOS高防ip？DDOS高防ip是怎么防护攻击的

什么是DDOS高防ip？DDOS高防ip是怎么防护攻击的

随着互联网的快速发展，网络安全问题日益突出，DDoS攻击和CC攻击等网络威胁对企业和网站的正常运营造成了巨大的威胁。为了解决这些问题，高防IP作为一种网络安全服务应运而生。高防IP通过实时监测和分析流量，识别和拦截恶意流量&…
阅读更多...
AI时代—ChatGPT-4.5的正确打开方式

AI时代—ChatGPT-4.5的正确打开方式

前言 前些天发现了一个巨牛的人工智能学习网站，通俗易懂，风趣幽默，忍不住分享一下给大家：https://www.captainbed.cn/z ChatGPT体验地址 文章目录 前言4.5key价格泄漏ChatGPT4.0使用地址ChatGPT正确打开方式最新功能语音助手存档…
阅读更多...
航空飞行器运维VR模拟互动教学更直观有趣

航空飞行器运维VR模拟互动教学更直观有趣

传统的二手车鉴定评估培训模式存在实践性不强、教学样本不足、与实际脱节等一些固有的不足。有了VR虚拟仿真技术的加持，二手车鉴定评估VR虚拟仿真实训系统逐渐进入实训领域，为院校及企业二手车检测培训提供了全新的解决方案。 高职院校汽车专业虚拟仿真实…
阅读更多...
Excel 根据日期按月汇总公式

Excel 根据日期按月汇总公式

Excel 根据日期按月汇总公式 数据透视表日期那一列右击，选择“组合”，步长选择“月” 参考 Excel 根据日期按月汇总公式Excel如何按着日期来做每月求和
阅读更多...
想要在线使用XD就这么做！简单又高效

想要在线使用XD就这么做！简单又高效

XD 文件是由 Adobe XD 这款免费轻量级原型软件制作的静态页面设计或原型交互动态文件。打开它 XD 文件的优点是可以快速设计和制作原型，并向团队或客户展示。目前，Adobe XD 基本上可以满足原型和设计草案的绘制，但与其他专业的交互原型制作软…
阅读更多...
KBP206-ASEMI小功率家用电源KBP206

KBP206-ASEMI小功率家用电源KBP206

编辑：ll KBP206-ASEMI小功率家用电源KBP206 型号：KBP206 品牌：ASEMI 正向电流（Id）：2A 反向耐压（VRRM）：600V 正向浪涌电流：60A 正向电压（V…
阅读更多...
【RT-DETR有效改进】华为 | Ghostnetv1一种专为移动端设计的特征提取网络

【RT-DETR有效改进】华为 | Ghostnetv1一种专为移动端设计的特征提取网络

前言 大家好，这里是RT-DETR有效涨点专栏。 本专栏的内容为根据ultralytics版本的RT-DETR进行改进，内容持续更新，每周更新文章数量3-10篇。 专栏以ResNet18、ResNet50为基础修改版本，同时修改内容也支持ResNet32、ResNet101和PP…
阅读更多...
matplotlib从起点出发(12)_Tutorial_12_MultiAxes

matplotlib从起点出发(12)_Tutorial_12_MultiAxes

在一个Figure中安排多个Axes 通常在一个图像中，需要同时呈现多于一个Axes，并且需要对齐到网格. Matplotlib有多种工具用于处理在本库历史中演变的Axes网格，我们将讨论我们认为用户最常使用的工具，支持Axes组织方式的工具&#xf…
阅读更多...
新能源汽车智慧充电桩方案：如何实现充电停车智慧化管理？

新能源汽车智慧充电桩方案：如何实现充电停车智慧化管理？

一、方案概述 基于新能源汽车充电桩的监管运营等需求，安徽旭帆科技携手合作伙伴触角云共同打造“智能充电设备＋云平台＋APP小程序”一体化完整的解决方案，为充电桩车位场所提供精细化管理车位的解决办法，解决燃油车恶意…
阅读更多...
GO 中如何防止 goroutine 泄露

GO 中如何防止 goroutine 泄露

文章目录 概述如何监控泄露一个简单的例子泄露情况分类chanel 引起的泄露发送不接收接收不发送nil channel真实的场景 传统同步机制MutexWaitGroup 总结参考资料 今天来简单谈谈，Go 如何防止 goroutine 泄露。 概述 Go 的并发模型与其他语言不同，虽说它…
阅读更多...
第十二篇【传奇开心果系列】Ant Design Mobile of React开发移动应用：内置组件实现酷炫CSS 动画

第十二篇【传奇开心果系列】Ant Design Mobile of React开发移动应用：内置组件实现酷炫CSS 动画

Ant Design Mobile of React 开发移动应用示例博文系列 第一篇【传奇开心果系列】Ant Design Mobile of React 开发移动应用:从helloworld开始 第二篇【传奇开心果系列】Ant Design Mobile of React 开发移动应用:天气应用 第三篇【传奇开心果系列】Ant Design Mobile of Reac…
阅读更多...
逸学Docker【java工程师基础】3.4Docker安装redis

逸学Docker【java工程师基础】3.4Docker安装redis

1.拉取redis docker pull redis 2.选择一个合适的redis 版本的配置文件 Redis configuration | Redis 或者这个 链接：https://pan.baidu.com/s/1RRdtgec4xBAgQghlhm0x1Q 提取码：ycyc 在1044行修改密码 3.提前在服务器建立 /data/redis 文件夹&…
阅读更多...
前端下载文件流，设置返回值类型responseType:‘blob‘无效的问题

前端下载文件流，设置返回值类型responseType:‘blob‘无效的问题

前言： 本是一个非常简单的请求，即是下载文件。通常的做法如下： 1.前端通过Vue Axios向后端请求，同时在请求中设置响应体为Blob格式。 2.后端相应前端的请求，同时返回Blob格式的文件给到前端（如果没有步骤…
阅读更多...
AI短视频制作：创意与技术的完美结合

AI短视频制作：创意与技术的完美结合

文章目录 一、充分了解AI技术的应用范围和优势二、创意策划，确定作品主题和风格三、素材收集，丰富作品内容四、特效制作，提升作品视觉效果五、配音处理，增强作品表现力六、作品发布，扩大作品传播范围《AI短视频制作一本…
阅读更多...
最新文章
推荐文章

Copyright @ 2022~2023

友情链接： 我的编程经验分享 一条长河网 尧图网站开发