一些Kafka面试题

Kafka是如何保证消息不丢失?

1.生产者发送消息到Broker丢失:

设置异步发送:发送失败则使用回调进行记录或者重发

消息重试:参数配置,可以设置重试次数

2.消息在broker中存储丢失

发送确认机制acks

acks=0,生产者在成功写入消息之前不会等待任何来自服务器的响应,消息有丢失的风险,但速度最快

acks=1,只要集群首领节点收到消息,生产者就会收到一个来自服务器的成功响应

acks=all,只有当所有参与赋值的节点全部收到消息时,生产者才会收到一个来自服务器的成功响应

3.消息从Broker接受消息丢失

消费者默认自动按期提交已经消费的偏移量,默认5s提交一次

如果出现重平衡的情况,可能会重复消费或者丢失数据

 关闭自动提交偏移量,开启手动提交偏移量,提交方式最好是同步+异步提交

Kafka如何保证消费的顺序性?

默认情况下,一个topic的数据可能存储在不同的分区中,每个分区都有一个按照顺序的存储的偏移量,如果消费者关联了多个分区不能保证顺序性

解决方案:1.发送消息时指定分区号

2.发送消息时按照相同的业务设置相同的key,最终计算的时候也能找到同样的分区进行存储

Kafka的高可用机制

集群模式

一个kafka集群由多个broker实例组成,即使一个broker宕机,也不耽误其他broker继续对外提供服务

分区备份机制

一个topic有多个分区,每个分区有多个副本,有一个leader,其余的是follower,副本存储在不同的broker中;所有的分区副本的内容都是相同的,如果leader发生故障时,会自动将其中一个follower提升为leader,保证高可用性

Kafka集群的工作原理

  1. 消息生产

    • 生产者将消息发送到Broker,Broker将消息存储到主题的分区。
    • 生产者可以选择将消息发送到特定的分区,或者让Kafka根据键值自动分配分区。
  2. 消息存储

    • Broker将消息存储在磁盘上,并维护消息的索引和偏移量。
    • Kafka保证消息的持久化,直到消费者已经确认消费。
  3. 消息消费

    • 消费者从Broker读取消息,并根据偏移量跟踪他们已经读取的消息。
    • 消费者组内的消费者协调处理分区中的消息,确保每个消息只被处理一次。
  4. 消息复制

    • 为了提高可靠性,Kafka支持消息的复制。每个分区可以有多个副本,副本之间通过ZooKeeper协调。
    • 主副本负责处理生产者和消费者的消息请求,其他副本用于故障转移。

Kafka的数据清理机制

Kafka的文件存储机制:

1.Kafka中topic的数据存储在分区上,分区如果文件过大就会分段存储segment

2.每个分段在磁盘上以索引和日志文件的形式存储

3.分段的好处是,第一能够减少单个文件内容的大小,查找数据方便,第二方便kafka进行日志清理

数据清理机制:

1.根据消息的保留时间,当消息在Kafka中保存的时间超过了指定的时间,就会触发清理过程

2.根据topic存储的数据大小,当topic所占的日志文件大小大于一定的阈值,则开始删除最久的消息

 

Kafka中高性能的设计

四次拷贝:

零拷贝(两次):

消息分区:不受单台服务器的限制,可以不受限的处理更多的数据

顺序读写:磁盘顺序读写,提升读写效率

页缓存:把磁盘中的数据缓存到内存中,把对磁盘的访问变成对内存的访问

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/388244.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

谷粒商城实战笔记-MySQL踩坑记录

文章目录 1, Public Key Retrieval is not allowed问题描述解决办法 2,1044 -Access denied for user root% to database解决方案 1, Public Key Retrieval is not allowed 问题描述 打开DBeaver连接MySQL提示“Public Key Retrieval is no…

4款免费且安全:常用的PDF转Word在线转换工具推荐

现在办公越来越离不开电脑了,PDF文件和Word文档来回转换的需求也越来越大。作为一个天天跟文件打交道的上班族,我特别明白找个好用、靠谱的PDF转Word在线转换工具有多重要。今儿个,给大家说说五个免费的转换工具,都是我试过觉得挺…

多微信管理不再难:聚合聊天神器助你轻松应对!

在当今社交媒体高度发达的时代,很多人都在使用多个微信账号来管理个人与工作联系。面对如此众多的信息沟通,如何高效管理成了一个难题。 幸运的是,聚合聊天神器的出现,彻底改变了这一局面,让我们轻松应对多微信账号的…

接口测试框架中测试用例管理模块的优化与思考!

引言 在当今软件开发的快速迭代环境中,接口自动化测试不仅是确保软件质量的基石,更是推动持续集成(CI)和持续交付(CD)的核心环节。测试用例管理作为自动化测试中的重要模块,直接影响着测试的效…

【Python】面向对象的程序设计

一、面向对象的介绍 1.对象 对象是一种抽象概念,表示客观世界存在的实物,现实世界中能够看到的、触碰到的都可以成为对象,如:人、大象、小猫等。 对象通常分为两个部分,即静态部分和动态部分。静态部分为“属性”&a…

从教学到分享,2024精选录屏工具

如果你在公司里承担会议记录的职责,那录屏这项技能你一定要学会。像录屏大师这样的工具可以帮你在远程会议中进行录屏操作,方便你后期整理会议内容。 1.福昕录屏大师 链接直达:https://www.foxitsoftware.cn/REC/ 这款录屏工具提供了多种…

【Python】pandas:排序、重复值、缺省值处理、合并、分组

pandas是Python的扩展库(第三方库),为Python编程语言提供 高性能、易于使用的数据结构和数据分析工具。 pandas官方文档:User Guide — pandas 2.2.2 documentation (pydata.org) 帮助:可使用help(...)查看函数说明文…

MyBatis入门如何使用操作数据库及常见错误(yml配置)

一,什么是MyBatis 是一款优秀的持久层框架,用于简化jdbc的开发 持久层:指的就是持久化操作的层,通常也就是数据访问层(dao),也就是用来操作数据库。 也就是MyBatis是让你更加简单完成程序与数…

详细记录swfit微调interVL2-8B多模态大模型进行目标检测(附代码)

大模型相关目录 大模型,包括部署微调prompt/Agent应用开发、知识库增强、数据库增强、知识图谱增强、自然语言处理、多模态等大模型应用开发内容 从0起步,扬帆起航。 RAGOnMedicalKG:大模型结合知识图谱的RAG实现DSPy:变革式大模…

PRD: Peer Rank and Discussion Improve Large Language Model based Evaluations

文章目录 题目摘要相关工作方法实验与分析指标进一步分析结论 题目 PRD:同行排名和讨论改善基于大型语言模型的评估 论文地址:https://arxiv.org/abs/2307.02762 项目地址:https://openreview.net/forum?idYVD1QqWRaj 摘要 如今&#xff0c…

大模型深度神经网络(Deep Neural Network, DNN)

大模型深度神经网络(Deep Neural Network, DNN)是一种复杂的机器学习模型,其特点在于包含多个隐藏层,从而赋予模型强大的非线性表达能力和对复杂数据模式的学习能力。以下是对大模型DNN的详细介绍: 一、基本概念 深度…

第一阶段面试问题(前半部分)

1. 进程和线程的概念、区别以及什么时候用线程、什么时候用进程? (1)线程 线程是CPU任务调度的最小单元、是一个轻量级的进程 (2)进程 进程是操作系统资源分配的最小单元 进程是一个程序动态执行的过程,包…

MATLAB(6)水纹碰撞覆盖地形

前言 在MATLAB中模拟水纹(如水波)碰撞并覆盖地形的效果涉及到几个复杂的步骤,包括地形的生成、水波的模拟(通常使用波动方程)以及两者的交互。下面我将给出一个简化的示例,展示如何在MATLAB中创建一个基本的…

文献综述过程如何有助于综合各种来源的信息

VersaBot生成文献综述 文献综述过程在通过几个关键机制综合各种来源的信息方面发挥着至关重要的作用; 1. 批判性评估和比较: 你不能简单地单独总结每个来源;你积极地比较和对比他们的发现、方法和理论观点。这可以帮助您识别每个来源的共性…

安卓项目结构与日志工具

文章目录 安卓的项目结构app目录下的结构安卓的日志工具 安卓的项目结构 首先需要切换称Project模式。 .gradle和.idea :这两个目录下放置的都是Android Studio自动生成的一些文件,我们无须关心,也不用编辑。 app :项目中的代码、…

齿轮表面缺陷检测方案

齿轮是一种机械传动元件,通常由具有齿条的圆盘或圆柱体组成,用于传递动力和运动。齿轮通过齿与齿之间的啮合,将动力从一个轴传递到另一个轴,实现速度和扭矩的传递。齿轮通常用于机械设备、车辆传动系统和各种工业机械中。 齿轮通…

【网络世界】传输层协议

🌈前言🌈 欢迎收看本期【网络世界】,本期内容讲解TCP/IP协议栈中的传输层协议,即UDP协议和TCP协议。包含了他们的协议格式,特点等。介绍他们的应用场景,最后对比TCP与UDP协议。此外,还将介绍套接…

电商 API 接口的最佳实践与案例分析

在当今数字化的商业世界中,电商平台的发展日新月异,而 API 接口在其中扮演着至关重要的角色。通过合理地利用电商 API 接口,企业能够实现更高效的运营、更优质的用户体验以及更强大的业务拓展能力。本文将深入探讨电商 API 接口的最佳实践&am…

换根dp学习总结3

我也不想搞这么多,但是这东西真的太难了,因为我还是个蒟蒻。算了蒟蒻继续写这次的总结了 寻找全图最远路径问题——Computer ——题目来源于hdu2196 题意:题目就是说会输入多组数据,每组数据给你一个n,表示结点的总数…

SEO优化之a标签rel属性的使用

💝💝💝欢迎莅临我的博客,很高兴能够在这里和您见面!希望您在这里可以感受到一份轻松愉快的氛围,不仅可以获得有趣的内容和知识,也可以畅所欲言、分享您的想法和见解。 推荐:「storm…