Kafka参数了解

Kafka配置参数完整说明

1. 基础配置

参数名说明推荐值参考值
broker.idbroker的唯一标识符每个节点唯一的整数1
delete.topic.enable是否允许删除topictruetrue
listenersbroker监听地址SASL_PLAINTEXT://host:9092SASL_PLAINTEXT://172.24.77.15:9092
advertised.listeners对外发布的监听地址SASL_PLAINTEXT://public_ip:9092SASL_PLAINTEXT://172.24.77.15:9092
log.dirs日志数据目录/data/kafka/data/data/kafka/data
zookeeper.connectZK连接字符串host1:2181,host2:2181,host3:2181172.24.77.10:2181,172.24.77.11:2181,172.24.77.12:2181

2. 安全配置

参数名说明推荐值参考值
security.protocol安全协议SASL_PLAINTEXTSASL_PLAINTEXT
sasl.mechanism.inter.broker.protocolbroker间通信认证机制SCRAM-SHA-256SCRAM-SHA-256
sasl.enabled.mechanisms启用的认证机制SCRAM-SHA-256,PLAINSCRAM-SHA-256,PLAIN
allow.everyone.if.no.acl.found无ACL时允许所有操作falsetrue(测试环境)
super.users超级用户列表User:adminUser:super
authorizer.class.name授权器类名kafka.security.auth.SimpleAclAuthorizerkafka.security.auth.SimpleAclAuthorizer

3. 网络配置

参数名说明推荐值参考值
num.network.threads网络线程数3-53
num.io.threadsIO线程数88
socket.send.buffer.bytes发送缓冲区大小10485760 (10MB)102400 (100KB)
socket.receive.buffer.bytes接收缓冲区大小10485760 (10MB)102400 (100KB)
socket.request.max.bytes请求最大大小104857600 (100MB)104857600 (100MB)
replica.socket.receive.buffer.bytes副本复制接收缓冲区1048576 (1MB)65536 (64KB)

4. 主题和分区配置

参数名说明推荐值参考值
num.partitions默认分区数33
default.replication.factor默认副本因子33
min.insync.replicas最小同步副本数22
auto.create.topics.enable是否自动创建主题falsetrue
offsets.topic.replication.factoroffsets主题副本因子33

5. 性能调优参数

参数名说明推荐值参考值
num.replica.fetchers副本拉取线程数33
replica.fetch.max.bytes副本拉取最大字节数1048576 (1MB)1048576 (1MB)
replica.lag.time.max.ms副本最大延迟时间5000 (5秒)10000 (10秒)
replica.fetch.wait.max.ms副本拉取最大等待时间1000 (1秒)1000 (1秒)
log.flush.interval.messages刷盘消息数阈值1000010000
log.flush.interval.ms刷盘时间间隔1000 (1秒)1000 (1秒)

6. 日志管理

参数名说明推荐值参考值
log.retention.hours日志保留时间168 (7天)168 (7天)
log.segment.bytes日志片段大小1073741824 (1GB)1073741824 (1GB)
log.retention.check.interval.ms日志清理检查间隔300000 (5分钟)300000 (5分钟)
log.cleanup.policy日志清理策略deletedelete
log.message.timestamp.type消息时间戳类型LogAppendTimeLogAppendTime

7. 事务和幂等性配置

参数名说明推荐值参考值
transaction.state.log.replication.factor事务主题副本因子33
transaction.state.log.min.isr事务主题最小ISR22
unclean.leader.election.enable是否允许非ISR副本成为leaderfalsefalse

8. 其他配置

参数名说明推荐值参考值
group.initial.rebalance.delay.ms消费组初始重平衡延迟3000 (3秒)3000 (3秒)
broker.rackbroker机架信息rack1kafka-rac1
message.max.bytes消息最大大小1000012 (≈1MB)1000012 (≈1MB)
zookeeper.connection.timeout.msZK连接超时时间18000 (18秒)18000 (18秒)
zookeeper.session.timeout.msZK会话超时时间18000 (18秒)12000 (12秒)

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/470442.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

《DiffusionDet: Diffusion Model for Object Detection》ICCV2023

摘要 本文提出了一种新的框架DiffusionDet,它将目标检测任务表述为从带噪声的边界框到目标边界框的去噪扩散过程(如图一所示)。在训练阶段,目标边界框逐渐扩散到随机分布,模型学习逆转这一加噪过程。在推理阶段&#…

词嵌入方法(Word Embedding)

词嵌入方法(Word Embedding) Word Embedding是NLP中的一种技术,通过将单词映射到一个空间向量来表示每个单词 ✨️常见的词嵌入方法: 🌟Word2Vec:由谷歌提出的方法,分为CBOW(conti…

Mit6.S081-实验环境搭建

Mit6.S081-实验环境搭建 注:大家每次做一些操作的时候觉得不太保险就先把虚拟机克隆一份 前言 qemu(quick emulator):这是一个模拟硬件环境的软件,利用它可以运行我们编译好的操作系统。 准备一个Linux系统&#xf…

qt QVideoWidget详解

1. 概述 QVideoWidget是Qt框架中用于视频播放的控件。它继承自QWidget,并提供了与QMediaPlayer等多媒体播放类集成的功能。QVideoWidget可以嵌入到Qt应用程序的用户界面中,用于显示视频内容。它支持多种视频格式,并提供了基本的视频播放控制…

10款PDF合并工具的使用体验与推荐!!!

在如今的信息洪流中,我们几乎每个人都被淹没在大量的数字文档之中。无论是学生、教师还是职场人士,我们都需要高效地管理和处理这些文档。而PDF文件,凭借其跨平台的稳定性和通用性,成了最常用的文档格式之一。我们经常需要处理、编…

【AI大模型】ELMo模型介绍:深度理解语言模型的嵌入艺术

学习目标 了解什么是ELMo.掌握ELMo的架构.掌握ELMo的预训练任务.了解ELMo的效果和成绩.了解ELMo的优缺点. 目录 🍔 ELMo简介 🍔 ELMo的架构 2.1 总体架构 2.2 Embedding模块 2.3 两部分的双层LSTM模块 2.4 词向量表征模块 🍔 ELMo的预…

Gurobi学术版+Anaconda安装步骤

注意:在anaconda虚拟环境中安装gurobi库是不需要在本地下载gurobi这个软件的,只需要conda install gurobi即可,或者指定版本的安装conda install -c gurobi gurobi11.0.3。 step0:安装ananconda step1:获得学术许可&a…

【C++】类与对象的基础概念

目录: 一、inline 二、类与对象基础 (一)类的定义 (二)访问限定符 (三)类域 (四)实例化概念 正文 一、inline 在C语言的学习过程中,大家肯定了解过宏这个概…

解决表格出现滚动条样式错乱问题

自定义表格出现滚动条时,会因为宽度不对等导致样式错乱; 解决思路: 监听表格数据的变化,当表格出现滚动条时,再调用更新宽度的方法updateWidth,去改变表格头部的宽度,最终保持表格头部和内容对…

天才的懈怠 : 平衡二叉树

力扣110:平衡二叉树 描述: 二叉树的每一个节点的左右子树高度差不超过1,即为平衡二叉树 递归 树:还是用递归,从最深的节点开始向上判断,保证每个节点的左右子树高度差不大于1,大于1的用 -1 做标…

使用@react-three/fiber,@mkkellogg/gaussian-splats-3d加载.splat,.ply,.ksplat文件

前言 假设您正在现有项目中集成这些包,而该项目的构建工具为 Webpack 或 Vite。同时,您对 Three.js 和 React 有一定的了解。如果您发现有任何错误或有更好的方法,请随时留言。 安装 npm install three types/three react-three/fiber rea…

MySQL:CRUD

MySQL表的增删改查(操作的是表中的记录) CRUD(增删改查) C-Create新增R-Retrieve检查,查询U-Update更新D-Delete删除 新增(Create) 语法: 单行数据全列插入 insert into 表名[字段一,字段…

DeBiFormer实战:使用DeBiFormer实现图像分类任务(二)

文章目录 训练部分导入项目使用的库设置随机因子设置全局参数图像预处理与增强读取数据设置Loss设置模型设置优化器和学习率调整策略设置混合精度,DP多卡,EMA定义训练和验证函数训练函数验证函数调用训练和验证方法 运行以及结果查看测试完整的代码 在上…

小面馆叫号取餐流程 佳易王面馆米线店点餐叫号管理系统操作教程

一、概述 【软件资源文件下载在文章最后】 小面馆叫号取餐流程 佳易王面馆米线店点餐叫号管理系统操作教程 点餐软件以其实用的功能和简便的操作,为小型餐饮店提供了高效的点餐管理解决方案,提高了工作效率和服务质量 ‌点餐管理‌:支持电…

5G时代的关键元件:射频微波MLCCs市场前景广阔

根据QYResearch调研团队最新发布的《全球射频微波多层陶瓷电容器市场报告2023-2029》显示,预计到2029年,全球射频微波多层陶瓷电容器市场规模将攀升至12.4亿美元,其未来几年内的年复合增长率(CAGR)预计为5.1%。 以下图…

ElasticSearch学习笔记一:简单使用

一、前言 该系列的文章用于记录本人从0学习ES的过程,首先会对基本的使用进行讲解。本文默认已经安装了ES单机版本(当然后续也会有对应的笔记),且对ES已经有了相对的了解,闲话少叙,书开正文。 二、ES简介 …

FFmpeg 4.3 音视频-多路H265监控录放C++开发十三:将AVFrame转换成AVPacket。视频编码原理.编码相关api

前提: 从前面的学习我们知道 AVFrame中是最原始的 视频数据,这一节开始我们需要将这个最原始的视频数据 压缩成 AVPacket数据, 我们前面,将YUV数据或者 RGBA 数据装进入了 AVFrame里面,并且在SDL中显示。 也就是说&…

ODOO学习笔记(8):模块化架构的优势

灵活性与可定制性 业务流程适配:企业的业务流程往往因行业、规模和管理方式等因素而各不相同。Odoo的模块化架构允许企业根据自身的具体业务流程,选择和组合不同的模块。例如,一家制造企业可以启用采购、库存、生产和销售模块,并通…

28.医院管理系统(基于springboot和vue)

目录 1.系统的受众说明 2. 相关技术和开发环境 2.1 相关技术 2.1.1 Java语言 2.1.2 HTML、CSS、JavaScript 2.1.3 Redis 2.1.4 MySQL 2.1.5 SSM框架 2.1.6 Vue.js 2.1.7 SpringBoot 2.2 开发环境 3. 系统分析 3.1 可行性分析 3.1.1 经济可行性 3.1.2 技术…

实时渲染技术如何助力3D虚拟展厅?

实时渲染技术以其强大的图形处理能力和即时反馈特性,在虚拟展厅的创建和体验中发挥着举足轻重的作用。视创云展3D虚拟展厅提供全方位的VR漫游体验,实时渲染技术确保场景细腻逼真,让访客仿佛置身其中,享受沉浸式的视听享受。以下是…