05、Kafka ------ CMAK 各个功能的作用解释(主题和分区 详解,用命令行和图形界面创建主题和查看主题)

目录

  • CMAK 各个功能的作用解释(主题)
    • ★ 主题
    • ★ 分区
    • ★ 创建主题:
    • ★ 列出和查看主题

CMAK 各个功能的作用解释(主题)



★ 主题

Kafka 主题虽然也叫 topic,但它和 Pub-Sub 消息模型中 topic 主题及 AMQP 的 topic 都不同(AMQP 的 topic 只是 Exchange 的类型)。

Kafka 的主题只是盛装消息的逻辑容器(注意是逻辑容器),主题之下会分为若干个分区,分区才是盛装消息的物理容器。

▲ 消息组织方式实际上是三级结构:主题 → 分区 → 消息。

▲ 主题只是消息的逻辑分类,它只是发布消息的类别或消费源的名称。

发布消息时,面向主题发布消息;
消费消息时,也面向主题消费;
但实际会由 Kafka 将消息存储到分区中,从分区中消费消息。

就是消息是存在分区中的,但是发布和消费消息是面向主题来的。



★ 分区

▲ 分区才是真正存储消息的地方,分区在物理存储层面就是一个一个的日志文件(就是数据文件),这些日志文件保存在 server.properties文件下的 log.dirs属性 指定目录下。
在这里插入图片描述

▲ 分区文件都是一个有序的记录序列,序列的数据项可通过下标访问,下标从0开始,如图所示:

在这里插入图片描述
▲ 分区文件的结构有点类似于 List 集合,只不过 List 集合存储在内存中,而分区文件则持久化地、存储在磁盘上。

消息被消费完成之后,是不会自动从分区中移除的,只能通过设置,比如过某一段时间之后,再从分区中移除。

在这里插入图片描述



★ 创建主题:

【备注】 Kafka 的 Broker 之间的地位是平等,没有所谓谁是主Broker,谁是副Broker的概念。

Kafka的主、从是体现在分区上的 ,分区可分为领导者分区(主)、追随者分区(副)。

领导者分区,其实就是主分区:对外提供服务。
追随者分区,就是所谓副分区:作用是作为主分区的后备。

kafka-topics.bat(.sh)命令可用于操作主题,包括创建主题、删除主题及列出主题、查看主题等。
例如如下命令即可创建一个主题:

^ 这个符号表示命令还没有写完,要换一行

kafka-topics.bat --create ^
–bootstrap-server localhost:9092 ^
–replication-factor 2 ^
–partitions 3 ^
–topic test1

上面命令指定了如下几个选项:

–create:指定创建主题。

–bootstrap-server:指定Kafka Broker的地址。

–replication-factor:指定复制因子。此处指定的复制因子为2,表明每个分区都有两个副本,一个领导者副本,一个追随者副本。

–partions:指定该主题包含的分区数。此处指定的分区数为3,表明该主题由3个分区组成。
–partions选项指定该主题由3个分区组成,而–replication-factor指定每个分区有2个副本,因此实际上该分区包含6(3 * 2)个分区,其中3个领导者分区,3个追随者分区。

–topic:指定主题名。


用命令行创建 topic

在这里插入图片描述

创建出来了,如图

在这里插入图片描述

主题信息:

因为分区是3,复制因子是2,所以一共有6个分区;
因为我们弄了3个broker节点。
如图:每个broker节点分配了两个分区

在这里插入图片描述



CMAK 界面创建topic

在这里插入图片描述

创建出来的主题

在这里插入图片描述

细看主题的分区之类的
因为分区是4,复制因子是3,所以一共有12个分区;
因为我们弄了3个broker节点。
如图:每个broker节点分配了4分区
在这里插入图片描述

分区的存放位置详解:

在这里插入图片描述



★ 列出和查看主题

▲ 可在CMAK列出和查看主题

▲ 也可使用 kafka-topics.bat 的 --list 选项来查看主题列表:

kafka-topics.bat --list --bootstrap-server localhost:9092

Kafka 的 Broker 之间的地位是平等,没有所谓谁是主Broker,谁是副Broker的概念。所以这里就随便写其中一个broker的端口号来查看主题:
如图,跟 CMAK 显示的一样,是3个主题。
在这里插入图片描述

▲ 可使用 kafka-topics.bat 的 --describe 选项来查看指定主题的详细信息。

kafka-topics.bat --describe --bootstrap-server localhost:9092 --topic 主题名

kafka-topics.bat --describe --bootstrap-server localhost:9092 --topic test2

在这里插入图片描述

不知道怎么查看,不知道有哪些命令的时候,可以直接输:kafka-topics 这个命令来看。

在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/231587.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

基于多反应堆的高并发服务器【C/C++/Reactor】(中)创建一个TcpConnection实例 以及 接收客户端数据

#CSDN 年度征文|回顾 2023,赢专属铭牌等定制奖品# 一、主线程反应堆模型的事件添加和处理详解 >>服务器和客户端建立连接和通信流程: 基于多反应堆模型的服务器结构图,这主要是一个TcpServer,关于HttpServer,…

4个原创技术文档,从Excel到MySQL到Python

2023马上就要结束了,回首这一年的工作和努力,我感到非常欣慰和自豪。在这段时间里,我专注于撰写原创技术文档,致力于为大家提供有价值的内容。 这四篇原创技术文档是我精心编写的,每一篇都经过了深入研究和详尽的实践…

HTML5大作业-精致版个人博客空间模板源码

文章目录 1.设计来源1.1 博客主页界面1.2 博主信息界面1.3 我的文章界面1.4 我的相册界面1.5 我的工具界面1.6 我的源码界面1.7 我的日记界面1.8 我的留言板界面1.9 联系博主界面 2.演示效果和结构及源码2.1 效果演示2.2 目录结构2.3 源代码 源码下载 作者:xcLeigh …

普中STM32-PZ6806L开发板(HAL库函数实现-按键扫描)

简介 实现按键扫描, 实现四个按键按下控制灯的亮灭 电路原理图 按键电路原理图 按键与主芯片引脚原理图 其他知识 原理图分析 Key_UP按下会有高电平输入, 所以电路设置应该是默认低电平, 初始化为下拉输入 Key_Left/Right/Down按下会有低电平, 初始化为下拉输…

相机同步遇到的小问题

出现问题 在进行两个相机显示的时候,出现了相机显示不同步的情况,具体情况如下视频所示: 华睿/大华相机左右相机显示不同步 可以见到视频之中,右相机是比左相机更快一点的,但是有的时候就是同步的。我调用的代码是现成…

最新GPT4.0使用教程,AI绘画,ChatFile文档对话总结+GPT语音对话使用,DALL-E3文生图

一、前言 ChatGPT3.5、GPT4.0、GPT语音对话、Midjourney绘画,文档对话总结DALL-E3文生图,相信对大家应该不感到陌生吧?简单来说,GPT-4技术比之前的GPT-3.5相对来说更加智能,会根据用户的要求生成多种内容甚至也可以和…

亚信安慧AntDB数据库:企业核心业务系统数据库升级改造的可靠之选

在近期召开的“2023年国有企业应用场景发布会”上,亚信安慧公司的核心数据库产品AntDB闪耀登场,技术总监北陌先生针对企业核心业务系统数据库升级改造的关键议题发表了深度分享。他从研发、工程实施和运维管理三个维度细致剖析了当前企业在进行数据库升级…

Linux系统安装MySQL

Linux系统安装MySQL 第一步:下载YUM wget http://dev.mysql.com/get/mysql57-community-release-el7-11.noarch.rpm第二步:安装MySQL的YUM 仓库 rpm -ivh mysql57-community-release-el7-11.noarch.rpm第三步:查看MySQL版本 yum repolist …

嵌入式科普(9)vscode无法跳转和恢复默认配置

一、目的/概述 二、解决办法 2.1 使能Intelli Sense Engine 2.2 vscode恢复默认配置 2.3 c/c与clangd冲突 嵌入式科普(9)vscode无法跳转和恢复默认配置 一、目的/概述 1、2024年的第一天突然vscode无法跳转,莫名其妙 2、尝试了各种设置和插件都无效,卸…

【萤火虫系列教程】1/5-Adobe Firefly 注册账号

001-Adobe Firefly 注册账号 AI时代如火如荼,Adobe也不甘落后,于今年3月份发布AI创意生成工具Firefly(中文翻译:萤火虫) Adobe Firefly简介 Adobe Firefly的官方介绍为:Firefly是Adobe产品中新的创意生成…

YOLOv8模型yaml结构图理解(逐层分析)

前言 YOLO-V8(官网地址):https://github.com/ultralytics/ultralytics 一、yolov8配置yaml文件 YOLOv8的配置文件定义了模型的关键参数和结构,包括类别数、模型尺寸、骨架(backbone)和头部(hea…

Geotrust DV通配符证书保护域名数量

Geotrust是一家知名的SSL证书提供商,旗下有多种类型的SSL数字证书,保护网站数据在传输过程中的安全性和完整性,帮助用户确认其网站的安全。通配符SSL证书是Geotrust颁发的一种可以同时保护多个域名站点的SSL证书。今天就随SSL盾小编了解Geotr…

Jmeter 性能 —— 电商系统TPS计算

1、怎么计算得出TPS指标 ①第一个通过运维那边给的生产数据,看一下生产进件有多少,计算得来的,如果没有生产数据,或者不过就看如下的方法 ②第二个就是根据最近一个月的实际访问数据,比如每天调用了多少个接口&#…

将 validator 校验器从 ParameterValidator 中抽离出来

目录 一、前置说明1、总体目录2、相关回顾3、本节目标 二、操作步骤1、项目目录2、代码实现3、测试代码4、日志输出 三、后置说明1、要点小结2、下节准备 一、前置说明 1、总体目录 《 pyparamvalidate 参数校验器,从编码到发布全过程》 2、相关回顾 pyparamval…

01、Kafka ------ 下载、安装 ZooKeeper 和 Kafka

目录 Kafka是什么?安装 ZooKeeper下载安装启动 zookeeper 服务器端启动 zookeeper 的命令行客户端工具 安装 Kafka下载安装启动 Kafka 服务器 Kafka是什么? RabbitMQ的性能比ActiveMQ的性能有显著提升。 Kafka的性能比RabbitMQ的性能又有显著提升。 K…

【React系列】react-router

本文来自#React系列教程:https://mp.weixin.qq.com/mp/appmsgalbum?__bizMzg5MDAzNzkwNA&actiongetalbum&album_id1566025152667107329) 一. 认识react-router 1.2. 前端路由原理 前端路由是如何做到URL和内容进行映射呢?监听URL的改变。 UR…

【MySQL】orderby/groupby出现Using filesort根因分析及优化

序 在日常的数据库运维中,我们可能会遇到一些看似难以理解的现象。比如两个SQL查询语句,仅仅在ORDER BY子句上略有不同,却造成了性能的天壤之别——一个飞速完成,一个则让数据库崩溃。今天就让我们围绕这个问题,深入剖…

prometheus grafana linux服务器监控

文章目录 前传node-exporter安装配置promethues监控node节点grafana操作查看监控:外传 前传 prometheus grafana的安装使用:https://nanxiang.blog.csdn.net/article/details/135384541 本文说下监控nginx,prometheus grafana linux 安装配…

(NeRF学习)NeRF复现 win11

目录 一、获取源码二、环境三、准备数据集1.下载数据集方法一:官方命令方法二:官网下载数据集 2.修改配置 四、开始训练1.更改迭代次数2.开始训练方法一:方法二: 3.使用预训练模型 五、NeRF源码学习 一、获取源码 git clone http…

初识MySQL

一、什么是数据库 数据库(Database,简称DB):长期存放在计算机内,有组织、可共享的大量数据的集合,是一个数据“仓库”。 数据库的作用: 可以结构化存储大量的数据,方便检索和访问…