【大数据技术基础 | 实验十四】Kafka实验：订阅推送示例

在这里插入图片描述

文章目录

    • 一、实验目的
    • 二、实验要求
    • 三、实验原理
      • （一）Kafka简介
      • （二）Kafka使用场景
    • 四、实验环境
    • 五、实验内容和步骤
      • （一）配置各服务器之间的免密登录
      • （二）安装ZooKeeper集群
      • （三）安装Kafka集群
      • （四）验证消息推送
    • 六、实验结果
    • 七、实验心得

一、实验目的

  1. 掌握Kafka的安装部署
  2. 掌握Kafka的topic创建及如何生成消息和消费消息
  3. 掌握Kafka和Zookeeper之间的关系
  4. 了解Kafka如何保存数据及加深对Kafka相关概念的理解

二、实验要求

在两台机器上(以slave1，slave2为例)，分别部署一个broker，Zookeeper使用的是单独的集群，然后创建一个topic，启动模拟的生产者和消费者脚本，在生产者端向topic里写数据，在消费者端观察读取到的数据。

三、实验原理

（一）Kafka简介

Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。它提供了类似于JMS的特性，但是在设计实现上完全不同，此外它并不是JMS规范的实现。kafka对消息保存时根据Topic进行归类，发送消息者成为Producer，消息接受者成为Consumer，此外kafka集群有多个kafka实例组成，每个实例(server)成为broker。无论是kafka集群，还是producer和consumer都依赖于zookeeper来保证系统可用性集群保存一些meta信息。如图下所示：

在这里插入图片描述

一个Topic的多个partitions，被分布在kafka集群中的多个server上；每个server(kafka实例)负责partitions中消息的读写操作；此外kafka还可以配置partitions需要备份的个数(replicas)，每个partition将会被备份到多台机器上，以提高可用性。

基于replicated方案，那么就意味着需要对多个备份进行调度；每个partition都有一个server为“leader”；leader负责所有的读写操作，如果leader失效，那么将会有其他follower来接管(成为新的leader)；follower只是单调的和leader跟进，同步消息即可……由此可见作为leader的server承载了全部的请求压力，因此从集群的整体考虑，有多少个partitions就意味着有多少个“leader”，kafka会将“leader”均衡的分散在每个实例上，来确保整体的性能稳定。

生产者：Producer将消息发布到指定的Topic中，同时Producer也能决定将此消息归属于哪个partition；比如基于“round-robin”方式或者通过其他的一些算法等。

消费者：本质上kafka只支持Topic，每个consumer属于一个consumer group；反过来说，每个group中可以有多个consumer。发送到Topic的消息，只会被订阅此Topic的每个group中的一个consumer消费。

如果所有的consumer都具有相同的group，这种情况和queue模式很像；消息将会在consumers之间负载均衡。

如果所有的consumer都具有不同的group，那这就是“发布-订阅”；消息将会广播给所有的消费者。

在kafka中，一个partition中的消息只会被group中的一个consumer消费；每个group中consumer消息消费互相独立；我们可以认为一个group是一个“订阅”者，一个Topic中的每个partions，只会被一个“订阅者”中的一个consumer消费，不过一个consumer可以消费多个partitions中的消息。kafka只能保证一个partition中的消息被某个consumer消费时，消息是顺序的。事实上，从Topic角度来说，消息仍不是有序的。

kafka的设计原理决定，对于一个topic，同一个group中不能有多于partitions个数的consumer同时消费，否则将意味着某些consumer将无法得到消息。

Guarantees
（1）发送到partitions中的消息将会按照它接收的顺序追加到日志中。
（2）对于消费者而言，它们消费消息的顺序和日志中消息顺序一致。
（3）如果Topic的“replicationfactor”为N，那么允许N-1个kafka实例失效。

（二）Kafka使用场景

1. Messaging

对于一些常规的消息系统，kafka是个不错的选择；partitons/replication和容错，可以使kafka具有良好的扩展性和性能优势。不过到目前为止，我们应该很清楚认识到，kafka并没有提供JMS中的“事务性”、“消息传输担保(消息确认机制)”、“消息分组”等企业级特性；kafka只能使用作为“常规”的消息系统，在一定程度上，尚未确保消息的发送与接收绝对可靠(比如：消息重发，消息发送丢失等)。

2. Websit activity tracking

kafka可以作为“网站活性跟踪”的最佳工具；可以将网页/用户操作等信息发送到kafka中。并实时监控,或者离线统计分析等。

3. Log Aggregation

kafka的特性决定它非常适合作为“日志收集中心”，application可以将操作日志“批量”“异步”的发送到kafka集群中，而不是保存在本地或者DB中；kafka可以批量提交消息/压缩消息等，这对producer端而言，几乎感觉不到性能的开支。此时consumer端可以使hadoop等其他系统化的存储和分析系统。

四、实验环境

  • 云创大数据实验平台：
    在这里插入图片描述
  • Java 版本：jdk1.7.0_79
  • Hadoop 版本：hadoop-2.7.1
  • ZooKeeper 版本：zookeeper-3.4.6
  • Kafka 版本：kafka_2.10-0.9.0.1

五、实验内容和步骤

（一）配置各服务器之间的免密登录

首先配置master，slave1和slave2之间的免密登录和各虚拟机的/etc/hosts文件，具体步骤参考：【大数据技术基础 | 实验一】配置SSH免密登录

（二）安装ZooKeeper集群

配置完免密登录之后我们还需要安装Zookeeper集群，具体步骤参考：【大数据技术基础 | 实验五】ZooKeeper实验：部署ZooKeeper

（三）安装Kafka集群

首先我们将Kafka安装包解压到slave1的/usr/cstor目录：

tar -zxvf kafka_2.10-0.9.0.1.tar.gz -c /usr/cstor

并将kafka目录所属用户改成root:root：

chown -R root:root /usr/cstor/kafka

然后将kafka目录传到其他机器上：

scp -r /usr/cstor/kafka hadoop@slave2:/usr/cstor

两台机器上分别进入解压目录下，在config目录修改server.properties文件:

cd /usr/cstor/kafka/config/
vim server.properties

然后修改其中的内容，首先是slave1配置：

#broker.id
broker.id=1
#broker.port
port=9092
#host.name
host.name=slave1
#本地日志文件位置
log.dirs=/usr/cstor/kafka/logs
#Zookeeper地址
zookeeper.connect=slave1:2181,slave2:2181,master:2181

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

然后修改slave2的配置：

#broker.id
broker.id=2
#broker.port
port=9092
#host.name
host.name=slave2
#本地日志文件位置
log.dirs=/usr/cstor/kafka/logs
#Zookeeper地址
zookeeper.connect=slave1:2181,slave2:2181,master:2181

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

然后，启动Kafka，并验证Kafka功能，进入安装目录下的bin目录，两台机器上分别执行以下命令启动各自的Kafka服务：

cd /usr/cstor/kafka/bin
nohup ./kafka-server-start.sh ../config/server.properties &

在任意一台机器上，执行以下命令(以下三行命令不要换行，是一整行)创建topic：

./kafka-topics.sh --create \
--zookeeper slave1:2181,slave2:2181,master:2181 \
--replication-factor 2 --partitions 2 --topic test

在这里插入图片描述

在任意一台机器上（这里我选择的是slave1），执行以下命令(以下三行命令不要换行，是一整行)启动模拟producer：

./kafka-console-producer.sh \
--broker-list slave1:9092,slave2:9092,master:9092 \
--topic test

在另一台机器上（slave2），执行以下命令(以下三行命令不要换行，是一整行)启动模拟consumer：

./kafka-console-consumer.sh \
--zookeeper slave1:2181,slave2:2181,master:2181 \
--topic test --from-beginning

（四）验证消息推送

我们在producer端输入任意信息，然后观察consumer端接收到的数据：

This is Kafka producer
Hello, Kafka

在slave1上输入信息：

在这里插入图片描述

然后slave2上也收到了信息：

在这里插入图片描述

六、实验结果

我们在producer端输入任意信息，然后观察consumer端接收到的数据：

This is Kafka producer
Hello, Kafka

在slave1上输入信息：

在这里插入图片描述

然后slave2上也收到了信息：

在这里插入图片描述

七、实验心得

  通过本次Kafka实验，我深入理解了分布式消息队列的核心概念及其实现方式。Kafka作为一种高吞吐量、低延迟的分布式发布订阅消息系统，其设计思想和实现细节让我受益匪浅。实验从Kafka与Zookeeper的安装部署入手，通过配置两个broker的Kafka集群，帮助我掌握了Kafka集群的基本搭建过程。同时，通过配置文件的修改，我更加清晰地认识到Kafka集群中broker.id、zookeeper.connect、log.dirs等配置项的作用，为后续的生产环境部署打下了基础。

  实验中的生产者和消费者模拟验证让我直观地感受到了Kafka的高效数据处理能力。在生产者端输入消息后，消费者端能够实时接收到消息，这充分展示了Kafka在消息传递中的低延迟特点。此外，通过创建带有多个分区和副本的Topic，我理解了Kafka的分区机制及其在分布式环境中保证数据高可用性的策略。分区的Leader和Follower模型也让我体会到Kafka在负载均衡和容错性上的精巧设计，尤其是当Leader失效后，Follower能够及时接管，确保服务的稳定运行。

  与此同时，我也意识到Kafka在实际应用中并非完美。例如，Kafka虽然具有一定的容错能力，但对于数据的绝对可靠性保证（如消息丢失或重复发送）还有一定的局限性。这让我认识到，在实际项目中，需根据具体场景搭配其他机制来保证消息传递的可靠性和一致性。

  总之，本次实验帮助我从理论走向实践，不仅熟悉了Kafka的基本操作，还加深了对其内部工作原理的理解。在未来的学习和工作中，我希望能够进一步探索Kafka在日志收集、实时数据流处理等场景中的深度应用，为分布式系统的设计与优化积累更多经验。

附：以上文中的数据文件及相关资源下载地址：
链接：https://pan.quark.cn/s/8f386ae8b871
提取码：EPKB

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.rhkb.cn/news/485335.html

如若内容造成侵权/违法违规/事实不符，请联系长河编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

操作系统Lesson7 - 线程编程模型和进程间通信概述

操作系统Lesson7 - 线程编程模型和进程间通信概述

文章目录 进程和线程的区别线程非安全函数时序问题进程间通信竞态条件 进程和线程的区别 一句话：进程资源独立，线程资源共享。 当系统内核不支持线程时，我们只能用用户空间来描述线程；而如果内核支持线程，我们可以在创…
阅读更多...
距离与AoA辅助的三维测距算法，适用于自适应基站数量的情况。订阅专栏后可直接查看完整源代码

距离与AoA辅助的三维测距算法，适用于自适应基站数量的情况。订阅专栏后可直接查看完整源代码

本MATLAB 代码实现了一个基于距离与到达角（AoA）的三维测距系统，主要用于在动态环境中估计目标物体的位置。提供本算法与仅侧角（AoA）的定位误差对比 文章目录 代码运行结果源代码代码功能概述主要步骤分析初始化部分AOA定位绘图部分输出部分代码的应用和意义总结代码运行结…
阅读更多...
dd破坏asm磁盘头恢复---惜分飞

dd破坏asm磁盘头恢复---惜分飞

有朋友对asm disk的磁盘头dd了2048byte的数据 通过分析,gi软件版本,确认是11.2.0.4 Oracle Database 11g Enterprise Edition Release 11.2.0.4.0 - 64bit Production With the Real Application Clusters and Automatic Storage Management options. ORACLE_HOME /u01/app/…
阅读更多...
网络测速工具

网络测速工具

1. SPEEDTEST https://www.speedtest.net/ 2. 测速网 测速网 - 专业测网速, 网速测试, 宽带提速, 游戏测速, 直播测速, 5G测速, 物联网监测,Wi-Fi 7,Wi-Fi 6,FTTR,全屋Wi-Fi - SpeedTest.cn 3. 字节比特换算 bps（bits per second） 字节和比特的换算…
阅读更多...
PDF处理的创新工具:福昕低代码平台尝鲜

PDF处理的创新工具:福昕低代码平台尝鲜

在当今数字化时代，PDF文件的处理和管理变得越来越重要。福昕低代码平台是新发布的一款创新的工具，旨在简化PDF处理和管理的流程。通过这个平台，用户可以通过简单的拖拽界面上的按钮，轻松完成对Cloud API的调用工作流，而…
阅读更多...
R语言 | ComplexHeatmap 画注释若干基因的热图 //todo

R语言 | ComplexHeatmap 画注释若干基因的热图 //todo

一般顺序： 先用 pheatmap 聚类再用 ComplexHeatmap 做可视化：添加顶部、左侧聚类颜色，显示若干代表性基因 genec("Gene18", "Gene19", "Gene7","Gene3", "Gene9", "Gene15") …
阅读更多...
模型案例：| 手机识别模型！

模型案例：| 手机识别模型！

导读 2023年以ChatGPT为代表的大语言模型横空出世，它的出现标志着自然语言处理领域取得了重大突破。它在文本生成、对话系统和语言理解等方面展现出了强大的能力，为人工智能技术的发展开辟了新的可能性。同时，人工智能技术正在进入各种应用领…
阅读更多...
解谜类游戏《迷失岛2》等如何抽象出一套通用高效开发框架？

解谜类游戏《迷失岛2》等如何抽象出一套通用高效开发框架？

解谜类游戏以精妙的谜题设计和引人入胜的故事叙述为特点，考验着玩家的智慧与观察力。《迷失岛2》与《南瓜先生2九龙城寨》正是这一领域的佳作。游戏以独特的艺术风格和玩法设计吸引了大量玩家，而它们背后隐藏着一套强大的框架。 上海胖布丁游戏的技术总…
阅读更多...
【C++探索学习】第十九弹——进程替换：深入解析操作系统中的进程替换机制

【C++探索学习】第十九弹——进程替换：深入解析操作系统中的进程替换机制

Linux学习笔记： https://blog.csdn.net/2301_80220607/category_12805278.html?spm1001.2014.3001.5482 前言： 在Linux操作系统中，进程替换（Process Replacement）是一个重要的概念，它允许程序通过系统调…
阅读更多...
SSH克隆github项目

SSH克隆github项目

1、生成密钥 ssh-keygen -t rsa -C "你的邮箱xxx.com" 全程回车即可（不用输入ras文件名及密码）、为了方便下面的公钥查看 2、配置公钥 查看公钥内容 cat c:\Users\xxx\.ssh\id_rsa.pub(修改为自己的路径及名字) 将公钥内容复制并粘贴至…
阅读更多...
ASP.NET Core 9.0 静态资产传递优化 （MapStaticAssets ）

ASP.NET Core 9.0 静态资产传递优化 （MapStaticAssets ）

一、结论 💢先看结论吧， MapStaticAssets 在大多数情况下可以替换 UseStaticFiles，它已针对为应用在生成和发布时了解的资产提供服务进行了优化。 如果应用服务来自其他位置（如磁盘或嵌入资源）的资产，则应…
阅读更多...
电子信息工程自动化 单片机自动门控制系统设计

电子信息工程自动化 单片机自动门控制系统设计

摘 要 伴随着社会经济的发展进步、科学技术的发展进步以及人民群众日常生活质量的逐渐提升，自动门开始全面进入人民群众的生活，逐渐发展成为了宾馆、大型超市、政府等当代建筑里必须配备的设备，是建筑自动智能化综合水平的主要标准之一。它具…
阅读更多...
防火墙有什么作用

防火墙有什么作用

防火墙的作用：1. 提供网络安全防护；2. 实施访问控制和流量过滤；3. 检测和阻止恶意攻击；4. 保护内部网络免受未经授权的访问；5. 监控网络流量和安全事件；6. 支持虚拟专用网络（VPN）。防…
阅读更多...
Cesium-地球材质-坡度

Cesium-地球材质-坡度

1. 创建viewer 创建viewer并添加地形 const viewer new Cesium.Viewer("cesiumContainer", {terrainProvider: await Cesium.CesiumTerrainProvider.fromIonAssetId(3956, {requestVertexNormals: true}) }); 2. 创建canvas色条 添加getColorRamp方法&#xff0…
阅读更多...
企业网双核心交换机实现冗余和负载均衡（MSTP+VRRP）

企业网双核心交换机实现冗余和负载均衡（MSTP+VRRP）

MSTP（多生成树协议） 通过创建多个VLAN实例，将原有的STP、RSTP升级，避免单一VLAN阻塞后导致带宽的浪费，通过将VLAN数据与实例绑定，有效提升网络速率。 VRRP（虚拟路由冗余协议） 用…
阅读更多...
VTK编程指南＜三＞：基于VTK入门程序解析来理解VTK基础知识

VTK编程指南＜三＞：基于VTK入门程序解析来理解VTK基础知识

1、VTK入门程序 下面是一个完整的Vtk入门程序&#xff0c;我们基于这个程序来对VTK的基本知识进行一个初步了解。 #include <iostream>#include <vtkAutoInit.h> VTK_MODULE_INIT(vtkRenderingOpenGL2);// VTK was built with vtkRenderingOpenGL2 VTK_MODULE_INI…
阅读更多...
React基础知识四 Hooks

React基础知识四 Hooks

什么是hooks&#xff1f; (coderwhy) hooks是react 16.8&#xff08;2019年&#xff09;出的新特性。 react有两种形式来创建组件——类式和函数式。在hooks之前类式组件就是react最主流的编程方式。 这个时候&#xff0c;函数式组件是非常鸡肋的&#xff0c;几乎没什么用。因…
阅读更多...
TYUT计算机操作系统简答题

TYUT计算机操作系统简答题

简述分组交换的优点。 高效灵活、迅速可靠&#xff0c;且各分组小&#xff0c;路由灵活&#xff0c;网络生存性能好。 解决 IPv4 地址紧缺有哪些方案&#xff1f; ① 使用代理服务器&#xff1b;② 使用地址转换&#xff1b;③ 升级到 IPv6。 网络适配器的作用是什么&#…
阅读更多...
tomcat+jdbc报错怎么办？

tomcat+jdbc报错怎么办？

1. 虽然mysql8.0以上的不用手动添加driver类&#xff0c;但是一旦加上driver类&#xff0c;就要手动添加了 不然会报找不到driver类的错误 2. java.lang.RuntimeException: java.sql.SQLException: No suitable driver found for jdbc:mysql://localhost:xXX?serverTimezoneU…
阅读更多...
Qt6.8 QGraphicsView鼠标坐标点偏差

Qt6.8 QGraphicsView鼠标坐标点偏差

ui文件拖放QGraphicsView&#xff0c;src文件定义QGraphicsScene赋值给图形视图。 this->scene new QGraphicsScene();ui.graph->setScene(this->scene);对graphicview过滤事件&#xff0c;只能在其viewport之后安装&#xff0c;否则不响应。 ui.graph->viewport…
阅读更多...
最新文章
推荐文章

Copyright @ 2022~2023