Kafka 分布式消息系统

文章目录

  • 消息中间件对比
  • Kafka概述
  • kafka安装和配置
  • kafka入门
    • 生产者发送消息
    • 消费者接收消息
  • Kafka高可用设计
    • 集群
    • 备份机制(Replication)
    • 备份机制(Replication)-同步方式
  • kafka生产者详解
    • 同步发送
    • 异步发送
    • 参数详解(ack)
    • 参数详解(retries)
    • 参数详解-消息压缩
  • kafka消费者详解
    • 消费者组
    • 消息有序性
    • 提交和偏移量
    • 偏移量
    • 偏移量提交方式
  • SpringBoot集成kafka收发消息


消息中间件对比

在这里插入图片描述
在这里插入图片描述

Kafka概述

Kafka 是一个分布式流媒体平台,类似于消息队列或企业消息传递系统。kafka官网:http://kafka.apache.org/

在这里插入图片描述

  • Producers:消息的生产者
  • Consumers:消息的消费者
  • Kafka Cluster:Kafka 集群
  • Connectors:连接器
  • Stream Processors:Stream 流处理

在这里插入图片描述

  • producer:发布消息的对象称之为主题生产者(Kafka topic producer)
  • topic:Kafka将消息分门别类,每一类的消息称之为一个主题(Topic)
  • consumer:订阅消息并处理发布的消息的对象称之为主题消费者(consumers)
  • broker:已发布的消息保存在一组服务器中,称之为Kafka集群。集群中的每一个服务器都是一个代理(Broker)。 消费者可以订阅一个或多个主题(topic),并从Broker拉数据,从而消费这些已发布的消息。

kafka安装和配置

Kafka 对于 zookeeper 是强依赖,保存 kafka 相关的节点数据,所以安装 Kafka 之前必须先安装 zookeeper

Docker安装zookeeper

下载镜像

docker pull zookeeper:3.4.14

arm linux

docker pull arm64v8/zookeeper:3.4.14

创建容器

docker run -d --name zookeeper -p 2181:2181 zookeeper:3.4.14

Docker安装kafka

下载镜像

docker pull wurstmeister/kafka:2.12-2.3.1

创建容器

docker run -d --name kafka \
--env KAFKA_ADVERTISED_HOST_NAME=10.211.55.6 \
--env KAFKA_ZOOKEEPER_CONNECT=10.211.55.6:2181 \
--env KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://10.211.55.6:9092 \
--env KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092 \
--env KAFKA_HEAP_OPTS="-Xmx256M -Xms256M" \
--net=host wurstmeister/kafka:2.12-2.3.1

--net=host,直接使用容器宿主机的网络命名空间, 即没有独立的网络环境。它使用宿主机的ip和端口

docker ps 查看是否启动成功

在这里插入图片描述

kafka入门

在这里插入图片描述

  • 生产者发送消息,多个消费者只能有一个消费者接收到消息
  • 生产者发送消息,多个消费者都可以接收到消息

生产者发送消息

1:导入kafka客户端依赖

<dependency><groupId>org.apache.kafka</groupId><artifactId>kafka-clients</artifactId>
</dependency>

2:编写消息生产者类ProducerQuickstart

①.设置kafka的配置信息

// 1. kafka 连接配置信息
Properties prop = new Properties();
// kafka 连接地址
prop.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG, "10.211.55.6:9092");
// key 和 value 的序列化
prop.put(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG, "org.apache.kafka.common.serialization.StringSerializer");
prop.put(ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG, "org.apache.kafka.common.serialization.StringSerializer");

②.创建生产者对象

// 2. 创建 kafka 生产者对象
KafkaProducer<String, String> producer = new KafkaProducer<String, String>(prop);

③.发送消息

// 3. 发送消息
ProducerRecord<String, String> kvProducerRecord = new ProducerRecord<String, String>("topic-first", "key-001", "hello kafka");
producer.send(kvProducerRecord);

④.关闭消息通道

// 4. 关闭消息通道   必须关闭,否则消息发送不成功
producer.close();

生产者

/*** 生产者*/
public class ProducerQuickStart {public static void main(String[] args) {// 1. kafka 连接配置信息Properties prop = new Properties();// kafka 连接地址prop.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG, "10.211.55.6:9092");// key 和 value 的序列化prop.put(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG, "org.apache.kafka.common.serialization.StringSerializer");prop.put(ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG, "org.apache.kafka.common.serialization.StringSerializer");// 2. 创建 kafka 生产者对象KafkaProducer<String, String> producer = new KafkaProducer<String, String>(prop);// 3. 发送消息ProducerRecord<String, String> kvProducerRecord = new ProducerRecord<String, String>("topic-first", "key-001", "hello kafka");producer.send(kvProducerRecord);// 4. 关闭消息通道   必须关闭,否则消息发送不成功producer.close();}
}

消费者接收消息

创建ConsumerQuickStart消费者类
①:设置kafka的配置信息

// 1. kafka的配置信息
Properties prop = new Properties();
// kafka 连接地址
prop.put(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG, "10.211.55.6:9092");
// key 和 value 的反序列化器
prop.put(ConsumerConfig.KEY_DESERIALIZER_CLASS_CONFIG, "org.apache.kafka.common.serialization.StringDeserializer");
prop.put(ConsumerConfig.VALUE_DESERIALIZER_CLASS_CONFIG, "org.apache.kafka.common.serialization.StringDeserializer");// 设置消费者组
prop.put(ConsumerConfig.GROUP_ID_CONFIG, "group1");

②:创建消费者对象

// 2. 创建消费者对象
KafkaConsumer<String, String> consumer = new KafkaConsumer<String, String>(prop);

③:订阅主题

// 3. 订阅消息
consumer.subscribe(Collections.singletonList("topic-first"));

④:获取消息

// 4. 拉取消息
while (true){ConsumerRecords<String, String> consumerRecords = consumer.poll(Duration.ofMillis(1000));for (ConsumerRecord<String, String> consumerRecord : consumerRecords) {System.out.println(consumerRecord.key());System.out.println(consumerRecord.value());}
}

消费者

public class ConsumerQuickStart {public static void main(String[] args) {// 1. kafka的配置信息Properties prop = new Properties();// kafka 连接地址prop.put(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG, "10.211.55.6:9092");// key 和 value 的反序列化器prop.put(ConsumerConfig.KEY_DESERIALIZER_CLASS_CONFIG, "org.apache.kafka.common.serialization.StringDeserializer");prop.put(ConsumerConfig.VALUE_DESERIALIZER_CLASS_CONFIG, "org.apache.kafka.common.serialization.StringDeserializer");// 设置消费者组prop.put(ConsumerConfig.GROUP_ID_CONFIG, "group1");// 2. 创建消费者对象KafkaConsumer<String, String> consumer = new KafkaConsumer<String, String>(prop);// 3. 订阅消息consumer.subscribe(Collections.singletonList("topic-first"));// 4. 拉取消息while (true){ConsumerRecords<String, String> consumerRecords = consumer.poll(Duration.ofMillis(1000));for (ConsumerRecord<String, String> consumerRecord : consumerRecords) {System.out.println(consumerRecord.key());System.out.println(consumerRecord.value());}}}
}

生产者发送消息,多个消费者订阅同一个主题,只能有一个消费者收到消息(一对一)

在这里插入图片描述

两个消费者在同一个组
在这里插入图片描述

生产者发送消息,多个消费者订阅同一个主题,所有消费者都能收到消息(一对多)

在这里插入图片描述
两个消费者在不同的组

在这里插入图片描述
在这里插入图片描述

分区机制

在这里插入图片描述

Kafka 中的分区机制指的是将每个主题划分成多个分区(Partition)
可以处理更多的消息,不受单台服务器的限制,可以不受限的处理更多的数据

可以将分区看作存储 Topic 的文件夹,当我们发送消息的时候,可以指定不同的分区,也就是让 Topic 存储到不同的文件夹下(分区),并且也可以是不同的机器上。

topic剖析

在这里插入图片描述
每一个分区都是一个顺序的、不可变的消息队列, 并且可以持续的添加。分区中的消息都被分了一个序列号,称之为偏移量(offset),在每个分区中此偏移量都是唯一的。

分区策略

在这里插入图片描述

Kafka高可用设计

集群

在这里插入图片描述

  • Kafka 的服务器端由被称为 Broker 的服务进程构成,即一个 Kafka 集群由多个 Broker 组成
  • 这样如果集群中某一台机器宕机,其他机器上的 Broker 也依然能够对外提供服务。这其实就是 Kafka 提供高可用的手段之一

备份机制(Replication)

在这里插入图片描述

Kafka 中消息的备份又叫做 副本(Replica)
Kafka 定义了两类副本:

  • 领导者副本(Leader Replica)
  • 追随者副本(Follower Replica)

备份机制(Replication)-同步方式

在这里插入图片描述

ISR(in-sync replica)需要同步复制保存的 follower

如果leader失效后,需要选出新的leader,选举的原则如下:

  • 第一:选举时优先从ISR中选定,因为这个列表中follower的数据是与leader同步的
  • 第二:如果ISR列表中的follower都不行了,就只能从其他follower中选取

极端情况,就是所有副本都失效了,这时有两种方案

  • 第一:等待ISR中的一个活过来,选为Leader,数据可靠,但活过来的时间不确定
  • 第二:选择第一个活过来的Replication,不一定是ISR中的,选为leader,以最快速度恢复可用性,但数据不一定完整

kafka生产者详解

同步发送

使用 send() 方法发送,它会返回一个Future对象,调用get()方法进行等待,就可以知道消息是否发送成功

// 发送消息
RecordMetadata recordMetadata = producer.send(kvProducerRecord).get();
// 获取偏移量
System.out.println(recordMetadata.offset());

异步发送

调用 send() 方法,并指定一个回调函数,服务器在返回响应时调用函数

// 异步发送消息
producer.send(kvProducerRecord, new Callback() {@Overridepublic void onCompletion(RecordMetadata recordMetadata, Exception e) {if (e != null){System.out.println("记录异常信息到日志表中");}System.out.println(recordMetadata.offset());}
});

参数详解(ack)

在这里插入图片描述

在这里插入图片描述

参数详解(retries)

在这里插入图片描述

生产者从服务器收到的错误有可能是临时性错误,在这种情况下,retries 参数的值决定了生产者可以重发消息的次数,如果达到这个次数,生产者会放弃重试返回错误,默认情况下,生产者会在每次重试之间等待100ms

参数详解-消息压缩

默认情况下, 消息发送时不会被压缩。

在这里插入图片描述
使用压缩可以降低网络传输开销和存储开销,而这往往是向 Kafka 发送消息的瓶颈所在。

kafka消费者详解

消费者组

在这里插入图片描述

  • 消费者组(Consumer Group) :指的就是由一个或多个消费者组成的群体
  • 一个发布在Topic上消息被分发给此消费者组中的一个消费者
    • 所有的消费者都在一个组中,那么这就变成了queue模型
    • 所有的消费者都在不同的组中,那么就完全变成了发布-订阅模型

消息有序性

应用场景:

  • 即时消息中的单对单聊天和群聊,保证发送方消息发送顺序与接收方的顺序一致
  • 充值转账两个渠道在同一个时间进行余额变更,短信通知必须要有顺序
  • ……

在这里插入图片描述
kafka集群托管4个分区(P0-P3),2个消费者组,消费组A有2个消费者,消费组B有4个

topic分区中消息只能由消费者组中的唯一一个消费者处理,所以消息肯定是按照先后顺序进行处理的。但是它也仅仅是保证Topic的一个分区顺序处理,不能保证跨分区的消息先后处理顺序。 所以,如果你想要顺序的处理Topic的所有消息,那就只提供一个分区。

提交和偏移量

kafka不会像其他JMS队列那样需要得到消费者的确认,消费者可以使用kafka来追踪消息在分区的位置(偏移量)
消费者会往一个叫做 _consumer_offset 的特殊主题发送消息,消息里包含了每个分区的偏移量。如果消费者发生崩溃或有新的消费者加入群组,就会触发再均衡

在这里插入图片描述

在这里插入图片描述

偏移量

在这里插入图片描述

如果提交偏移量小于客户端处理的最后一个消息的偏移量,那么处于两个偏移量之间的消息就会被重复处理。

在这里插入图片描述

如果提交的偏移量大于客户端的最后一个消息的偏移量,那么处于两个偏移量之间的消息将会丢失。

偏移量提交方式

提交偏移量的方式有两种,分别是自动提交偏移量和手动提交

  • 自动提交偏移量

enable.auto.commit 被设置为 true,提交方式就是让消费者自动提交偏移量,每隔5秒消费者会自动把从 poll() 方法接收的最大偏移量提交上去

  • 手动提交

enable.auto.commit 被设置为 false 可以有以下三种提交方式

  • 提交当前偏移量(同步提交)
  • 异步提交
  • 同步和异步组合提交

提交当前偏移量(同步提交)

在这里插入图片描述

异步提交

在这里插入图片描述

同步和异步组合提交

在这里插入图片描述

SpringBoot集成kafka收发消息

  1. 导入 spring-kafka 依赖信息
<dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-web</artifactId>
</dependency>
<!--kafka-->
<dependency><groupId>org.springframework.kafka</groupId><artifactId>spring-kafka</artifactId><exclusions><exclusion><groupId>org.apache.kafka</groupId><artifactId>kafka-clients</artifactId></exclusion></exclusions>
</dependency>
<dependency><groupId>org.apache.kafka</groupId><artifactId>kafka-clients</artifactId>
</dependency>
<dependency><groupId>com.alibaba</groupId><artifactId>fastjson</artifactId>
</dependency>
  1. resources 下创建文件 application.yml
server:port: 9991
spring:application:name: kafka-demokafka:bootstrap-servers: 10.211.55.6:9092producer:retries: 10key-serializer: org.apache.kafka.common.serialization.StringSerializervalue-serializer: org.apache.kafka.common.serialization.StringSerializerconsumer:group-id: ${spring.application.name}-testkey-deserializer: org.apache.kafka.common.serialization.StringDeserializervalue-deserializer: org.apache.kafka.common.serialization.StringDeserializer
  1. 消息生产者
@RestController
public class HelloController {@Autowiredprivate KafkaTemplate<String, String> kafkaTemplate;@GetMapping("/hello")public String hello(){kafkaTemplate.send("topic-key", "hello mx");return "ok";}
}
  1. 消息消费者
@Component
public class HelloListener {@KafkaListener(topics = "topic-key")public void onMessage(String message){if (!StringUtils.isEmpty(message)){System.out.println(message);}}
}

传递消息为对象

目前springboot整合后的kafka,因为序列化器是StringSerializer,这个时候如果需要传递对象可以有两种方式

  • 方式一:可以自定义序列化器,对象类型众多,这种方式通用性不强
  • 方式二:可以把要传递的对象进行转json字符串,接收消息后再转为对象即可

发送消息

在这里插入图片描述

接收消息

在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/204928.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

好用的chatgpt工具用过这个比较快

chatgpthttps://www.askchat.ai?r237422 chatGPT能做什么 1. 对话和聊天&#xff1a;我可以与您进行对话和聊天&#xff0c;回答您的问题、提供信息和建议。 2. 问题回答&#xff1a;无论是关于事实、历史、科学、文化、地理还是其他领域的问题&#xff0c;我都可以尽力回答…

【目标跟踪】光流跟踪(python、c++代码)

文章目录 前言一、代码流程与思路二、python 代码2.1 代码详解2.2 完整代码 三、c 代码四、结果展示 前言 光流利用图像序列中像素在时间域上的变化以及相邻帧之间的相关性来找到上一帧跟当前帧之间存在的对应关系&#xff0c;从而计算出相邻帧之间物体的运动信息的一种方法。…

Maven 介绍

文章目录 什么是 maven为什么要选择mavenmaven 仓库什么是maven中央仓库什么是maven本地仓库 idea如何创建出maven项目如何引入第三方库依赖配置国内源 下载 Maven Helper 插件查看各个项目之间的依赖关系 什么是 maven Maven是 Apache 下的一个纯 Java 开发的开源项目&#x…

opencv-直方图

直方图是一种对图像亮度分布的统计表示&#xff0c;它显示了图像中每个灰度级别的像素数量。在OpenCV中&#xff0c;你可以使用cv2.calcHist() 函数计算直方图。 以下是一个简单的示例&#xff0c;演示如何计算和绘制图像的直方图&#xff1a; import cv2 import numpy as np …

超声波眼镜清洗机都有哪些是比较值得入手的?眼镜清洗机推荐

在当今社会&#xff0c;眼镜已经成为了我们日常生活中不可或缺的一部分。然而&#xff0c;眼镜的清洗问题却一直困扰着许多人。眼镜上的污垢和油脂不仅影响其美观&#xff0c;更重要的是可能会对眼睛的健康产生不良影响。因此&#xff0c;我们需要一种高效的眼镜清洗机来帮助我…

无需部署服务器,如何结合内网穿透实现公网访问导航页工具Dashy

文章目录 简介1. 安装Dashy2. 安装cpolar3.配置公网访问地址4. 固定域名访问 简介 Dashy 是一个开源的自托管的导航页配置服务&#xff0c;具有易于使用的可视化编辑器、状态检查、小工具和主题等功能。你可以将自己常用的一些网站聚合起来放在一起&#xff0c;形成自己的导航…

泛型边界的问题

作者简介&#xff1a;大家好&#xff0c;我是smart哥&#xff0c;前中兴通讯、美团架构师&#xff0c;现某互联网公司CTO 联系qq&#xff1a;184480602&#xff0c;加我进群&#xff0c;大家一起学习&#xff0c;一起进步&#xff0c;一起对抗互联网寒冬 我们花了两篇文章讲述了…

上市公司-绿色专利申请、授权(2000-2022年)

一、数据介绍 数据名称&#xff1a;上市公司-绿色专利申请、授权 数据范围&#xff1a;A股上市公司 数据年份&#xff1a;2000-2022年 数据样本&#xff1a;56167条 数据来源&#xff1a;国家知识产权局、WIPO绿色专利清单 数据整理&#xff1a;自主整理 二、数据用途 数…

开发知识点-ArkTS-鸿蒙开发-Typescript

Typescript IED IED https://developer.harmonyos.com/cn/develop/deveco-studio/#download

医疗影像数据集—CT、X光、骨折、阿尔茨海默病MRI、肺部、肿瘤疾病等图像数据集

最近收集了一大波关于CT、X光等医疗方面的数据集包含骨折、阿尔茨海默病MRI、肺部疾病等类型的医疗影像数据&#xff0c;废话不多说&#xff0c;给大家逐一介绍&#xff01;&#xff01; 1、彩色预处理阿尔茨海默病MRI(磁共振成像)图像数据集 彩色预处理阿尔茨海默病MRI(磁共…

Python爬虫404错误:解决方案总结

在进行网络爬虫开发的过程中&#xff0c;经常会遇到HTTP 404错误&#xff0c;即“Not Found”错误。这种错误通常表示所请求的资源不存在。对于爬虫开发者来说&#xff0c;处理这类错误是至关重要的&#xff0c;因为它们可能会导致爬虫无法正常工作。本文将探讨Python爬虫遇到4…

如何在 Vim 中剪切、复制和粘贴

目录 前言 如何在 Vim 编辑器中复制文本 如何在 Vim 编辑器中剪切文本 如何在 Vim 编辑器中粘贴文本 如何通过选择文本来剪切和复制文本 通过选择文本复制 在 Vim 中选择文本来剪切文本 前言 在本篇 Vim 快速技巧中&#xff0c;你将学习到剪切和复制粘贴的相关知识。 剪…

2022年土地出让数据,超多字段,附数据可视化

分享一个土地出让数据&#xff0c;详细信息如下&#xff1a; 数据名称: 2022年土地出让数据 数据格式: Shp、excel 数据时间: 2022年 数据几何类型: 点 数据坐标系: WGS84坐标系 数据来源&#xff1a;网络公开数据 部分字段如下&#xff1a; 如需获取可搜“吧唧数…

Django请求生命周期流程

浏览器发起请求。 先经过网关接口&#xff0c;Django自带的是wsgiref&#xff0c;请求来的时候解析封装&#xff0c;响应走的时候打包处理&#xff0c;这个wsgiref模块本身能够支持的并发量很少&#xff0c;最多1000左右&#xff0c;上线之后会换成uwsgi&#xff0c;并且还会加…

python基于YOLOv7系列模型【yolov7-tiny/yolov7/yolov7x】开发构建钢铁产业产品智能自动化检测识别系统

在前文的项目开发实践中&#xff0c;我们已经以钢铁产业产品缺陷检测数据场景为基准&#xff0c;陆续开发构建了多款目标检测模型&#xff0c;感兴趣的话可以自行阅读即可。 《YOLOv3老矣尚能战否&#xff1f;基于YOLOv3开发构建建钢铁产业产品智能自动化检测识别系统&#xf…

Day44力扣打卡

打卡记录 给小朋友们分糖果 II&#xff08;容斥原理 隔板法&#xff09; 链接 def c2(n):return n * (n - 1) // 2 if n > 1 else 0class Solution:def distributeCandies(self, n: int, limit: int) -> int:return c2(n 2) - 3 * c2(n - limit 1) 3 * c2(n - 2 * …

tcpdump使用心得

参考原文 https://danielmiessler.com/p/tcpdump/ 几个用例 tcpdump -i eth0 显示eth0网卡当前所有的抓包情况eth0是网卡名&#xff0c;可以通过ifconfig获得&#xff0c;也可以通过 tcpdump -D 显示当前可以监听的网卡 -i 参数表示接口&#xff0c;后跟要监听的网卡 tcpdu…

初刷leetcode题目(10)——数据结构与算法

&#x1f636;‍&#x1f32b;️&#x1f636;‍&#x1f32b;️&#x1f636;‍&#x1f32b;️&#x1f636;‍&#x1f32b;️Take your time ! &#x1f636;‍&#x1f32b;️&#x1f636;‍&#x1f32b;️&#x1f636;‍&#x1f32b;️&#x1f636;‍&#x1f32b;️…

Unity-链接MySql5.7

链接MySql5.7 前言&#xff1a; 为什么不选择最新的MySQL8.0或者MySQL8.2呢&#xff0c;实际发现&#xff0c;如果使用这两个版本&#xff0c;虽然能够用同样的方法找到合适的dll&#xff0c;但是在编写代码的过程中往往会卡死&#xff0c;非常的影响效率&#xff0c;因此放弃…

webGL开发虚拟实验室

开发虚拟实验室是一个具有挑战性但也非常有趣和有价值的任务。通过 WebGL&#xff0c;你可以创建交互式、沉浸式的虚拟实验室&#xff0c;使用户能够进行实验和学习。以下是一些步骤和关键考虑因素&#xff0c;帮助你开始开发虚拟实验室&#xff0c;希望对大家有所帮助。北京木…