大家好，我是锋哥。今天分享关于【Kafka的消费消息是如何传递的？】面试题。希望对大家有帮助；
Kafka的消费消息是如何传递的？
1000道 互联网大厂Java工程师 精选面试题-Java资源分享网
Kafka 的消息传递机制是基于 发布-订阅 模型的，其中生产者（Producer）向 Kafka 生产消息，而消费者（Consumer）从 Kafka 中消费消息。Kafka 通过一系列特性保证了消息的传递和消费过程的可靠性和高效性。
1. 消息存储与分区
Kafka 中的消息存储在 Topic 中。每个 Topic 可以分为多个 Partition，消息按顺序写入到 Partition 内。每个 Partition 是有序的，Kafka 保证同一个 Partition 内的消息顺序。
2. 生产者（Producer）
生产者将消息写入 Kafka 中的某个 Topic。生产者通常可以通过配置选择将消息发送到特定的 Partition，也可以通过负载均衡算法（如轮询）将消息分配到不同的 Partition 中。
3. 消费者（Consumer）
消费者从 Kafka 中消费消息。Kafka 支持两种主要的消费模型：
- 单一消费者模式：每个消费者独立消费所有的消息。
- 消费者组（Consumer Group）：消费者按组进行消费，Kafka 会将不同 Partition 的消息分配给组中的消费者，每个 Partition 内的消息会被组中的一个消费者消费。这样可以在多个消费者之间分摊负载。
4. 消费者组与消息传递
- 每个消费者组拥有一个唯一的 Group ID，在一个消费者组内，Kafka 会确保同一个 Partition 的消息只会被该组内的一个消费者消费。
- 如果消费者组有多个消费者，Kafka 会把每个 Partition 的消息均匀地分配给消费者。每个消费者只会消费分配给它的 Partition 中的消息。
- 如果有新的消费者加入消费者组，Kafka 会重新平衡分配 Partition，确保负载均衡。
5. 消息的传递与偏移量（Offset）
- Kafka 通过 偏移量（Offset） 来记录消费者读取消息的位置。每个 Partition 中的消息都有一个唯一的偏移量，消费者读取消息时会记录下上次读取的偏移量，下次读取时从该偏移量继续。
- 消费者可以选择 自动提交偏移量 或 手动提交偏移量：
- 自动提交：消费者会周期性地提交它已经消费的消息的偏移量。
- 手动提交：消费者控制什么时候提交偏移量，通常用于保证精确一次（exactly once）的消费语义。
6. 消息的可靠性与容错
Kafka 通过副本机制保证消息的可靠性。每个 Partition 的消息会被复制到其他的 Broker 节点，通常是 3 个副本（可以配置），即使某个 Broker 节点故障，消息仍然能从其他副本中恢复。
7. 消息确认与ACK机制
Kafka 提供了 消息确认（ACK）机制来确保消息的可靠传递。生产者可以根据需求设置不同的 ACK 配置：
acks=0：生产者发送消息后不等待确认。acks=1：生产者等待主副本确认后再返回。acks=all：生产者等待所有副本确认后才返回，确保消息在所有副本中都已成功写入。
消费者接收到消息后，通常会发送一个 消费确认（commit） 来标记已消费某个偏移量，从而避免重复消费。
8. 消息传递流程概述
- 生产者 将消息发送到 Kafka 的某个 Topic 中的 Partition。
- Kafka Broker 将消息存储在相应的 Partition 中。
- 消费者通过拉取（poll）请求从 Kafka 中读取消息。
- 消费者读取到消息后，根据配置（自动或手动）提交消费的偏移量。
- 如果消费者属于一个 消费者组，Kafka 会根据消费者组的负载均衡策略，确保每个 Partition 的消息只有一个消费者来处理。
总结
Kafka 的消息传递是通过 Topic 和 Partition 来组织的，生产者负责将消息写入 Kafka，消费者则按需从 Kafka 中读取消息。消费者组提供了高效的负载均衡机制，偏移量管理则保证了消息的有序消费。通过副本机制和 ACK 机制，Kafka 保证了消息传递的可靠性和容错能力。
