1. Kafka如何保证消息不丢失
生产者发送消息到Brocker丢失
- 设置异步发送
- 消息重试
消息在Brocker中存储丢失
- 发送确认机制acks
消费者从Brocker接收消息丢失
- Kafka 中的分区机制指的是将每个主题划分成多个分区(Partition)
- topic分区中消息只能由消费者组中的唯一一个消费者处理,不同的分区分配给不同的消费者(同一个消费者组)
消费者默认是自动按期提交已经消费的偏移量,默认是每隔5s提交一次 如果出现重平衡的情况,可能会重复消费或丢失数据
禁用自动提交偏移量,改为手动
- 同步提交
- 异步提交
- 同步+异步组合提交
2. Kafka是如何保证消费的顺序性
问题原因:
一个topic的数据可能存储在不同的分区中,每个分区都有一个按照顺序的存储的偏移量,如果消费者关联了多个分区不能保证顺序性
解决方案:
- 发送消息时指定分区号
- 发送消息时按照相同的业务设置相同的key
3. Kafka的高可用机制有了解过嘛
集群模式
分区备份机制
4. Kafka数据清理机制了解过嘛
Kafka存储结构
- Kafka中topic的数据存储在分区上,分区如果文件过大会分段存储segment
- 每个分段都在磁盘上以索引(xxxx.index)和日志文件(xxxx.log)的形式存储
- 分段的好处是,第一能够减少单个文件内容的大小,查找数据方便,第二方便kafka进行日志清理。
日志的清理策略有两个:
- 根据消息的保留时间,当消息保存的时间超过了指定的时间,就会触发清理,默认是168小时( 7天)
- 根据topic存储的数据大小,当topic所占的日志文件大小大于一定的阈值,则开始删除最久的消息。(默认关闭)
5. Kafka中实现高性能的设计有了解过嘛
- 消息分区:不受单台服务器的限制,可以不受限的处理更多的数据
- 顺序读写:磁盘顺序读写,提升读写效率
- 页缓存:把磁盘中的数据缓存到内存中,把对磁盘的访问变为对内存的访问
- 零拷贝:减少上下文切换及数据拷贝
- 消息压缩:减少磁盘IO和网络IO
- 分批发送:将消息打包批量发送,减少网络开销