目录
- 一、文件清理策略
- 1.1、文件清理策略的概述
- 1.2、文件清理策略的官方文档
- 1.3、日志超过了设置的时间如何处理
- 1.3.1、delete日志删除(将过期数据删除)
- 1.3.2、compact日志压缩
一、文件清理策略
1.1、文件清理策略的概述
- Kafka 中默认的日志保存时间为 7 天,可以通过调整如下参数修改保存时间。
参数 解释 log.retention.hours 小时,最低优先级(默认 7天) log.retention.minutes 分钟 log.retention.ms 毫秒,最高优先级 log.retention.check.interval.ms 负责设置检查周期(默认 5 分钟)
1.2、文件清理策略的官方文档
- 参考官方文档
官方文档地址:https://kafka.apache.org/documentation/
1.3、日志超过了设置的时间如何处理
- Kafka 中提供的日志清理策略有 delete 和 compact两种。
1.3.1、delete日志删除(将过期数据删除)
- log.cleanup.policy = delete 所有数据启用删除策略。
(1)、基于时间:默认打开。以 segment 中所有记录中的最大时间戳作为该文件时间戳。
(2)、基于大小:默认关闭。超过设置的所有日志总大小,删除最早的 segment。log.retention.bytes,默认等于-1,表示无穷大。
1.3.2、compact日志压缩
- compact日志压缩:对于相同key的不同value值,只保留最后一个版本。
- log.cleanup.policy = compact 所有数据启用压缩策略
- 压缩后的offset可能是不连续的,比如上图中没有6,当从这些offset消费消息时,将会拿到比这个offset大的offset对应的消息,实际上会拿到offset为7的消息,并从这个位置开始消费。
- 这种策略只适合特殊场景,比如消息的key是用户ID,value是用户的资料,通过这种压缩策略,整个消息集里就保存了所有用户最新的资料。