Kafka系列之:记录一次源头数据库刷数据,造成数据丢失的原因 一、背景二、查看topic日志信息三、结论四、解决方法 一、背景 源头数据库在很短的时间内刷了大量的数据,部分数据在hdfs丢失了 理论上debezium数据采集不会丢失,就需要排查数据链路某个节点是否有数据丢失。 数据链路是:debezium——kafka——flume——hdfs 根据经验定位数据在kafka侧丢失,下一面进一步确认是否数据在kafka侧丢失 二、查看topic日志信息 Kafka日志信息如下: [2025-02-20 23:58:21,009] INFO [Log partition