一、kafka(一)是什么?
kafka是一个分布式、支持分区、多副本,基于zookeeper协调的分布式消息系统;
二、应用场景
日志收集:一个公司可以用Kafka收集各种服务的log,通过kafka推送到各种存储系统;
消息系统:解耦和生产者和消费者、缓存消息等。
数据收集:将数据推送到kafka中,订阅者消费处理分析;
三、kafka的基本概念
Broker:消息中间处理节点;
Topic:kafka根据topic对详细进行归类,发布到kafka的每一条消息都要指定topic;
Producer:生产者,向Broker推送消息的客户端;
Consumer:消费者,从Broker读取消息的客户端;
ConsumerGroup:每个Consumer属于一个特定的Consumer Group,一条消息可以被多个不同的Consumer Group消费,但是一个Consumer Group中只能有一个Consumer消费;
Partition:物理概念,一个投pic可分为多个partition,每个partition内部消息是有序的;
kafka所有消息存储在文件上,消费完不会删除;(默认保持一周)
四、消费类型
普通消费:消费最新消息
消费多主题消息:同一个消费者可以监听多个topic进行消费;
单播消费:一条消息在一组消费者中只能有一个消费者消费;
多播消息:消费者指定不同的消费组,每个消费组下的消费者都可以消费同一消息;
kafka是如何做到单播消费与多播消费的?
kafka的消费是以组为单位,组内只有一个消费者可以消费成功,组内会记录消费消息的偏移量与未消费数量;
五、副本
一个topic可以指定多个分区,每个分区可以指定对个副本;
六、消费顺序
一个partition同一时刻在一个Consumer group中只能有一个consumer 在消费,从而保证顺序;consumer group中的consumer 数量不能比一个topic中的partition数量多,否则多出来的消费不到消息;