Kafka常见操作

官网地址

声明: 由于操作系统, 版本更新等原因, 文章所列内容不一定100%复现, 还要以官方信息为准

https://kafka.apache.org/

Kafka概述

Apache Kafka 是一个开源的分布式事件流平台，提供高性能数据管道、流分析、 数据集成和任务关键型应用程序。

Kafka的基础操作

本节将在Kafka集群上执行。所有工具都可以在Kafka发行版的bin/目录下使用，如果在没有参数的情况下运行，每个工具都会打印所有可能的命令行选项的详细信息。

• 添加和删除主题 创建一个名为 my_topic_name的主题, 分区为10, 副本数为2(上次搭建的集群只有两个broker), 保留时间是1天

  bin/kafka-topics.sh --bootstrap-server localhost:9092 --create --topic my_topic_name \--partitions 10 --replication-factor 2 --config retention.ms=86400000
  

  

• 查看分区是否正常创建 ls /tmp/kraft-combined-logs/
  

• 删除主题, 可以看到分区被逻辑删除啦,

  bin/kafka-topics.sh --bootstrap-server localhost:9092 --delete --topic my_topic_name
  

  

• 修改主题, 只需要把delete 改为alert即可

• 优雅地关闭, 以下内容直接参考官网, 未在本机上测试

  • 关闭生产者
  • 关闭消费者
  • 添加controlled.shutdown.enable=true
  • bin/kafka-server-stop.sh

• 设置具有优先的领导权, 用于一个服务实例宕机启动

  auto.leader.rebalance.enable=true
  

• 跨机架平衡复制副本, 实现Kafka故障转移和容灾备份

   broker.rack=my-rack-id
  

• 查看消费者的位置

  bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 --describe --group my-group
  

• 管理消费者组

  bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 --list
  

• 列出消费者组详细信息

  bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 --describe --group my-group
  

  • 还可以加一些参数
  • –members 提供使用者组中所有活动成员的列表
  • –members --verbose 还提供分配给每个成员的分区
  • –offsets 默认的description选项，提供与“–description”选项相同的输出
  • –state 提供有用的组级别信息
  • –delete 删除一个或多个消费者组

• 扩展集群

• 下线服务实例

• 增加复制因子

• 限制数据迁移期间的带宽使用

• 配置额度

  • 自定义额度对于 (user=user1, client-id=clientA)

    bin/kafka-configs.sh  --bootstrap-server localhost:9092 --alter --add-config 'producer_byte_rate=1024,consumer_byte_rate=2048,request_percentage=200' --entity-type users --entity-name user1 --entity-type clients --entity-name clientA
    

  • 自定义额度对于 user=user1

    bin/kafka-configs.sh  --bootstrap-server localhost:9092 --alter --add-config 'producer_byte_rate=1024,consumer_byte_rate=2048,request_percentage=200' --entity-type users --entity-name user1
    

  • 自定义额度对于 client-id=clientA

    bin/kafka-configs.sh  --bootstrap-server localhost:9092 --alter --add-config 'producer_byte_rate=1024,consumer_byte_rate=2048,request_percentage=200' --entity-type clients --entity-name clientA
    

  • 为user=userA配置默认客户端id配额

    bin/kafka-configs.sh  --bootstrap-server localhost:9092 --alter --add-config 'producer_byte_rate=1024,consumer_byte_rate=2048,request_percentage=200' --entity-type users --entity-name user1 --entity-type clients --entity-default
    

  • 配置默认配额对于user

    bin/kafka-configs.sh  --bootstrap-server localhost:9092 --alter --add-config 'producer_byte_rate=1024,consumer_byte_rate=2048,request_percentage=200' --entity-type users --entity-default
    

  • 配置默认配额对于client-id

    bin/kafka-configs.sh  --bootstrap-server localhost:9092 --alter --add-config 'producer_byte_rate=1024,consumer_byte_rate=2048,request_percentage=200' --entity-type clients --entity-default
    

  • 查询分配的配额 (user, client-id)

    bin/kafka-configs.sh  --bootstrap-server localhost:9092 --describe --entity-type users --entity-name user1 --entity-type clients --entity-name clientA
    

  • 查询分配的配额 (user)

    bin/kafka-configs.sh  --bootstrap-server localhost:9092 --describe --entity-type users --entity-name user1
    

  • 查询分配的配额 (client-id)

    bin/kafka-configs.sh  --bootstrap-server localhost:9092 --describe --entity-type clients --entity-name clientA
    

  • 查询分配的配额 (所有user)

    bin/kafka-configs.sh  --bootstrap-server localhost:9092 --describe --entity-type users
    

  • 查询分配的配额 (所有user, client-id)

    bin/kafka-configs.sh  --bootstrap-server localhost:9092 --describe --entity-type users --entity-type clients
    

更新计划

欲知后事如何, 请听下回分解