kafka 3.x 学习笔记

在 kafka 2.8.0 版本之前，安装使用 kafka 需要配套安装 zookeeper，但在 2.8.0 版本之后，不再需要安装 zookeeper，本次学习笔记采用的 kafka 版本为 3.0.0。

一、kafka 定义

1 什么是 kafka？

• 传统定义：kafka 是一个分布式的基于发布/订阅模式的消息队列，主要应用于大数据实时处理领域。

  • 发布/订阅：消息的发布者不会将消息发给特定的订阅者，而是将发布的消息分为不同的类别，订阅者只接收感兴趣的消息。

• kafka 是一个开源的分布式事件流平台，被数千家公司用于高性能数据管道、流分析、数据集成和关键任务应用。

2 消息队列

市面上常见的消息队列产品主要有 kafka、ActiveMQ、RabbitMQ、RocketMQ 等。在大数据领域主要采用 kafka 作为消息队列，在 java web开发中主要采用 ActiveMQ、RabbitMQ、RoketMQ。

3 消息队列应用场景

• 缓冲/消峰：尤其是特定环境下大量的并发请求，后端接口不能在短时间承受这些大量的接口，因此采用消息队列做缓冲处理。
  
  
  

• 异步解耦：举例一个通俗易懂的案例：现在的很多平台都提供了借钱的入口，比如美团，我猜测美团后台的逻辑大致应该是这样的：

  • 1、首先用户提交个人信息；

  • 2、美团后端接收到用户信息后，进行借款额度判断：

    比如调用法院官网，查看此人是不是老赖；
    调用银行的征信系统，查看此人征信是否良好等等；
    调用政府相关部门官网，查看此人是否有房产车产等等。
    调用完毕后，得出一个初始的可款额度。

  • 3、将用户存入借款用户表；

  • 4、调用第三方短信服务，向用户发送借款额度的通知短信；

  • 5、美团 app 向用户展示可借款金额，然后向用户确认是否借款，如借款则向用户银行卡转账。

举例的这个小案例，只是本人的猜测，如果这些步骤采用同步的方式设计的话，显然很不友好，采用异步不仅能解耦，也能加快后端服务的响应速度。

4 消息队列的两种模式

• 点对点模式：消费者主动拉取数据，消息收到后清楚消息。
• 发布/订阅模式：可以有多个 topic 主题，消费者获取自己对应的 topic，消费者消费数据之后，不删除数据，并且消费者之间相互独立。

5 kafka 基础架构

但是对于每个 topic，数据量太大的时候为提高吞吐量，可以将 topic 进行分而治之：

二、Centos 7 安装 kafka

kafka 官方地址：http://kafka.apache.org/downloads.html

1 在官网下载安装包后上传至服务器，进行解压安装：

tar -zxvf kafka_2.12-3.0.0.tgz

2 把 kafka_2.12-3.0.0 重命名：kafka

mv kafka_2.12-3.0.0 kafka