Kafka 01——Kafka的安装及简单入门使用

Kafka 01——Kafka的安装及简单入门使用

  • 1. 下载安装
    • 1.1 JDK的安装
    • 1.2 Zookeeper的安装
      • 1.2.1 关于Zookeeper版本的选择
      • 1.2.2 下载、安装Zookeeper
    • 1.3 kafka的安装
      • 1.3.1 下载
      • 1.3.2 解压
      • 1.3.3 修改配置文件
  • 2. 启动 kafka
    • 2.1 Kafka启动
    • 2.2 启动 kafka 遇到的问题
      • 2.2.1 问题1
      • 2.2.2 问题2
  • 3. 简单实用
    • 3.1 创建topic
    • 3.2 查看已创建的topic
    • 3.3 发送消息
      • 3.3.1 发送消息命令
      • 3.3.2 遇到的问题
        • 3.3.2.1 问题1
        • 3.3.2.2 问题2
    • 3.4 接收消息
      • 3.4.1 接收消息演示
      • 3.4.2 接收消息的相关知识小点
    • 3.5 查看zk
  • 4. 总结
    • 4.1 Kafka 基本概念
    • 4.2 常见命令
      • 4.2.1 常用的基础命令
      • 4.2.2 简单实用命令
    • 4.3 数据日志
    • 4.4 结构图

1. 下载安装

1.1 JDK的安装

  • 因为kafka本身的开发语言是Scala，而Scala是基于 jdk 开发的，所以要先安装jdk，关于 jdk 的安装，可以看下面的两篇文章，如下：
    • Linux安装JDK1.8.
    • linux下普通用户（非root用户）安装JDK8.

1.2 Zookeeper的安装

1.2.1 关于Zookeeper版本的选择

  • 可以根据下面下载的 kafaka 的版本选择对应的Zookeeper版本，怎么选择，如下：
    • 方式1：直接看Kafka里libs下的jar包，如下：
      在这里插入图片描述
    • 方式2：也可以通过查看源码，看版本信息，如下：
      在这里插入图片描述

1.2.2 下载、安装Zookeeper

  • 去官网，根据需要下载对应的版本，如下：
    在这里插入图片描述
  • 关于 Zookeeper 的安装，可以看下面的文章
    zookeeper安装与使用（win+linux）.

1.3 kafka的安装

1.3.1 下载

  • 去官网下载需要的版本，官网地址：
    https://kafka.apache.org/downloads.
    在这里插入图片描述

1.3.2 解压

  • 然后解压，如下：
    tar -zxvf kafka_2.12-2.8.2.tgz
    在这里插入图片描述

1.3.3 修改配置文件

  • 修改配置文件 server.properties ，如下：
    在这里插入图片描述

  • 配置信息如下：
    在这里插入图片描述

    在这里插入图片描述

    # The id of the broker. This must be set to a unique integer for each broker.
broker.id=0listeners=PLAINTEXT://内网IP:9092
advertised.listeners=PLAINTEXT://公网IP:9092zookeeper.connect=zk的公网IP:2181# …… 其他配置，先默认即可

2. 启动 kafka

2.1 Kafka启动

  • 启动命令如下：

    ./kafka-server-start.sh ../config/server.properties &

    在这里插入图片描述

  • 启动成功之后，显示：
    在这里插入图片描述

  • 查看进程：

    ps -ef | grep kafka

    在这里插入图片描述

2.2 启动 kafka 遇到的问题

2.2.1 问题1

  • 问题描述，如下：
    org.apache.kafka.common.KafkaException: Socket server failed to bind to XXX:9092: Cannot assign requested address.
    在这里插入图片描述
  • 问题原因
    • 服务器的公网IP（对外暴露的ip）和真实ip（ifconfig显示的ip）可能只是映射关系，用户访问对外ip时，OpenStack会转发到对应的真实ip实现访问。
    • 但此时如果配置文件中 server.properties 配置中的是listeners=PLAINTEXT://公网IP:9092 的时候无法启动，因为socket无法绑定监听，就会报上面的错误。
    • 解决方法也很简单，将上面的配置，改成listeners=PLAINTEXT://内网IP:9092即可，其他使用时正常使用公网ip即可，跟真实的内网ip就没有关系了。
  • 解决问题

    • 先查看内网IP

      ifconfig

      在这里插入图片描述

    • 再修改配置文件 server.properties，如下：

      listeners=PLAINTEXT://内网IP:9092
advertised.listeners=PLAINTEXT://公网IP:9092

      在这里插入图片描述

  • 然后重新启动即可。
    在这里插入图片描述

2.2.2 问题2

3. 简单实用

3.1 创建topic

  • 如下：
    ./kafka-topics.sh --create --zookeeper zookeeper服务的IP:2181 --replication-factor 1 --partitions 1 --topic susu-topic
    在这里插入图片描述

3.2 查看已创建的topic

  • 如下：
    ./kafka-topics.sh -list --zookeeper zookeeper服务的IP:2181
    在这里插入图片描述

3.3 发送消息

3.3.1 发送消息命令

  • 如下：
    ./kafka-console-producer.sh --broker-list 内网IP:9092 --topic susu-topic或者./kafka-console-producer.sh --broker-list 公网IP:9092 --topic susu-topic
    在这里插入图片描述

3.3.2 遇到的问题

3.3.2.1 问题1

  • 问题描述如下：
    [2023-08-10 09:01:57,758] WARN [Producer clientId=console-producer] Bootstrap broker 43.143.190.116:9092 (id: -1 rack: null) disconnected (org.apache.kafka.clients.NetworkClient)
[2023-08-10 09:02:15,979] WARN [Producer clientId=console-producer] Bootstrap broker 43.143.190.116:9092 (id: -1 rack: null) disconnected (org.apache.kafka.clients.NetworkClient)
[2023-08-10 09:02:49,538] WARN [Producer clientId=console-producer] Bootstrap broker 43.143.190.116:9092 (id: -1 rack: null) disconnected (org.apache.kafka.clients.NetworkClient)
[2023-08-10 09:02:50,562] ERROR Error when sending message to topic susu-topic with key: null, value: 4 bytes with error: (org.apache.kafka.clients.producer.internals.ErrorLoggingCallback)org.apache.kafka.common.errors.TimeoutException: Topic susu-topic not present in metadata after 60000 ms.>[2023-08-10 09:03:18,069] WARN [Producer clientId=console-producer] Bootstrap broker 43.143.190.116:9092 (id: -1 rack: null) disconnected (org.apache.kafka.clients.NetworkClient)
[2023-08-10 09:03:47,001] WARN [Producer clientId=console-producer] Bootstrap broker 43.143.190.116:9092 (id: -1 rack: null) disconnected (org.apache.kafka.clients.NetworkClient)
    在这里插入图片描述
  • 解决问题：
    这里我的处理是开放 9092 端口，关于开放端口和防火墙问题，可以看下面的文章：
    linux下查看防火墙状态、关闭防火墙、开放关闭端口等.

3.3.2.2 问题2

  • 开放端口之后的问题，如下，问题描述：
     WARN [Producer clientId=console-producer] Connection to node -1 (/XXX:9092) could not be established. Broker may not be available. (org.apache.kafka.clients.NetworkClient)
    在这里插入图片描述
  • 解决问题：
    这里就是重启服务，重启kafka，问题就解决了，不知道啥问题，总之，重启能解决百分之九十九的问题！！！

3.4 接收消息

3.4.1 接收消息演示

  • 如下：
    ./kafka-console-consumer.sh --bootstrap-server 外网IP或内网IP:9092 --topic susu-topic --from-beginning
    在这里插入图片描述

3.4.2 接收消息的相关知识小点

  • 如下：
    • 消费方式1: 从头开始消费
      ./kafka-console-consumer.sh --bootstrap-server IP:9092 --topic susu-topic --from-beginning
    • 消费方式2: 从最后一条消息的偏移量+1开始消费
      ./kafka-console-consumer.sh --bootstrap-server IP:9092 --topic susu-topic
  • 具体如下：
    在这里插入图片描述

3.5 查看zk

  • 如下：
    在这里插入图片描述

4. 总结

4.1 Kafka 基本概念

  • Kafka 是一种消息队列，主要用来处理大量数据状态下的消息队列，一般用来做日志的处理。既然是消息队列，那么 Kafka 也就拥有消息队列的相应的特性了。
  • Kafka 像其他MQ一样，也有自己的基础架构，主要存在生产者 Producer、Kafka 集群 Broker、消费者Consumer、注册消息Zookeeper.
    • Topic：主题，一个虚拟的概念，由1到多个 Partitions 组成，可以理解为一个队列，生产者和消费者都是面向一个Topic。
    • Partition：分区，实际消息存储单位。为了实现扩展性，一个非常大的Topic可以分布到多个Broker上，一个Topic可以分为多个 Partition，每个 Partition 是一个有序的队列(分区有序，不能保证全局有序)。
    • Producer：消息生产者，向 Kafka 中发布消息的角色。
    • Consumer：消息消费者，从 Kafka 中拉取消息消费的客户端。
    • Broker：经纪人，一台 Kafka 服务器就是一个 Broker，一个集群由多个 Broker 组成，一个 Broker 可以容纳多个 Topic。

4.2 常见命令

4.2.1 常用的基础命令

  • 启动命令：
    ./kafka-server-start.sh ../config/server.properties &
  • 停止命令：
     ./kafka-server-stop.sh
  • 地点

4.2.2 简单实用命令

  • 创建topic
    # 创建topic
./kafka-topics.sh --create --zookeeper zookeeper的IP:2181 --replication-factor 1 --partitions 1 --topic susu-topic
  • 查看已经创建的topic信息
    # 查看已经创建的topic信息
./kafka-topics.sh -list --zookeeper zookeeper的IP:2181
  • 发送消息
    ./kafka-console-producer.sh --broker-list 内网IP:9092 --topic susu-topic或者./kafka-console-producer.sh --broker-list 公网IP:9092 --topic susu-topic
  • 接收消息
    ./kafka-console-consumer.sh --bootstrap-server 外网IP或内网IP:9092 --topic susu-topic --from-beginning

4.3 数据日志

  • 查看数据日志，存放路径，看配置文件里配的哪个路径 log.dirs，如下：
    在这里插入图片描述

4.4 结构图

  • 如下：
    在这里插入图片描述

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.rhkb.cn/news/88459.html

如若内容造成侵权/违法违规/事实不符，请联系长河编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

《高性能MySQL》——查询性能优化（笔记）

《高性能MySQL》——查询性能优化（笔记）

文章目录 六、查询性能优化6.1 查询为什么会慢6.2 慢查询基础：优化数据访问6.2.1 是否向数据库请求了不需要的数据查询不需要的记录多表关联时返回全部列总是取出全部列重复查询相同的数据 6.2.2 MySQL 是否在扫描额外的记录响应时间扫描的行数与返回的行数扫描的行…
阅读更多...
项目实战 — 消息队列（8）{网络通信设计①}

项目实战 — 消息队列（8）{网络通信设计①}

目录 一、自定义应用层协议 🍅 1、格式定义 🍅 2、准备工作 🎄定义请求和响应 🎄 定义BasicArguments 🎄 定义BasicReturns 🍅 2、创建参数类 🎄 交换机 🎄 队列 &#x1f38…
阅读更多...
Linux常用命令学习总结

Linux常用命令学习总结

Linux命令分类 1. Linux目录操作命令2. Linux文件名称3. Linux磁盘命令4. Linux进程与防火墙5. Linux用户与组的关系6. Linux权限操作(chmod命令)7. Linux中的文件类型文件所有者修改 最近系统地学习下Linux命令的使用，因此作如下记录，以便随时复习和翻阅…
阅读更多...
windows 安装免费3用户ccproxy ubuntu 代理上网

windows 安装免费3用户ccproxy ubuntu 代理上网

Windows 上进行安装 ubuntu 上进行设置 方法一 (临时的手段) 如果仅仅是暂时需要通过http代理使用apt-get，您可以使用这种方式。 在使用apt-get之前，在终端中输入以下命令（根据您的实际情况替换yourproxyaddress和proxyport）。 终…
阅读更多...
NetSuite 固定资产租赁101

NetSuite 固定资产租赁101

目录 前言 1.新租赁准则的相关内容 1.1 主要变化 1.2 IFRS 16/ASC 842/CAS 21的区别与联系 1.3 新租赁准则实行的意义 2.NetSuite中的租赁功能 2.1 概述 2.2 设置 2.2.1 相关科目设置 2.2.2 资产类型设置 2.3 功能详细说明 2.3.1 案例一 2.3.2 案例二 3.新租赁准则…
阅读更多...
ubuntu切换python版本

ubuntu切换python版本

在没有安装类似anoconda的管理工具的时候，我们常常会被Ubuntu下的Python版本切换问题所头疼。 可以使用update-alternatives工具进行python版本的任意切换 当使用update-alternatives工具来切换Ubuntu系统上的Python版本时，您实际上是在系统范围内选择…
阅读更多...
week4刷题

week4刷题

题解: F(n)F(n−1)F(n−2) 由于斐波那契数存在递推关系&#xff0c;因此可以使用动态规划求解。动态规划的状态转移方程即为上述递推关系&#xff0c;边界条件为 F(0)F(0)F(0) 和 F(1)F(1)F(1)。 class Solution { public:int fib(int n) {int MOD 1000000007;if (n < 2)…
阅读更多...
6.pip简介，第三方库的安装

6.pip简介，第三方库的安装

引言 使用过Visual Studio的小伙伴可能对npm不陌生，没错，pip与npm的功能是一样的。 首先要知道，Python这门语言拥有着丰富的标准库以及先辈们开发的各种功能强大的第三方库。而今天我们主要学习的呢就是关于Python中的包管理工具。它是Python的默认软件包管理工具，可以方便…
阅读更多...
mybatis如何生成和执行动态sql

mybatis如何生成和执行动态sql

文章目录 1. 相关代码2. SQL 语句解析流程2.1 XMLStatementBuilder2.2 SqlSource2.3 DynamicContext上下文2.4 SqlNode和组合模式2.5 MappedStatement2.6 解析标签2.6.1 \<include>2.6.2 \<selectKey>2.6.3 处理 SQL 语句 3. 获取真正执行的sql 1. 相关代码 packa…
阅读更多...
棒球在国际上的流行·棒球1号位

棒球在国际上的流行·棒球1号位

棒球在国际上的流行 1. 棒球的起源与历史 棒球的起源源于美国。19世纪中叶&#xff0c;由于美国领土的扩张&#xff0c;当时的美国殖民地的印第安人将棒球类游戏&#xff0c;带到了当时的弗吉尼亚州的奥克兰。后来&#xff0c;棒球运动流传到了加利福尼亚州的圣迭戈。早期的棒…
阅读更多...
LeetCode--HOT100题（25）

LeetCode--HOT100题（25）

目录 题目描述&#xff1a;141. 环形链表&#xff08;简单&#xff09;题目接口解题思路代码 PS: 题目描述&#xff1a;141. 环形链表&#xff08;简单&#xff09; 给你一个链表的头节点 head &#xff0c;判断链表中是否有环。 如果链表中有某个节点&#xff0c;可以通过连…
阅读更多...
QtCreator ui设置界面 Layout 的属性 layoutStretch

QtCreator ui设置界面 Layout 的属性 layoutStretch

layoutStretch 用于控制Layout在被用户进行缩放时。里面控件的缩放比例。如一个水平布局里面有两个控件 一个 QLineEdit 和 QPushButton。首先将两个控件的尺寸策列的水平策略都设置为Expanding。此时在将包含这两个控件的水平布局的 layoutStretch 进行如下设置。 运行程序就…
阅读更多...
利用python实现网络设备配置批量上传和批量下载功能

利用python实现网络设备配置批量上传和批量下载功能

利用python实现网络设备配置批量上传和批量下载功能 利用ensp实现网络设备和物理主机互通配置网络设备配置批量上传功能配置批量下载功能常见问题 提示&#xff1a; 本文章代码所使用目录均使用相对目录&#xff0c;只需将配置存放目录和文件下载目录&#xff08;已用符号标出…
阅读更多...
8.利用matlab完成 符号微积分和极限 （matlab程序）

8.利用matlab完成 符号微积分和极限 （matlab程序）

1.简述 一、符号微积分 微积分的数值计算方法只能求出以数值表示的近似解&#xff0c;而无法得到以函数形式表示的解析解。在 MATLAB 中&#xff0c;可以通过符号运算获得微积分的解析解。 1. 符号极限 MATLAB 中求函数极限的函数是 limit&#xff0c;可用来求函数在指定点的…
阅读更多...
Node.js新手在哪儿找小项目练手？

Node.js新手在哪儿找小项目练手？

前言 可以参考一下下面的nodejs相关的项目&#xff0c;希望对你的学习有所帮助&#xff0c;废话少说&#xff0c;让我们直接进入正题>> 1、 NodeBB Star: 13.3k 一个基于Node.js的现代化社区论坛软件&#xff0c;具有快速、可扩展、易于使用和灵活的特点。它支持多种数…
阅读更多...
数据结构-队列（C语言的简单实现）

数据结构-队列（C语言的简单实现）

简介 队列也是一种数据结构&#xff0c;队列也可以用来存放数字每次只能向队列里将入一个数字&#xff0c;每次只能从队列里获得一个数字在队列中&#xff0c;允许插入的一段称为入队口&#xff0c;允许删除的一段称为出队口它的原则是先进先出(FIFO: first in first out)&…
阅读更多...
Titanic--细节记录二

Titanic--细节记录二

目录 merge、join以及concat的方法的不同以及相同 merge join concat stack函数 agg函数 countplot--计算条形统计图 FacetGrid kdeplot--核密度估计图 facet.set facet.add_legend() 折线图表示年龄分布情况 为什么所有的曲线都被添加到同一个图上&#xff1a; 填充…
阅读更多...
标记垃圾，有三种色彩：四千长文带你深入了解三色标记算法

标记垃圾，有三种色彩：四千长文带你深入了解三色标记算法

&#x1f52d; 嗨&#xff0c;您好 &#x1f44b; 我是 vnjohn&#xff0c;在互联网企业担任 Java 开发&#xff0c;CSDN 优质创作者 &#x1f4d6; 推荐专栏&#xff1a;Spring、MySQL、Nacos、Java&#xff0c;后续其他专栏会持续优化更新迭代 &#x1f332;文章所在专栏&…
阅读更多...
MFC计算分贝

MFC计算分贝

分贝的一种定义是&#xff0c;表示功率量之比的一种单位&#xff0c;等于功率强度之比的常用对数的10倍&#xff1b; 主要用于度量声音强度&#xff0c;常用dB表示&#xff1b; 其计算&#xff0c;摘录网上一段资料&#xff1b; 声音的分贝值可以通过以下公式计算&#xff1…
阅读更多...
【数据结构】‘双向链表’冲冲冲

【数据结构】‘双向链表’冲冲冲

&#x1f490; &#x1f338; &#x1f337; &#x1f340; &#x1f339; &#x1f33b; &#x1f33a; &#x1f341; &#x1f343; &#x1f342; &#x1f33f; &#x1f344;&#x1f35d; &#x1f35b; &#x1f364; &#x1f4c3;个人主页 &#xff1a;阿然成长日记 …
阅读更多...
最新文章
推荐文章

Copyright @ 2022~2023