Windows下安装Kafka（图文记录详细步骤）

Windows下安装Kafka

  • Kafka简介
  • 一、Kafka安装前提
    • 安装Kafka之前，需要安装JDK、Zookeeper、Scala。
    • 1.1、JDK安装（version：1.8）
      • 1.1.1、JDK官网下载
      • 1.1.2、JDK网盘下载
      • 1.1.3、JDK安装
    • 1.2、Zookeeper安装
      • 1.2.1、Zookeeper官网下载
      • 1.2.2、Zookeeper网盘下载
      • 1.2.3、Zookeeper安装
    • 1.3、Scala安装（version：2.12）
      • 1.3.1、Scala官网下载
      • 1.3.2、Scala网盘下载
      • 1.3.3、Scala安装
  • 二、Kafka安装（version：2.12-3.5.1）
    • 2.1、Kafka官网下载
    • 2.2、Kafka网盘下载
    • 2.3、Kafka安装
      • 2.3.1、解压Kafka安装包到安装目录
      • 2.3.2、Kafka安装目录下新建目录logs
      • 2.3.3、修改Kafka配置文件 server.properties
        • 2.3.3.1、修改 log.dirs 参数
        • 2.3.3.2、修改 listeners 参数
    • 2.4、Kafka启动
      • 2.4.1、先启动Zookeeper服务
      • 2.4.2、再启动Kafka服务
    • 2.4、Kafka相关操作（Kafka新版本命令）
      • 2.4.1、创建topics
      • 2.4.2、查看topics
      • 2.4.3、打开一个producer（生产者）
      • 2.4.4、打开一个consumer（消费者）
      • 2.4.5、测试发送和接受消息
        • 2.4.5.1、producer（生产者）发送消息
        • 2.4.5.2、consumer（消费者）接收消息
      • 2.4.5、收不到消息，常见情况

Kafka简介

(一)、Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所有动作流数据。
(二)、Kafka 本质上是⼀个消息队列。与zeromq不同的是，Kafka是一个独立的框架而不是一个库。
(三)、Kafka 是一种高吞吐量 的分布式发布订阅消息系统，有如下特性：

  • 通过O(1)的磁盘数据结构提供消息的持久化，这种结构对于即使数以TB的消息存储也能够保持长时间的稳定性能。
  • 高吞吐量 ：即使是非常普通的硬件Kafka也可以支持每秒数百万的消息。
  • 支持通过Kafka服务器和消费机集群来分区消息。
  • 支持Hadoop并行数据加载。

一、Kafka安装前提

安装Kafka之前，需要安装JDK、Zookeeper、Scala。

Kafka依赖Zookeeper，在安装Kafka之前，需要安装、运行Zookeeper
本次安装版本选择：
JDK：1.8
Zookeeper：3.6.4
Scala：2.12
Kafka：3.5.1

1.1、JDK安装（version：1.8）

1.1.1、JDK官网下载

官网下载地址(需要oracle账号)
https://www.oracle.com/java/technologies/javase/javase-jdk8-downloads.html

1.1.2、JDK网盘下载

或者网盘下载：https://pan.baidu.com/s/1MMkFbzcf8ZYvGwdHreXtUg?pwd=yyds

1.1.3、JDK安装

安装方法就不赘述了。

1.2、Zookeeper安装

1.2.1、Zookeeper官网下载

官网下载地址：https://www.oracle.com/java/technologies/javase/javase-jdk8-downloads.html

1.2.2、Zookeeper网盘下载

或者网盘下载：https://pan.baidu.com/s/1MMkFbzcf8ZYvGwdHreXtUg?pwd=yyds

1.2.3、Zookeeper安装

安装方法就不赘述了。
参考博文：Windows下安装Zookeeper（图文记录详细步骤，手把手包安装成功）

1.3、Scala安装（version：2.12）

1.3.1、Scala官网下载

官网下载地址(需要oracle账号)
https://www.oracle.com/java/technologies/javase/javase-jdk8-downloads.html

1.3.2、Scala网盘下载

或者网盘下载：https://pan.baidu.com/s/1MMkFbzcf8ZYvGwdHreXtUg?pwd=yyds

1.3.3、Scala安装

安装方法就不赘述了。
可参考博文：Windows下安装Scala（以Scala 2.11.12为例）

二、Kafka安装（version：2.12-3.5.1）

version：2.12-3.5.1，表示Scala版本是2.12，Kafka版本是基于此的3.5.1版本。

2.1、Kafka官网下载

官网下载地址：https://downloads.apache.org/kafka/3.5.1/kafka_2.12-3.5.1.tgz

2.2、Kafka网盘下载

网盘下载地址：https://pan.baidu.com/s/1Av4ZwQPUaAntwVxz79Ne9w?pwd=yyds

2.3、Kafka安装

2.3.1、解压Kafka安装包到安装目录

这里解压到：D:\bigdata\kafka\2.12-3.5.1

2.3.2、Kafka安装目录下新建目录logs

在这里插入图片描述

2.3.3、修改Kafka配置文件 server.properties

文件路径：D:\bigdata\kafka\2.12-3.5.1\config\server.properties

2.3.3.1、修改 log.dirs 参数

修改 log.dirs 参数值，修改成上一步新建的logs文件夹。注意文件夹路径中是双左斜杠

log.dirs=D:\\bigdata\\kafka\\2.12-3.5.1\\logs

在这里插入图片描述

2.3.3.2、修改 listeners 参数

修改 listeners 参数值，修改成上一步新建的logs文件夹。

listeners=PLAINTEXT://localhost:9092

在这里插入图片描述

2.4、Kafka启动

由于Kafka依赖于Zookeeper，所以要先启动Zookeeper，再启动Kafka。

2.4.1、先启动Zookeeper服务

管理员权限打开命令窗口，输入命令zkServer，启动Zookeeper服务：

zkServer

在这里插入图片描述
显示如下信息，则表示Zookeeper服务正常运行：
在这里插入图片描述

2.4.2、再启动Kafka服务

管理员权限打开命令窗口，进入到Kafka安装目录（D:\bigdata\kafka\2.12-3.5.1）。
输入如下命令启动Kafka服务：

.\bin\windows\kafka-server-start.bat .\config\server.properties

在这里插入图片描述
显示如下信息，则表示Kafka服务正常运行：
在这里插入图片描述

2.4、Kafka相关操作（Kafka新版本命令）

Kafka2.2之后版本中使用–zookeeper hadoop01:2181会出现报错情况，2.2之后的版本使用了–bootstrap-server hadoop01:9092来替换–zookeeper hadoop01:2181

2.4.1、创建topics

以管理员权限新开一个命令提示窗口，进入D:\bigdata\kafka\2.12-3.5.1\bin\windows目录，执行以下命令，创建topics：

kafka-topics.bat --create --bootstrap-server localhost:9092 --replication-factor 1 --partitions 1 --topic test

在这里插入图片描述

2.4.2、查看topics

查看topics列表：

bin/kafka-topics.sh --bootstrap-server kafkahost:9092 --list

在这里插入图片描述

2.4.3、打开一个producer（生产者）

以管理员权限新开一个命令提示窗口，进入D:\bigdata\kafka\2.12-3.5.1\bin\windows目录，
在这里插入图片描述
执行以下命令，打开一个producer（生产者）：

kafka-console-producer.bat --broker-list localhost:9092 --topic test

在这里插入图片描述

2.4.4、打开一个consumer（消费者）

以管理员权限新开一个命令提示窗口，进入D:\bigdata\kafka\2.12-3.5.1\bin\windows目录，执行以下命令，打开一个consumer（消费者）：

kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic test --from-beginning

在这里插入图片描述

2.4.5、测试发送和接受消息

以上打开的窗口不要关闭，然后就可以在producer（生产者）控制台窗口输入消息并回车。在消息输入过后，很快consumer（消费者）窗口就会显示出producer（生产者）发送的消息。

2.4.5.1、producer（生产者）发送消息

在producer（生产者）控制台窗口输入消息：
在这里插入图片描述

2.4.5.2、consumer（消费者）接收消息

在consumer（消费者）控制台窗口查看消息：
在这里插入图片描述
我们发现，producer（生产者）发送的消息被consumer（消费者）接受到了。
这里乱码是字符集的问题。

2.4.5、收不到消息，常见情况

  1. 在consumer没有打开之前，就在producer里面发送了消息
  2. producer和consumer使用的topic不一致

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.rhkb.cn/news/78675.html

如若内容造成侵权/违法违规/事实不符，请联系长河编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

51单片机程序烧录教程

51单片机程序烧录教程

STC烧录步骤 （1）STC单片机烧录方式采用串口进行烧录程序，连接的方式如下图： （2）所以需要先确保USB转串口驱动是识别到，且驱动运行正常；是否可通过电脑的设备管理器查看驱动是否正常…
阅读更多...
接口的顶级理解

接口的顶级理解

目录 1.基本介绍 1.1定义接口 1.2接口使用 2.接口特性 3.实现多个接口 4.接口间的继承 5.接口使用实例 5.1对象比大小 5.1.1方法1：Comparable 接口法 5.1.2构造比较器（Comparator接口法） 5.2对象数组排序 5.2.1 实现 Comparable 接…
阅读更多...
【力扣刷题 | 第二十四天】

【力扣刷题 | 第二十四天】

目录 前言： 1049. 最后一块石头的重量 II - 力扣（LeetCode） 494. 目标和 - 力扣（LeetCode） 总结： 前言： 今天我们依然暴打动态规划 1049. 最后一块石头的重量 II - 力扣（LeetCod…
阅读更多...
每天一道leetcode：剑指 Offer 53 - II. 0～n-1中缺失的数字（适合初学者二分查找）

每天一道leetcode：剑指 Offer 53 - II. 0～n-1中缺失的数字（适合初学者二分查找）

今日份题目： 一个长度为n-1的递增排序数组中的所有数字都是唯一的，并且每个数字都在范围0～n-1之内。在范围0～n-1内的n个数字中有且只有一个数字不在该数组中，请找出这个数字。 示例1 输入: [0,1,3] 输出: 2 示例2 …
阅读更多...
uniapp 返回上一页并刷新

uniapp 返回上一页并刷新

如要刷新的是mine页面 在/pages/mine/improveInfo页面修改信息，点击保存后跳转到个人中心（/pages/mine/index）页面并刷新更新数据 点击保存按钮时执行以下代码： wx.switchTab({url: /pages/mine/index }) // 页面重载 let pages …
阅读更多...
在线文本转语音播放 (TTS)

在线文本转语音播放 (TTS)

具体请前往：在线文本转语音播放(TTS)
阅读更多...
彩虹云商城搭建完整教程 完整的学习资料

彩虹云商城搭建完整教程 完整的学习资料

彩虹云商城搭建完整教程 完整的学习资料提供给大家学习 随着电子商务的快速发展，越来越多的企业开始意识到开设一个自己的电子商城对于销售和品牌推广的重要性。然而，选择一家合适的网站搭建平台和正确地构建一个商城网站并不是一件容易的事情。本文将为…
阅读更多...
Python操作MySQL将数据库表中的数据导出到excel

Python操作MySQL将数据库表中的数据导出到excel

Author: liukai 2810248865qq.com Date: 2022-08-18 04:28:52 LastEditors: liukai 2810248865qq.com LastEditTime: 2023-06-29 09:35:25 FilePath: \PythonProject01\Python操作MySQL数据库及excel将数据库表中的数据导出到excel中.py Description: 这是默认设置,请设置custo…
阅读更多...
华夏ERP信息泄露

华夏ERP信息泄露

声明 本文仅用于技术交流，请勿用于非法用途 由于传播、利用此文所提供的信息而造成的任何直接或者间接的后果及损失，均由使用者本人负责，文章作者不为此承担任何责任。 文章作者拥有对此文章的修改和解释权。如欲转载或传播此文章&#xff0c…
阅读更多...
14-4_Qt 5.9 C++开发指南_QUdpSocket实现 UDP 通信_UDP组播

14-4_Qt 5.9 C++开发指南_QUdpSocket实现 UDP 通信_UDP组播

文章目录 1. UDP组播的特性2. UDP 组播实例程序的功能3. 组播功能的程序实现4. 源码4.1 可视化UI设计4.2 mainwindow.h4.3 mainwindow.cpp 1. UDP组播的特性 下图简单表示了组播的原理。UDP 组播是主机之间“一对一组”的通信模式，当多个客户端加入由一个组播地址定…
阅读更多...
智慧工地云平台源码，基于微服务+Java+Spring Cloud +UniApp +MySql开发

智慧工地云平台源码，基于微服务+Java+Spring Cloud +UniApp +MySql开发

智慧工地可视化系统利用物联网、人工智能、云计算、大数据、移动互联网等新一代信息技术，通过工地中台、三维建模服务、视频AI分析服务等技术支撑，实现智慧工地高精度动态仿真，趋势分析、预测、模拟，建设智能化、标准化的智慧工地…
阅读更多...
uni-app:实现列表单选功能

uni-app:实现列表单选功能

效果图&#xff1a; 核心解析&#xff1a; 一、 <view class"item_all" v-for"(item, index) in info" :key"index"><view classposition parameter-info text-over :classitem.checked?"checked_parameter":""…
阅读更多...
ubuntu 暂时不能解析域名 解决办法

ubuntu 暂时不能解析域名 解决办法

需要修改系统DNS 打开终端&#xff1a;输入 sudo vi /etc/resolv.conf 回车 在打开的配置文件中添加DNS信息 nameserver 114.114.114.114 nameserver 8.8.8.8 保存退出&#xff0c;重启系统即可。
阅读更多...
【Nacos篇】Nacos基本操作及配置

【Nacos篇】Nacos基本操作及配置

官方文档&#xff1a;https://nacos.io/zh-cn/docs/v2/ecology/use-nacos-with-spring-cloud.html 前置条件&#xff1a;SpringCloud脚手架 单机模式下的Nacos控制台&#xff1a; <dependencies><!-- Registry 注册中心相关 --><dependency><groupId>…
阅读更多...
《golang设计模式》第一部分·创建型模式-04-抽象工厂模式（Abstract Factory）

《golang设计模式》第一部分·创建型模式-04-抽象工厂模式（Abstract Factory）

文章目录 1. 概述1.1 角色1.2 类图 2. 代码示例2.1 设计2.2 代码2.3 类图 1. 概述 1.1 角色 AbstractFactory&#xff08;抽象工厂&#xff09;&#xff1a;它声明了一组用于创建产品的方法&#xff0c;每一个方法对应一种产品。ConcreteFactory&#xff08;具体工厂&#xf…
阅读更多...
系统架构设计高级技能 · 软件可靠性分析与设计（三）【系统架构设计师】

系统架构设计高级技能 · 软件可靠性分析与设计（三）【系统架构设计师】

系列文章目录 系统架构设计高级技能 软件架构概念、架构风格、ABSD、架构复用、DSSA&#xff08;一&#xff09;【系统架构设计师】 系统架构设计高级技能 系统质量属性与架构评估&#xff08;二&#xff09;【系统架构设计师】 系统架构设计高级技能 软件可靠性分析与设计…
阅读更多...
HCIP 三层交换机

HCIP 三层交换机

一、实现VLAN间通信 在传统的交换机组网中&#xff0c;默认所有网络都处于同一个广播域&#xff0c;带来了许多问题&#xff0c;VLAN技术的提出&#xff0c;满足了二层组网隔离广播域需求&#xff0c;使得属于不同的VLAN间网络无法通信&#xff0c;但不同VLAN之间又存在着互相…
阅读更多...
MybatisPlus存在 sql 注入漏洞（CVE-2023-25330）解决办法

MybatisPlus存在 sql 注入漏洞（CVE-2023-25330）解决办法

首先我们了解下这个漏洞是什么&#xff1f; MyBatis-Plus TenantPlugin 是 MyBatis-Plus 的一个为多租户场景而设计的插件&#xff0c;可以在 SQL 中自动添加租户 ID 来实现数据隔离功能。 MyBatis-Plus TenantPlugin 3.5.3.1及之前版本由于 TenantHandler#getTenantId 方法在…
阅读更多...
快速排序【Java算法】

快速排序【Java算法】

文章目录 1. 概念2. 思路3. 代码实现 1. 概念 快速排序是一种比较高效的排序算法&#xff0c;采用 “分而治之” 的思想&#xff0c;通过多次比较和交换来实现排序&#xff0c;在一趟排序中把将要排序的数据分成两个独立的部分&#xff0c;对这两部分进行排序使得其中一部分所有…
阅读更多...
Python web实战之Django用户认证详解

Python web实战之Django用户认证详解

关键词&#xff1a; Python Web 开发、Django、用户认证、实战案例 概要 今天来探讨一下 Django 的用户认证吧&#xff01;在这篇文章中&#xff0c;我将为大家带来一些有关 Django 用户认证的最佳实践。 1. Django 用户认证 在开发 Web 应用程序时&#xff0c;用户认证是一个…
阅读更多...
最新文章
推荐文章

Copyright @ 2022~2023