Kafka 安装与部署

目录

Kafka 下载

(1)将 kafka_2.11-2.4.1.tgz 上传至 /opt/software/

(2)解压安装包至 /opt/module/

[huwei@hadoop101 ~]$ cd  /opt/software/
[huwei@hadoop101 software]$ tar -zxvf kafka_2.11-2.4.1.tgz -C ../module/

(3)配置环境变量

[huwei@hadoop101 software]$ sudo vim /etc/profile.d/my_env.sh

添加如下内容

# KAFKA_HOME
export KAFKA_HOME=/opt/module/kafka_2.11-2.4.1
export PATH=$PATH:$KAFKA_HOME/bin

使得环境变量生效

[huwei@hadoop101 software]$ source /etc/profile

(4)在 kafka 目录下创建 datas 文件夹

[huwei@hadoop101 software]$ cd ../module/kafka_2.11-2.4.1/
[huwei@hadoop101 kafka_2.11-2.4.1]$ mkdir datas

(5)修改配置文件

[huwei@hadoop101 software]$ cd /opt/module/kafka_2.11-2.4.1/config/
[huwei@hadoop101 config]$ vim server.properties

这里 broker id 就使用默认的 0,不修改

在这里插入图片描述

修改 kafka 数据的存放位置(默认存储7天)

kafka 本身的运行日志会存放在kafka目录下的 logs 文件夹下

log.dirs=/opt/module/kafka_2.11-2.4.1/datas

在这里插入图片描述

配置连接Zookeeper集群地址

在这里插入图片描述

(6)向其他机器分发 kafka

这里我使用的是我前面 大数据技术学习笔记(三)—— Hadoop 的运行模式中写过的集群分发脚本 xsync

[huwei@hadoop101 module]$ xsync kafka_2.11-2.4.1/

(7)修改其他机器中的 broker id

分别在 hadoop102 和 hadoop103 上修改配置文件 /opt/module/kafka/config/server.properties 中的broker.id=1broker.id=2

注:broker.id 不得重复

(8)分发系统环境变量

[huwei@hadoop101 module]$ sudo xsync /etc/profile.d/my_env.sh

然后分别使得其他机器上的环境变量生效

[huwei@hadoop102 ~]$ source /etc/profile
[huwei@hadoop103 ~]$ source /etc/profile

(9)启动 Kafka 集群

先启动 Zookeeper 集群

[huwei@hadoop101 module]$ [huwei@hadoop101 module]$ zk_cluster.sh start

这里使用的是我在 Zookeeper 安装与部署 中编写的群起Zookeeper 集群的脚本

依次在 hadoop101、hadoop102、hadoop103 节点上启动 kafka

[huwei@hadoop101 kafka_2.11-2.4.1]$ bin/kafka-server-start.sh -daemon config/server.properties
[huwei@hadoop102 kafka_2.11-2.4.1]$ bin/kafka-server-start.sh -daemon config/server.properties
[huwei@hadoop103 kafka_2.11-2.4.1]$ bin/kafka-server-start.sh -daemon config/server.properties

(10)停止集群

[huwei@hadoop101 kafka_2.11-2.4.1]$ bin/kafka-server-stop.sh stop
[huwei@hadoop102 kafka_2.11-2.4.1]$ bin/kafka-server-stop.sh stop
[huwei@hadoop103 kafka_2.11-2.4.1]$ bin/kafka-server-stop.sh stop

(11)群起集群脚本

新建脚本 kafka_cluster.sh

[huwei@hadoop101 ~]$ cd bin
[huwei@hadoop101 bin]$ vim kafka_cluster.sh

编写如下内容

#!/bin/bash
if [ $# -lt 1 ]
then echo "Input Args Error....."exit
fi
for i in hadoop101 hadoop102 hadoop103
docase $1 in
start)echo "==================START $i KAFKA==================="ssh $i /opt/module/kafka_2.11-2.4.1/bin/kafka-server-start.sh -daemon /opt/module/kafka_2.11-2.4.1/config/server.properties
;;
stop)echo "==================STOP $i KAFKA==================="ssh $i /opt/module/kafka_2.11-2.4.1/bin/kafka-server-stop.sh stop
;;*)echo "Input Args Error....."exit
;;  
esac
done

保存退出

给该脚本赋予执行权限

[huwei@hadoop101 bin]$ chmod u+x kafka_cluster.sh

群起集群

[huwei@hadoop101 bin]$ kafka_cluster.sh start

群停集群

[huwei@hadoop101 bin]$ kafka_cluster.sh stop

注意,停止集群的时候,也要先停止kafka,再停止zookeeper

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/220759.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

什么是供应链安全及其工作原理?

6000公里长的丝绸之路将丝绸、谷物和其他货物从中国运送到帕尔米拉。尽管蒙古治下的和平保护丝绸之路免受海盗、强盗和内部盗窃的侵害,但商人仍然装备精良,并依赖于大型商队旅行和战略性放置的小型堡垒所提供的安全。 为什么供应链安全很重要&#xff1…

Content-Type是什么

目录 Content-Type是什么 获取方式 设置方式 常见类型 application/x-www-form-urlencoded multipart/form-data application/json text/xml text/html text/plain Content-Type是什么 Content-Type出现在请求标头和响应标头中,意思是内容类型&#xff0…

JAVA主流日志框架梳理学习及使用

前言:目前市面上有挺多JAVA的日志框架,比如JUL(JDK自带的日志框架),Log4j,Logback,Log4j2等,有人可能有疑问说还有slf4j,不过slf4j不是一种日志框架的具体实现,而是一种日志门面(日志门面可以理解为是一种统…

PyTorch机器学习与深度学习

近年来,随着AlphaGo、无人驾驶汽车、医学影像智慧辅助诊疗、ImageNet竞赛等热点事件的发生,人工智能迎来了新一轮的发展浪潮。尤其是深度学习技术,在许多行业都取得了颠覆性的成果。另外,近年来,Pytorch深度学习框架受…

定制 Electron 窗口标题栏

Electron 是一款流行的桌面应用开发框架,基于 Web 技术构建,提供了强大的跨平台能力。在开发过程中,经常需要定制窗口标题栏以创造独特的用户体验。 1. 完全隐藏默认标题栏 有时候,我们希望创建一个自定义的标题栏,完…

通话状态监听-Android13

通话状态监听-Android13 1、Android Telephony 模块结构2、监听和广播获取通话状态2.1 注册2.2 通话状态通知2.3 通话状态 3、通知状态流程* 关键日志 frameworks/base/core/java/android/telephony/PhoneStateListener.java 1、Android Telephony 模块结构 Android Telephony…

Arma3/武装突袭3东风战役最后一关游戏无法保存的解决办法

Arma3这个游戏玩进去还是非常有可玩性的,可是在玩过了它本体自带的东风系列战役后,在最精髓的最后一关——game over这个关卡,却有个非常头疼的问题。 逃跑其实是非常简单的,但是想要无伤环游全岛确十分困难,因为这关卡…

【密码学】群的证明(习题)

0.前置知识 1.习题 记录一次密码学作业~群的判定 2.求解

MATLAB 点云中心化 (40)

MATLAB 点云中心化 一、算法介绍二、算法实现一、算法介绍 使用点云集合中的坐标计算质心,这里将其作为中心,将每个点坐标减去该中心坐标,即可得到中心化的点云,这在很多处理中是必须进行的一个步骤:相当于点云移动到以质心为原点的坐标系 (主要是计算质心和点云偏移两个…

AI日报:OpenAI扩大创业基金计划

欢迎订阅专栏 《AI日报》 获取人工智能邻域最新资讯 文章目录 OpenAI拓宽Converge启动程序变压器模型背后的思想建立启动融资新闻AutoGen AI支点其他 OpenAI拓宽Converge启动程序 ChatGPT制造商OpenAI正在扩大其Converge AI创业计划。 OpenAI的Converge产品于2022年12月首次…

构建高效持久层:深度解析 MyBatis-Plus(02)

目录 引言1. 逻辑删除1.1 概述1.2 逻辑删除的优势1.3.为什么使用逻辑删除1.4 综合案例 2. 乐观锁和悲观锁2.1.什么是乐观锁和悲观锁2.2.乐观锁和悲观锁的区别2.3.综合案例 3. 分页插件总结 引言 在现代软件开发中,数据库操作是不可或缺的一环。为了提高系统的性能、…

【马来西亚会议】第四届计算机技术与全媒介融合设计国际学术会议(CTMCD 2024)

第四届计算机技术与全媒介融合设计国际学术会议(CTMCD 2024) 2023 4th International Conference on Computer Technology and Media Convergence Design 第四届计算机技术与全媒介融合设计国际学术会议(CTMCD 2024)将于 2024年2月23日-25日…

数据分析思维导图

参考: https://zhuanlan.zhihu.com/p/567761684?utm_id0 1、数据分析步骤地图 2、数据分析基础知识地图 3、数据分析技术知识地图 4、数据分析业务流程 5、数据分析师能力体系 6、数据分析思路体系 7、电商数据分析核心主题 8、数据科学技能书知识地图 9、数据挖掘…

机器学习算法---回归

类别内容导航机器学习机器学习算法应用场景与评价指标机器学习算法—分类机器学习算法—回归机器学习算法—聚类机器学习算法—异常检测机器学习算法—时间序列数据可视化数据可视化—折线图数据可视化—箱线图数据可视化—柱状图数据可视化—饼图、环形图、雷达图统计学检验箱…

算法:程序员的数学读书笔记

目录 ​0的故事 ​一、按位计数法 二、不使用按位计数法的罗马数字 三、十进制转二进制​​​​​​​ ​四、0所起到的作用​​​​​​​ 逻辑 一、为何逻辑如此重要 二、兼顾完整性和排他性 三、逻辑 四、德摩根定律 五、真值表 六、文氏图 七、卡诺图 八、逻…

详解—C++ [异常]

目录 一、C语言传统的处理错误的方式 二、C异常概念 三、异常的使用 3.1 异常的抛出和捕获 3.2 异常的重新抛出 3.3异常安全 3.4 异常规范 四、自定义异常体系 五、C标准库的异常体系 六、异常的优缺点 6.1、C异常的优点: 6.2、C异常的缺点:…

设计模式 原型模式 与 Spring 原型模式源码解析(包含Bean的创建过程)

原型模式 原型模式(Prototype模式)是指:用原型实例指定创建对象的种类,并且通过拷贝这些原型,创建新的对象。 原型模式是一种创建型设计模式,允许一个对象再创建另外一个可定制的对象,无需知道如何创建的细节。 工作原…

libp2p 快速开始

文章目录 第一部分:libp2p 快速入门一、什么是libp2plibp2p 发展历程libp2p的特性p2p 网络和我们熟悉的 client/server 网络的区别: 二、Libp2p的实现目标三、Libp2p的用途四、运行 Libp2p 协议流程libp2p 分为三层libp2p 还有一个局域网节点发现协议 mD…

知识付费小程序开发:技术实践示例

随着知识付费小程序的兴起,让我们一起来看一个简单的示例,使用Node.js和Express框架搭建一个基础的知识付费小程序后端。 首先,确保你已经安装了Node.js和npm。接下来,创建一个新的项目文件夹,然后通过以下步骤创建你…

windows redis 允许远程访问配置

安装好windows版本的redis,会以服务方式启动,但是不能远程访问,这个时候需要修改配置。redis安装路径下会有2个配置文件,究竟需要怎么修改才能生效呢?看下图 这里的redis服务指定了是redis.windows-service.conf文件&…