docker compose 安装 kafka

一 前置准备

创建 /data/kafkadata /data/zookeeper-1用于保存kafka和zookeeper的配置文件

kafkadata中创建三个文件夹 /kafka1 /kafka2 /kafka3，用于存放三个kafka节点的配置文件

zookeeper-1文件夹中创建 /conf /data /logs /datalog四个文件夹，用于存放zk的信息

kafka1 kafka2 kafka3中创建server.properties

其中broker.id需要修改为对应编号 1，2，3

#broker的全局唯一编号，不能重复
broker.id=1
#删除topic功能使能
delete.topic.enable=true
#处理网络请求的线程数量
num.network.threads=3
#用来处理磁盘IO的现成数量
num.io.threads=8
#发送套接字的缓冲区大小
socket.send.buffer.bytes=102400
#接收套接字的缓冲区大小
socket.receive.buffer.bytes=102400
#请求套接字的缓冲区大小
socket.request.max.bytes=104857600
#kafka数据的存储位置
log.dirs=/opt/apache/kafka/logs
#指定Topic的分区数量，这里设置为3。默认只有一个分区，设置多分区可以支持并发读写和负载均衡
num.partitions=3
#副本，默认只有一个副本，不会进行数据备份和冗余
replication.factor=3
#用来恢复和清理data下数据的线程数量
num.recovery.threads.per.data.dir=1
#segment文件保留的最长时间，超时将被删除
log.retention.hours=168
#配置连接Zookeeper集群地址
zookeeper.connect=zookeeper-1:2181
#zookeeper连接超时时间
zookeeper.connection.timeout.ms=60000
message.max.bytes=104857600
replica.fetch.max.bytes=104857600

zookeeper-1/conf目录下创建zoo.cfg

dataDir=/data
dataLogDir=/datalog
clientPort=2181
tickTime=2000
initLimit=5
syncLimit=2
autopurge.snapRetainCount=3
autopurge.purgeInterval=0
maxClientCnxns=60
standaloneEnabled=true
admin.enableServer=true
server.1=zookeeper-1:2888:3888
jute.maxbuffer=104857600

zookeeper-1/conf目录下创建log4j.properties 用于zk的日志输出，后期启动正常后可以修改输出登记

log4j.rootLogger=INFO, stdout
log4j.appender.stdout=org.apache.log4j.ConsoleAppender
log4j.appender.stdout.Target=System.out
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout
log4j.appender.stdout.layout.ConversionPattern=%d{ISO8601} [%t] %-5p %c %x - %m%n

将conf和kafkadata的权限赋予读写权限

比如对zookeeper-1的conf文件夹直接赋予777权限

chmod 777 conf

目录创建完成后结构示意【忽略kafka1 2 3的logs目录和zookeeper-1的data和datalog下的文件，是运行后产生的文件.plugins是未来有需要时使用，目前可以不用创建】

二 编写docker compose

将其中的IP地址更换为主机的ip地址，如果是服务器则是外网ip地址

如果没有创建plugins文件夹，则将volumes中的plugins映射去掉

# 配置kafka集群
# container services下的每一个子配置都对应一个节点的docker container# 给kafka集群配置一个网络，网络名为kafka-net
networks:kafka-net:name: kafka-netdriver: bridgeservices:zookeeper-1:image: zookeepercontainer_name: zookeeperrestart: always# 配置docker container和宿主机的端口映射ports:- 2181:2181- 8081:8080# 将docker container上的路径挂载到宿主机上 实现宿主机和docker container的数据共享volumes:- "/home/learning-java/kafka/data/zookeeper-1/data:/data"- "/home/learning-java/kafka/data/zookeeper-1/datalog:/datalog"- "/home/learning-java/kafka/data/zookeeper-1/logs:/logs"- "/home/learning-java/kafka/data/zookeeper-1/conf:/conf"# 配置docker container的环境变量environment:# 当前zk实例的idZOO_MY_ID: 1# 整个zk集群的机器、端口列表ZOO_SERVERS: server.1=zookeeper-1:2888:3888 command: ["zkServer.sh", "start-foreground"]networks:kafka-net:aliases:- zookeeper-1kafka-1:image: wurstmeister/kafkacontainer_name: kafka-1restart: always# 配置docker container和宿主机的端口映射  8083端口是后期部署kafka connect所需要的端口ports:- 9092:9092- 8084:8083# plugins 是我方便加入kafka connector 依赖所设文件夹，不使用connect可以不设置# /opt/kafka/plugins 是配置connector的时候指定的容器内部文件夹路径volumes:- "/home/learning-java/kafka/data/kafkadata/kafka-1/server.properties:/etc/kafka/config/server.properties"- "/home/learning-java/kafka/data/kafkadata/kafka-1/logs:/kafka"- "/home/learning-java/kafka/data/kafkadata/plugins:/opt/kafka/plugins"# 配置docker container的环境变量environment:KAFKA_ADVERTISED_HOST_NAME: IP                   ## 修改:宿主机IPKAFKA_ADVERTISED_LISTENERS: PLAINTEXT://IP:9092    ## 修改:宿主机IPKAFKA_ZOOKEEPER_CONNECT: "zookeeper-1:2181"KAFKA_ADVERTISED_PORT: 9092KAFKA_BROKER_ID: 1KAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR: 1depends_on:- zookeeper-1networks:kafka-net:aliases:- kafka-1kafka-2:image: wurstmeister/kafkacontainer_name: kafka-2restart: always# 配置docker container和宿主机的端口映射ports:- 9093:9092- 8085:8083volumes:- "/home/learning-java/kafka/data/kafkadata/kafka-2/server.properties:/etc/kafka/config/server.properties"- "/home/learning-java/kafka/data/kafkadata/kafka-2/logs:/kafka"- "/home/learning-java/kafka/data/kafkadata/plugins:/opt/kafka/plugins"# 配置docker container的环境变量environment:KAFKA_ADVERTISED_HOST_NAME: IP                   ## 修改:宿主机IPKAFKA_ADVERTISED_LISTENERS: PLAINTEXT://IP:9093    ## 修改:宿主机IPKAFKA_ZOOKEEPER_CONNECT: "zookeeper-1:2181"KAFKA_ADVERTISED_PORT: 9093KAFKA_BROKER_ID: 2KAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR: 1depends_on:- zookeeper-1networks:kafka-net:aliases:- kafka-2kafka-3:image: wurstmeister/kafkacontainer_name: kafka-3restart: always# 配置docker container和宿主机的端口映射ports:- 9094:9092- 8086:8083volumes:- "/home/learning-java/kafka/data/kafkadata/kafka-3/server.properties:/etc/kafka/config/server.properties"- "/home/learning-java/kafka/data/kafkadata/kafka-3/logs:/kafka"- "/home/learning-java/kafka/data/kafkadata/plugins:/opt/kafka/plugins"# 配置docker container的环境变量environment:KAFKA_ADVERTISED_HOST_NAME: IP                   ## 修改:宿主机IPKAFKA_ADVERTISED_LISTENERS: PLAINTEXT://IP:9094    ## 修改:宿主机IPKAFKA_ZOOKEEPER_CONNECT: "zookeeper-1:2181"KAFKA_ADVERTISED_PORT: 9094KAFKA_BROKER_ID: 3KAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR: 1depends_on:- zookeeper-1networks:kafka-net:aliases:- kafka-3kafka-manager:image: sheepkiller/kafka-manager              ## 镜像：开源的web管理kafka集群的界面container_name: kafka-managerrestart: alwaysenvironment:ZK_HOSTS: IP:2181                  ## 修改:宿主机IPports:- "9002:9000"                               ## 暴露端口networks:kafka-net:aliases:- kafka-manager

 三 启动测试访问

启动

docker compose up -d

查看

docker ps

应该有四个容器正常运行 

如果出现哪个容器启动失败或者频繁重启，可能是docker compose文件的空格、中英文错误

或者进入容器日志查看具体错误

比如操作文件的权限没有设置会报错，就需要设置 chmod 777 一下

/docker-entrypoint.sh: line 43: /conf/zoo.cfg: Permission denied 

打开防火墙端口 

2181 是zk端口

8084 8085 8086 9092 9093 9094 kafka需要

9002 图形化界面需要

完成后访问图形化界面

点击cluster  add cluster

输入 zookeeper信息，点击save

 发现cluster中出现

点击 zookeeper-1 进入

 done

更新

上面的kafka manager无法看到具体消息内容

这里可以使用akhq来作为图形化管理界面

这里重写了一个docker compose 构建了一个kafka、zookeeper和一个akhq作为图形化管理工具

services:zookeeper:container_name: zookeeperimage: zookeeperports:- "2181:2181"environment:- ALLOW_ANONYMOUS_LOGIN=yesnetworks:- kafka-netvolumes:- /home/learning-java/kafka/zookeeper_data:/bitnami/zookeeperkafka-0:container_name: kafka-0hostname: kafka-0image: bitnami/kafka:3.2ports:- "9092:9092"- "9093:9093"environment:KAFKA_CFG_ZOOKEEPER_CONNECT: "zookeeper:2181"KAFKA_CFG_BROKER_ID: "0"KAFKA_ENABLE_KRAFT: "no" # 是否启用KRaftALLOW_PLAINTEXT_LISTENER: "yes"KAFKA_CFG_LISTENER_SECURITY_PROTOCOL_MAP: "INTERNAL:PLAINTEXT,EXTERNAL:PLAINTEXT"KAFKA_CFG_LISTENERS: "INTERNAL://:9092,EXTERNAL://0.0.0.0:9093"KAFKA_CFG_ADVERTISED_LISTENERS: "INTERNAL://kafka-0:9092,EXTERNAL://主机ip:9093"KAFKA_CFG_INTER_BROKER_LISTENER_NAME: "INTERNAL"KAFKA_HEAP_OPTS: "-Xms521M -Xmx521M"KAFKA_ZOOKEEPER_SESSION_TIMEOUT_MS: "30000"networks:- kafka-netvolumes:- /home/learning-java/kafka/kafka_0_data:/bitnami/kafkadepends_on:- zookeeperakhq:image: tchiotludo/akhqcontainer_name: akhqports:- "9002:8080"environment:AKHQ_SERVERS: "kafka-0:9092"AKHQ_ZOOKEEPER: "zookeeper:2181"volumes:- /home/learning-java/kafka/akhq-application.yaml:/app/application.ymlnetworks:- kafka-net volumes:zookeeper_data:driver: localkafka_0_data:driver: localnetworks:kafka-net:name: kafka-netdriver: bridge

目前需要一个application.yml额外提供给akhq，否则会报错找不到application.yml

akhq:connections:local:properties:bootstrap.servers: "kafka-0:9092"

完成后

还可以查看具体消息

四 额外

如果无法下载，则需要找到一个可以下载的电脑下载完成后上传

本地下载镜像

# --platform linux/amd64 指定拉去 linux/amd64的镜像
docker pull imagesname:version --platform linux/amd64

拉去完成后进行打包

# image.tar 压缩包名 imagename:version 拉取的镜像
docker save -o image.tar imagename:version

上传

# image.tar 打包的镜像压缩包 username:服务器用户名 host:服务器地址 后面为保持路径
scp image.tar username@host:/home/usr/

服务器上进行加载压缩包

docker load -i image.tar

接着，就得到了一个我们需要的镜像

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.rhkb.cn/news/391447.html

如若内容造成侵权/违法违规/事实不符，请联系长河编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

【Nuxt】约定式路由和内置组件

【Nuxt】约定式路由和内置组件

约定式路由 手动创建&#xff1a; 或者还可以使用终端创建页面&#xff1a;nuxi-add-page npx nuxi add page about — about.vue npx nuxi add page about/index — about/index.vue <NuxtLink to"/"><button>Home</button></NuxtLink><…
阅读更多...
对象存储及其相关概念介绍

对象存储及其相关概念介绍

对象存储是一种用来描述解决和处理离散单元&#xff08;这些离散单元被称作为对象&#xff09;的方法的通用术语。以下是关于对象存储的详细解析&#xff1a; 一、基本概念 定义&#xff1a;对象存储&#xff0c;也叫做基于对象的存储&#xff0c;是一种将数据以对象的形式进…
阅读更多...
JavaScript基础——数据类型转换

JavaScript基础——数据类型转换

显示数据类型转换 String()函数进行显示转换 Number()函数进行显示转换 Boolean()函数进行显示转换 隐式数据类型转换 算术运算隐式转化 比较操作隐式转化 赋值操作 在JavaScript中&#xff0c;数据类型转换是常见的操作&#xff0c;它允许将一种类型的数据转换为另一种…
阅读更多...
立项技术路线选择

立项技术路线选择

本章主要是简单聊聊技术路线&#xff0c;额涉及unity和虚幻&#xff0c;目的主要是给自己看的&#xff0c;记录下日期&#xff1a;2024.8.4 在今天&#xff0c;除游戏以外的厂商基本上采用c#的混合技术方案 如果需要的设备对象多。效果不需要极为精细&#xff0c;至少unity是绝…
阅读更多...
（自用）MyLog 简单日志 .net6.0 等

（自用）MyLog 简单日志 .net6.0 等

appsettings.json {"LogOnOff": true //true 开启日志&#xff1b;false 关闭日志 } MyLog.cs using System.ComponentModel;namespace Namespace {/// <summary>/// 日志类型 枚举/// </summary>public enum LogType{[Description("调试日志&q…
阅读更多...
【2024年华数杯全国大学生数学建模竞赛】C题：老外游中国 问题思路分析及Python代码实现

【2024年华数杯全国大学生数学建模竞赛】C题：老外游中国 问题思路分析及Python代码实现

【2024 年华数杯全国大学生数学建模竞赛】C题&#xff1a;老外游中国 问题思路分析及Python代码实现 1 题目 最近&#xff0c;“city 不 city”这一网络流行语在外国网红的推动下备受关注。随着我国过境免签政策的落实&#xff0c;越来越多外国游客来到中国&#xff0c;通过网…
阅读更多...
MS1112驱动开发（iio框架）

MS1112驱动开发（iio框架）

作者简介&#xff1a; 一个平凡而乐于分享的小比特&#xff0c;中南民族大学通信工程专业研究生在读&#xff0c;研究方向无线联邦学习 擅长领域&#xff1a;驱动开发&#xff0c;嵌入式软件开发&#xff0c;BSP开发 作者主页&#xff1a;一个平凡而乐于分享的小比特的个人主页…
阅读更多...
【Java】深度解析Java的反射机制

【Java】深度解析Java的反射机制

反射&#xff08;Reflection&#xff09; 一、 反射的基本概念二、 获取类的信息三、 获取类的成员四、 动态创建对象五、 动态调用方法六、 动态访问和修改字段 总结 一、 反射的基本概念 反射是一种运行时机制&#xff0c;允许程序在运行时检查和操作类、方法、字段等。通过…
阅读更多...
JavaFX布局-TabPane

JavaFX布局-TabPane

JavaFX布局-TabPane 常用属性paddingsidetabClosingPolicytabDragPolicy 实现方式Java实现fxml实现 组织一组tab的容器&#xff0c;可以设置关闭&#xff0c;拖拽等每个tab内容可以设置不同容器数据 常用属性 padding 内边距&#xff0c;可以单独设置上、下、左、右的内边距 …
阅读更多...
docker部署java项目（war包方式）

docker部署java项目（war包方式）

场景描述：java项目war包，在开发开电脑上使用dockerfile构建镜像，上传镜像到客户服务器中使用docker加载docker镜像，然后部署。 目录 一、本地环境安装 docker git 二、服务器环境安装 docker 三、构建docker镜像（win系统） 四、注意事项 （1）系统架构 （2）使…
阅读更多...
如何准备专利申请书的摘要部分？

如何准备专利申请书的摘要部分？

如何准备专利申请书的摘要部分&#xff1f;
阅读更多...
【EI会议征稿通知】第五届大数据、人工智能与软件工程国际研讨会（ICBASE 2024）

【EI会议征稿通知】第五届大数据、人工智能与软件工程国际研讨会（ICBASE 2024）

重要信息 会议官网&#xff1a;www.icbase.org&#xff08;查看详情&#xff09; 中文主页&#xff1a;【往届会后3个月检索】第五届大数据、人工智能与软件工程国际研讨会&#xff08;ICBASE 2024&#xff09;_艾思科蓝_学术一站式服务平台 会议时间&#xff1a;2024年9月2…
阅读更多...
C++笔记---类和对象（中）

C++笔记---类和对象（中）

1. 类的默认成员函数 默认成员函数就是用户没有显式实现&#xff0c;编译器会自动生成的成员函数称为默认成员函数。 一个类&#xff0c;我们不写的情况下编译器会默认生成以下6个默认成员函数&#xff0c;分别为&#xff1a;构造函数&#xff0c;析构函数&#xff0c;拷贝构…
阅读更多...
C#中的Winform基础

C#中的Winform基础

program 每个Windows应用程序都会有一个Program类——程序入口点 [STAThread] ----指示应用程序的COM线程模型是单线程单元&#xff08;如果无此特性&#xff0c;无法工作&#xff09; static voidMain() —— 入口 System.Windows.Forms.Application类提供一系列静态方法和…
阅读更多...
Bootstrap框架介绍

Bootstrap框架介绍

1、Bootstrap框架的下载和使用 Bootstrap框架是基于HTML、CSS、JavaScript的CCS/HTML框架，是一种封装好的前端框架。它包括js、css、front字体样式库。该框架下载链接：https://v3.bootcss.com/getting-started/#download，并选择下载源码。 建一个BootstrapDemo文件夹，将js…
阅读更多...
GoAccess实战秘籍：从新手到高手，跨越那些“坑”与“惑”！

GoAccess实战秘籍：从新手到高手，跨越那些“坑”与“惑”！

GoAccess实战秘籍：从新手到高手，跨越那些“坑”与“惑”！ 致读者: 点击上方 “雪之梦技术驿站” → 点击右上角“ … ”→ 点选“设为星标★ ” 加上星标，就不会找不到我啦！ 偷偷溜进文章的小广告，别害羞，点进去瞅瞅，说不定能发现什么宝藏呢！文末那个也别错过，说不定…
阅读更多...
鼻咽癌综述

鼻咽癌综述

小罗碎碎念 本期推文主题&#xff1a;鼻咽癌综述 这篇文章提供了一个全面的综述&#xff0c;探讨了鼻咽癌&#xff08;NPC&#xff09;的关键研究进展&#xff0c;包括病理机制、治疗、筛查和生物标志物的发展。 文章首先强调了NPC在特定地理区域的流行情况&#xff0c;并讨论了…
阅读更多...
nginx反向代理和负载均衡+安装jdk-22.0.2

nginx反向代理和负载均衡+安装jdk-22.0.2

ps -aux|grep nginx //查看进程 nginx 代理 nginx代理是负载均衡的基础 主机&#xff1a;192.168.118.60 这台主机只发布了web服务&#xff0c;没有做代理的任何操作 修改一下index.html中的内容 echo "this is java web server" > /usr/local/nginx/htm…
阅读更多...
Java游戏源码：象棋网络对战版

Java游戏源码：象棋网络对战版

学习java朋友们&#xff0c;福利来了&#xff0c;今天小编给大家带来了一款象棋网络对战版源码。 源码搭建和讲解 源码分为客户端和服务器&#xff0c;采用java原生 java.net.Socket 实现&#xff0c;服务器主循环代码&#xff1a; import java.net.ServerSocket; import jav…
阅读更多...
【吊打面试官系列-Dubbo面试题】Dubbo 配置文件是如何加载到 Spring 中的 ？

【吊打面试官系列-Dubbo面试题】Dubbo 配置文件是如何加载到 Spring 中的 ？

大家好&#xff0c;我是锋哥。今天分享关于 【Dubbo 配置文件是如何加载到 Spring 中的 &#xff1f;】面试题&#xff0c;希望对大家有帮助&#xff1b; Dubbo 配置文件是如何加载到 Spring 中的 &#xff1f; Spring 容器在启动的时候&#xff0c;会读取到 Spring 默认的一些…
阅读更多...
最新文章
推荐文章

Copyright @ 2022~2023

友情链接： 我的编程经验分享 一条长河网 尧图网站开发