搭建RocketMQ主从异步集群

搭建RocketMQ主从异步集群

1、RocketMQ集群模式

  为了追求更好的性能，RocketMQ的最佳实践方式都是在集群模式下完成的。RocketMQ官方提供了三种集群搭建方式：

  • 2主2从异步通信方式：使用异步方式进行主从之间的数据复制。吞吐量大，但可能会丢消息。使用conf/2m-2s-async文件夹内的配置文件做集群配置。
  • 2主2从同步通信方式：使用同步方式进行主从之间的数据复制，保证消息安全投递，不会丢失，但影响吞吐量。使用conf/2m-2s-sync文件夹内的配置文件做集群配置。
  • 2从无从方式：会存在单点故障，且读的性能没有前两种方式号。使用conf/2m-noslave文件夹内的配置文件做集群配置。
  • Dledger高可用集群：上述三种官方提供的集群没办法实现高可用，即在master节点挂掉后，slave节点没办法自动被选举为新的master，而需要人工实现。RocketMQ在4.5版本之后引入了第三方的Dledger高可用集群。

2、搭建主从异步集群

2.1 准备三台Linux服务器

三台Linux服务器中NameServer和Broker之间的关系如下：

服务器服务器IPNameServerBroker节点部署
服务器1192.168.159.33192.168.159.33:9876
服务器2192.168.159.34192.168.159.34:9876broker-a(master)，broker-b-s(slave)
服务器3192.168.159.35192.168.159.35:9876broker-b(master)，broker-a-s(slave)

三台服务器都需要安装JDK和RocketMQ，不再赘述。

2.2 启动三台NameServer

  NameServer是一个轻量级的注册中心，Broker把自己的信息注册到NameServer上。而且NameServer是无状态的，直接启动即可。三台NameServer之间不需要通信，而是被请求来关联三台NameServer的地址。

  修改三台服务器的runserver.sh文件，将JVM内存默认的4G改为512M。

image-20240503171610618

  在每台服务器的bin目录下执行如下命令：

  • 服务器1：nohup ./mqnamesrv -n 192.168.159.33:9876 &
  • 服务器2：nohup ./mqnamesrv -n 192.168.159.34:9876 &
  • 服务器3：nohup ./mqnamesrv -n 192.168.159.35:9876 &

2.3 配置Broker

  broker-a，broker-b-s这两台broker是配置在服务器2上，broker-b,broker-a-s这两台broker是配置在服务器3上。这两对主从节点在不同的服务器上，服务器1上没有部署broker。

  需要修改每台broker的配置文件。注意，同一台服务器上的两个broker保存路径不能一样。

  • broker-a的master节点

  在服务器2上，进入到conf/2m-2s-async文件夹内，修改broker-a.properties文件。

image-20240503172248247

配置如下：

# 所属集群名称
brokerClusterName=DefaultCluster
# broker名字
brokerName=broker-a
# broker所在服务器的ip
brokerIP1=192.168.159.34
# broker的id， 0表示master， >0表示slave
brokerId=0
# 删除文件时间点，默认在凌晨4点
deleteWhen=04
# 文件保留时间为48小时
fileReservedTime=48
# broker的角色为master
brokerRole=ASYNC_MASTER
# 使用异步刷盘的方式
flushDiskType=ASYNC_FLUSH
# 名称服务器的地址列表
namesrvAddr=192.168.159.33:9876;192.168.159.34:9876;192.168.159.35:9876
# 在发送消息自动创建不存在的topic时，默认创建的队列数为4个
defaultTopicQueueNums=4
# 是否允许 Broker自动创建Topic，建议线下开启，线上关闭
autoCreateTopicEnable=true
# 是否允许 Broker自动创建订阅组，建议线下开启，线上关闭
autoCreateSubscriptionGroup=true
# broker对外服务的监听端口
listenPort=10911
# abort文件存储路径
abortFile=/usr/local/rocketmq/store/abort
# 消息存储路径
storePathRootDir=/usr/local/rocketmq/store
# commitLog存储路径
storePathCommitLog=/usr/local/rocketmq/store/commitlog
# 消费队列存储路径
storePathConsumeQueue=/usr/local/rocketmq/store/consumequeue
# 消息索引存储路径
storePathIndex=/usr/local/rocketmq/store/index
# checkpoint文件存储路径
storeCheckpoint=/usr/local/rocketmq/store/checkpoint
# 限制的消息大小
maxMessageSize=65536
# commitLog每个文件的大小默认1G
mapedFileSizeCommitLog=1073741824
# ConsumeQueue每个文件默认存30W条，根据业务情况调整
mapedFileSizeConsumeQueue=300000
  • broker-a的slave节点

  在服务器3上，进入到conf/2m-2s-async文件夹内，修改broker-a-s.properties文件，配置如下：

brokerClusterName=DefaultCluster
brokerName=broker-a
brokerIP1=192.168.159.35
brokerId=1
deleteWhen=04
fileReservedTime=48
brokerRole=SLAVE
flushDiskType=ASYNC_FLUSH
namesrvAddr=192.168.159.33:9876;192.168.159.34:9876;192.168.159.35:9876
defaultTopicQueueNums=4
autoCreateTopicEnable=true
autoCreateSubscriptionGroup=true
listenPort=11011
abortFile=/usr/local/rocketmq/store-slave/abort
storePathRootDir=/usr/local/rocketmq/store-slave
storePathCommitLog=/usr/local/rocketmq/store-slave/commitlog
storePathConsumeQueue=/usr/local/rocketmq/store-slave/consumequeue
storePathIndex=/usr/local/rocketmq/store-slave/index
storeCheckpoint=/usr/local/rocketmq/store-slave/checkpoint
maxMessageSize=65536
  • broker-b的master节点

  在服务器3上，进入到conf/2m-2s-async文件夹内，修改broker-b.properties文件。

brokerClusterName=DefaultCluster
brokerName=broker-b
brokerIP1=192.168.159.35
brokerId=0
deleteWhen=04
fileReservedTime=48
brokerRole=ASYNC_MASTER
flushDiskType=ASYNC_FLUSH
namesrvAddr=192.168.159.33:9876;192.168.159.34:9876;192.168.159.35:9876
defaultTopicQueueNums=4
autoCreateTopicEnable=true
autoCreateSubscriptionGroup=true
listenPort=10911
abortFile=/usr/local/rocketmq/store/abort
storePathRootDir=/usr/local/rocketmq/store
storePathCommitLog=/usr/local/rocketmq/store/commitlog
storePathConsumeQueue=/usr/local/rocketmq/store/consumequeue
storePathIndex=/usr/local/rocketmq/store/index
storeCheckpoint=/usr/local/rocketmq/store/checkpoint
maxMessageSize=65536
  • broker-b的slave节点

  在服务器2上，进入到conf/2m-2s-async文件夹内，修改broker-b-s.properties文件。

brokerClusterName=DefaultCluster
brokerName=broker-b
IP1=192.168.159.34
brokerId=1
deleteWhen=04
fileReservedTime=48
brokerRole=SLAVE
flushDiskType=ASYNC_FLUSH
namesrvAddr=192.168.159.33:9876;192.168.159.34:9876;192.168.159.35:9876
defaultTopicQueueNums=4
autoCreateTopicEnable=true
autoCreateSubscriptionGroup=true
listenPort=11011
abortFile=/usr/local/rocketmq/store-slave/abort
storePathRootDir=/usr/local/rocketmq/store-slave
storePathCommitLog=/usr/local/rocketmq/store-slave/commitlog
storePathConsumeQueue=/usr/local/rocketmq/store-slave/consumequeue
storePathIndex=/usr/local/rocketmq/store-slave/index
storeCheckpoint=/usr/local/rocketmq/store-slave/checkpoint
maxMessageSize=65536

  修改服务器2和服务器3的runbroker.sh文件，将JVM默认内存大小从8G修改为512M。

image-20240503174155363

2.4 启动Broker

  在服务器2中启动broker-a(master)和broker-b-s(slave)

nohup ./mqbroker -c ../conf/2m-2s-async/broker-a.properties &
nohup ./mqbroker -c ../conf/2m-2s-async/broker-b-s.properties &

image-20240503174439431

  在服务器3中启动broker-b(master)和broker-a-s(slave)

nohup ./mqbroker -c ../conf/2m-2s-async/broker-b.properties &
nohup ./mqbroker -c ../conf/2m-2s-async/broker-a-s.properties &

image-20240503174842925

3、验证集群

  使用RocketMQ提供的tools工具验证集群是否正常工作。

  • 在服务器上配置环境变量

    用于被tools中的生产者和消费者程序读取该变量。

    export NAMESRV_ADDR='192.168.159.33:9876;192.168.159.34:9876;192.168.159.35:9876'

  • 启动生产者

    ./tools.sh org.apache.rocketmq.example.quickstart.Producer

    执行之后会看到消息发送。

    image-20240503175212295

  • 启动消费者

    ./tools.sh org.apache.rocketmq.example.quickstart.Consumer

    指定上述命令之后，可以看到消息被消费。

    image-20240503175311382

4、mqadmin管理工具

  RocketMQ提供了命令工具用于管理topic、broker、集群、消息等。

  比如查看下集群的状态：

./mqadmin clusterlist

image-20240503175511451

  比如使用mqadmin创建topic：

./mqadmin updateTopic -n 192.168.159.34:9876 -c DefaultCluster -t myTopic1

image-20240503175617170

  可以看到，topic建立到了DefaultCluster集群下的broker-a(master)和broker-b(master)上边。

  mqadmin的命令比较多，不太好记，下面我们介绍下RocketMQ的可视化管理平台。

5、安装可视化管理控制平台

5.1 RocketMQ-DashBoard安装

  Apache RocketMQ官网提供了两种安装方式，一种是Docker，一种是源码安装。本文采用源码安装方式。

  源码地址：https://github.com/apache/rocketmq-dashboard

  下载并解压，切换至源码目录rocketmq-dashboard-master

image-20240503210111770

  这里在打包之前需要修改下配置文件application.yml

image-20240503210211231

  将NameServer修改为自己集群的地址即可：

image-20240503210251241

  执行打包命令：

mvn clean package -Dmaven.test.skip=true

image-20240503210334166

  将target目录下的jar包上传到虚拟机中，运行jar包：

java -jar rocketmq-dashboard-1.0.1-SNAPSHOT.jar

image-20240503210444739

访问192.168.159.33:8080

image-20240503210542114

image-20240503210615060

image-20240503210641638

5.2 踩坑的解决方案

  当时maven打包好久都无法成功，后来搜了下注释掉frontend-maven-plugin和maven-antrun-plugin这两个plugin后就成功了。

  还有一个问题是，当时直接在github拉取的rocketmq-dashboard的master分支，打包之后的版本为1.0.1，对应的是rocketmq的5.x版本，如果使用该版本监控rocketmq4.x，会有问题，查看不了topic的状态。

  直接在github上下载1.0.0那个release重新打包即可。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.rhkb.cn/news/345781.html

如若内容造成侵权/违法违规/事实不符，请联系长河编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

【日常记录】【JS】中文转拼音的库 pinyin-pro

【日常记录】【JS】中文转拼音的库 pinyin-pro

文章目录 1、介绍2、pinyin-pro 基本使用3、参考链接 1、介绍 pinyin-pro 是一个专业的 JavaScript 中文转拼音的库，具备多音字识别准确、体积轻量、性能优异、功能丰富等特点。 常用的案例 搜索功能增强：在输入框输入汉字时，可以转化为拼音输…
阅读更多...
YOLOv10 超详细解析 | 网络结构、训练策略、论文解读

YOLOv10 超详细解析 | 网络结构、训练策略、论文解读

网络结构 1. Backbone 2. Head 3. 说明 网络结构按 YOLOv10m 绘制，不同 scale 的模型在结构上略有不同，而不是像 YOLOv8 一样仅调整 depth 和 width。Head 有部分后续计算与 YOLOv8 完全相同，上图省略，具体请看此文。YOLOv10 整…
阅读更多...
【Python教程】2-函数、逻辑运算与条件判断

【Python教程】2-函数、逻辑运算与条件判断

在整理自己的笔记的时候发现了当年学习python时候整理的笔记，稍微整理一下，分享出来，方便记录和查看吧。个人觉得如果想简单了解一名语言或者技术，最简单的方式就是通过菜鸟教程去学习一下。今后会从python开始重新更新&#xff0…
阅读更多...
Python基础——字符串

Python基础——字符串

一、Python的字符串简介 Python中的字符串是一种计算机程序中常用的数据类型【可将字符串看作是一个由字母、数字、符号组成的序列容器】，字符串可以用来表示文本数据。 通常使用一对英文的单引号（）或者双引号（"）…
阅读更多...
计算机网络ppt和课后题总结（下）

计算机网络ppt和课后题总结（下）

常用端口总结 计算机网络中，端口是TCP/IP协议的一部分，用于标识运行在同一台计算机上的不同服务。端口号是一个16位的数字，范围从0到65535。通常，0到1023的端口被称为“熟知端口”或“系统端口”，它们被保留给一些标准…
阅读更多...
springboot高校运动会信息管理系统设计与实现-计算机毕业设计源码92968

springboot高校运动会信息管理系统设计与实现-计算机毕业设计源码92968

摘 要 本论文介绍了一个高校运动会信息管理系统的设计和实现过程。首先是高校运动会的需求分析和可行性分析，通过比较运动会的各个工作流程，确定了系统的数据流程和数据库结构，然后介绍了高校运动会信息管理系统开发所使用的软件开发工具&…
阅读更多...
Clo3D导出服装动画，使用Unity3D展示

Clo3D导出服装动画，使用Unity3D展示

1.前言 Clo3D是一款应用于时装行业的3D服装设计软件,其强大的布料模拟算法可在3D空间中实现设计、制版、试衣和走秀,大幅提升数字作品逼真度和制作效率。为了让服装动画效果展示在Unity3D上模拟效果，需要Clo3D模拟出逼着的衣服动画。总体流程为Clo3D - Mixamo -Blen…
阅读更多...
【算法篇】求最长公共前缀JavaScript版本

【算法篇】求最长公共前缀JavaScript版本

题目描述 给你一个大小为 n 的字符串数组 strs &#xff0c;其中包含n个字符串 , 编写一个函数来查找字符串数组中的最长公共前缀&#xff0c;返回这个公共前缀。 数据范围&#xff1a; 数据范围:0<n<5000&#xff0c;0<len(strsi)< 5000 进阶:空间复杂度 O(1)&a…
阅读更多...
金融数据中心能力建设指引

金融数据中心能力建设指引

金融数据中心能力建设指引 金融数据中心能力建设指引旨在通过高标准的基础设施建设、完善的数据管理、强大的信息安全防护和业务连续性规划&#xff0c;确保数据中心具备高效、安全、可靠的运行能力&#xff0c;支持金融业务的稳定发展。该指引强调技术创新、标准化管理、人才…
阅读更多...
【机器学习】Python与深度学习的完美结合——深度学习在医学影像诊断中的惊人表现

【机器学习】Python与深度学习的完美结合——深度学习在医学影像诊断中的惊人表现

&#x1f525; 个人主页&#xff1a;空白诗 文章目录 一、引言二、深度学习在医学影像诊断中的突破1. 技术原理2. 实际应用3. 性能表现 三、深度学习在医学影像诊断中的惊人表现1. 提高疾病诊断准确率2. 辅助制定治疗方案 四、深度学习对医疗行业的影响和推动作用 一、引言 随着…
阅读更多...
Java加密体系结构参考指南-Java Cryptography Architecture

Java加密体系结构参考指南-Java Cryptography Architecture

本文是从英文的官网摘了翻译的&#xff0c;用作自己的整理和记录。水平有限&#xff0c;欢迎指正。版本是&#xff1a;22 原文地址&#xff1a;https://docs.oracle.com/en/java/javase/22/security/java-cryptography-architecture-jca-reference-guide.html#GUID-815542FE-CF…
阅读更多...
web入门（1）---6.10

web入门（1）---6.10

总结&#xff1a; 多做一点NSSCTF的新手赛&#xff0c;了解基本题型&#xff0c;然后打牢基础知识 谢队讲解 攻防世界 Web入门题 讲解_哔哩哔哩_bilibili 题目来源&#xff1a;攻防世界新手区 1.view_source 查看源代码 2.get_post 收获&#xff1a; get方法是直接在url…
阅读更多...
群体优化算法----火山爆发算法介绍以及离散优化Pareto最优解示例

群体优化算法----火山爆发算法介绍以及离散优化Pareto最优解示例

介绍 火山爆发算法&#xff08;Volcano Eruption Algorithm&#xff0c;VEA&#xff09;是一种新兴的群智能优化算法&#xff0c;其灵感来源于火山爆发的自然现象。火山爆发算法模拟了火山爆发过程中熔岩流动和喷发的行为&#xff0c;以寻找全局最优解。这种算法利用了火山爆发…
阅读更多...
Linux下打印封装_统计函数执行时间_线程号时间戳打印

Linux下打印封装_统计函数执行时间_线程号时间戳打印

统计函数执行时间&#xff08;多线程环境下统计结果不准&#xff09; // 无返回值 #define FUNC_EXEC_TIME_NORET(fun,promote) ({ \ unsigned long long timeDelta 0; \ struct timespec t1 {0}; \ struct timespec t2 {0}; \ clock_gettime(CLOCK_MONOTONIC, &t1); \ …
阅读更多...
度小满金融大模型的应用创新

度小满金融大模型的应用创新

XuanYuan/README.md at main Duxiaoman-DI/XuanYuan GitHub
阅读更多...
【MySQL】（基础篇四） —— 检索数据

【MySQL】（基础篇四） —— 检索数据

检索数据 检索数据是我们使用数据库时进行最多的操作&#xff0c;其中包括了检索条件、排序、过滤、分组等等。我会在后续的多篇博客中为你进行详细地介绍它们。 这次先让我们来粗略的了解一下SELECT&#xff0c;为了使用SELECT检索表数据&#xff0c;必须至少明确两点信息—…
阅读更多...
汇编：结构体

汇编：结构体

在32位汇编中&#xff0c;结构体&#xff08;structures&#xff09;用于组织和管理复杂的数据类型&#xff0c;结构体可以包含多个不同类型的数据项&#xff08;成员&#xff09;&#xff1b;在MASM&#xff08;Microsoft Macro Assembler&#xff09;中&#xff0c;使用结构体…
阅读更多...
Linux入门学习（2）

Linux入门学习（2）

1.相关复习新的指令学习 &#xff08;1&#xff09;我们需要自己创建一个用户&#xff0c;这个用户前期可以是一个root用户&#xff0c;后期使用创建的普通用户 &#xff08;2&#xff09;文件等于文件内容加上文件属性,对于文件的操作就包括对于文件内容的操作和文件属性&…
阅读更多...
Polar Web【困难】上传

Polar Web【困难】上传

Polar Web【困难】上传 Contents Polar Web【困难】上传探索&思路&效果进入环境绕过过程Webshell连接 EXPPayload 总结 探索&思路&效果 本题的主题可见为文件上传&#xff0c;详情在破解的过程中逐步发掘&#xff1a; 进入环境&#xff0c;为一个文件上传功界面…
阅读更多...
html5实现个人网站源码

html5实现个人网站源码

文章目录 1.设计来源1.1 网站首页页面1.2 个人工具页面1.3 个人日志页面1.4 个人相册页面1.5 给我留言页面 2.效果和源码2.1 动态效果2.2 目录结构 源码下载 作者&#xff1a;xcLeigh 文章地址&#xff1a;https://blog.csdn.net/weixin_43151418/article/details/139564407 ht…
阅读更多...
最新文章
推荐文章

Copyright @ 2022~2023