RabbitMQ 集群

文章目录

  • 集群搭建
    • 使用 Docker-Compose
  • 镜像队列
    • 搭建步骤
    • 工作原理
    • 镜像策略
    • 主从同步
  • 同步延迟

集群搭建

参考：

  1. docker中安装并启动rabbitMQ

  2. Docker中搭建RabbitMQ集群

使用 Docker-Compose

这里提供一个脚本来使用 docker-compose 完成RabbitMQ集群的配置及启动

docker-compose.yml 文件如下

#!/bin/bash# 定义 RabbitMQ 用户名、密码和 Erlang Cookie
RABBITMQ_USER="guest"
RABBITMQ_PASS="guest"
ERLANG_COOKIE="secret_cookie"# 创建 docker-compose.yml 文件
cat << EOF > docker-compose.yml
version: '3.8'services:rabbitmq1:image: rabbitmq:3-managementhostname: rabbitmq1environment:RABBITMQ_DEFAULT_USER: $RABBITMQ_USERRABBITMQ_DEFAULT_PASS: $RABBITMQ_PASSports:- "15671:15672"  # Management UI- "5671:5672"    # RabbitMQvolumes:- ./rabbitmq1/data:/var/lib/rabbitmq- ./rabbitmq1/etc/rabbitmq:/etc/rabbitmqnetworks:- rabbitmq-netrabbitmq2:image: rabbitmq:3-managementhostname: rabbitmq2environment:RABBITMQ_DEFAULT_USER: $RABBITMQ_USERRABBITMQ_DEFAULT_PASS: $RABBITMQ_PASSports:- "15672:15672"  # Management UI- "5672:5672"    # RabbitMQvolumes:- ./rabbitmq2/data:/var/lib/rabbitmq- ./rabbitmq2/etc/rabbitmq:/etc/rabbitmqnetworks:- rabbitmq-netrabbitmq3:image: rabbitmq:3-managementhostname: rabbitmq3environment:RABBITMQ_DEFAULT_USER: $RABBITMQ_USERRABBITMQ_DEFAULT_PASS: $RABBITMQ_PASSports:- "15673:15672"  # Management UI- "5673:5672"    # RabbitMQvolumes:- ./rabbitmq3/data:/var/lib/rabbitmq- ./rabbitmq3/etc/rabbitmq:/etc/rabbitmqnetworks:- rabbitmq-netnetworks:rabbitmq-net:
EOFecho "docker-compose.yml 文件已创建。"# 创建节点目录结构
for i in {1..3}; domkdir -p rabbitmq$i/data rabbitmq$i/etc/rabbitmqecho "NODENAME=rabbit@rabbitmq$i" > ./rabbitmq$i/etc/rabbitmq/rabbitmq-env.confecho "$ERLANG_COOKIE" > ./rabbitmq$i/etc/rabbitmq/.erlang.cookiechmod 400 ./rabbitmq$i/etc/rabbitmq/.erlang.cookie  # 设置权限为 400
doneecho "各节点的配置文件已创建。"# 启动 Docker Compose
docker-compose up -d# 等待 RabbitMQ 启动
sleep 10# 将节点加入集群
docker exec -it rabbitmq2 rabbitmqctl stop_app
docker exec -it rabbitmq2 rabbitmqctl join_cluster rabbit@rabbitmq1
docker exec -it rabbitmq2 rabbitmqctl start_appdocker exec -it rabbitmq3 rabbitmqctl stop_app
docker exec -it rabbitmq3 rabbitmqctl join_cluster rabbit@rabbitmq1
docker exec -it rabbitmq3 rabbitmqctl start_app# 显示集群状态
docker exec -it rabbitmq1 rabbitmqctl cluster_statusecho "RabbitMQ 集群已成功启动。"

使用方式：
复制脚本内容到指定脚本文件，例如rabbitmq_cluster.sh，添加执行权限并执行

脚本解释

Erlang节点之间通过认证Erlang Cookie的方式来允许互相通信，所以要确保在每个节点中使用相同的 RABBITMQ_ERLANG_COOKIE 值，以便它们能够相互通信。新版本已经不建议通过环境变量设置 Erlang Cookie 了，会有警告信息
RABBITMQ_ERLANG_COOKIE env variable support is deprecated and will be REMOVED in a future version. Use the $HOME/.erlang.cookie file or the --erlang-cookie switch instead.
，建议在 home 目录下新建 .erlang.cookie 文件，在 每个节点的 .erlang.cookie 写入一致的字符串，注意 .erlang.cookie 文件的权限应该为 400。所以为了便于修改ErlangCookie，启动容器时要做好容器数据卷的映射。因为 /var/lib/rabbitmq 是 RabbitMQ home 目录和 data 目录，所以需要映射到宿主机

启动成功后：访问WEB控制台界面
在这里插入图片描述

镜像队列

如果 RabbitMQ 集群中只有一个 Broker 节点，那么该节点的失效将导致整体服务的临时性不可用，并且也可能会导致消息的丢失。可以将所有消息都设置为持久化，并且对应队列的durable属性也设置为true，但 是这样仍然无法避免由于缓存导致的问题：因为消息在发送之后和被写入磁盘井执行刷盘动作之间存在一 个短暂却会产生问题的时间窗。通过 publisherconfirm(发布确认) 机制能够确保客户端知道哪些消息己经存入磁盘，尽 管如此，一般不希望遇到因单点故障导致的服务不可用。

引入镜像队列（Mirror Queue）的机制，可以将队列镜像到集群中的其他 Broker 节点之上，如果集群中 的一个节点失效了，队列能自动地切换到镜像中的另一个节点上以保证服务的可用性。

搭建步骤

  1. 启动三台集群节点
  2. 随便找一个节点添加 policy（策略）

找到 Policies 部分。
点击 Add / update a policy 按钮。
在这里插入图片描述

参数解释：

  1. Name: policy的名称，用户自定义。
  2. Pattern: queue的匹配模式（正则表达式）。^表示所有队列都是镜像队列。
  3. Definition: 镜像定义，包括三个部分ha-sync-mode、ha-mode、ha-params。

ha-mode: 指明镜像队列的模式，有效取值范围为all/exactly/nodes。

  • all：表示在集群所有的代理上进行镜像。
  • exactly：表示在指定个数的代理上进行镜像，代理的个数由ha-params指定。
  • nodes：表示在指定的代理上进行镜像，代理名称通过ha-params指定。

ha-params: ha-mode模式需要用到的参数。
ha-sync-mode: 表示镜像队列中消息的同步方式，有效取值范围为：automatic，manually。

  • automatic：表示自动向master同步数据。
  • manually：表示手动向master同步数据。

Priority: 可选参数， policy的优先级。

在 rabbitmq2 上创建一个队列发送一条消息，队列存在镜像队列，如下图所示：

在这里插入图片描述

工作原理

https://www.rabbitmq.com/docs/3.13/ha#what-is-mirroring

多个RabbitMQ节点组成镜像队列的情况下，有一个节点会作为主节点，其他的节点就是从节点，也就是其镜像队列。镜像队列其是就是从节点的概念。

对主节点的写操作会被复制到其他镜像队列上，slave会准确地按照master执行命令的顺序进行命令执行，故slave与master上维护的状态应该是相同的。

故障转移：如果持有队列主副本的节点发生故障，RabbitMQ 会自动将一个镜像副本提升为新的主副本，从而确保消息的可用性。

优缺点

优点：

  1. 高可用性：通过在多个节点上维护队列副本，确保即使某个节点故障，消息仍然可用。
  2. 故障转移：故障发生时可以快速切换到其他节点，减少服务中断。
    缺点：
  3. 资源消耗：镜像队列会消耗更多的内存和存储资源，因为每个消息都需要在多个节点上存储副本。
  4. 性能开销：在高负载情况下，消息复制可能导致性能下降，增加网络流量和延迟。

使用镜像策略的注意事项

在设计系统时，必须权衡高可用性和资源消耗之间的平衡。
定期监控队列和节点的状态，以确保镜像队列正常运行。
根据业务需求灵活设置镜像策略，确保系统在不同场景下的可靠性和性能。
通过合理配置镜像策略，您可以在 RabbitMQ 集群中实现高可用性和容错能力，确保消息在故障情况下的可用性。

镜像策略

RabbitMQ 的镜像策略（也称为高可用性策略）用于确保队列在集群中的高可用性和容错性。镜像队列会在多个节点上维护相同的队列副本，这样即使某个节点发生故障，其他节点仍然可以提供服务。以下是关于镜像策略的详细解释：

  1. 通过管理控制台设置
  2. 通过 rabbitmqctl 命令行工具设置
rabbitmqctl set_policy ha-all "^.*" '{"ha-mode":"all"}'

镜像策略的类型

ha-mode：

  1. all: 所有队列副本都在集群中的所有节点上。
  2. exactly: 指定每个队列应该有的副本数量。
  3. nodes: 指定特定的节点列表作为镜像副本。

ha-params：与 ha-mode 配合使用的参数，具体含义取决于 ha-mode 的选择。

主从同步

rabbitmq的主从复制是异步的，但是rabbitmq并不存在mysql这种场景的丢数据（这句话不是说rabbitmq保证不丢数据）。在这里，我们来分析一下RabbitMQ的副本复制的过程。

首先，我们来说一下mysql和rabbitmq的使用接口是不同的，这时很关键的一点。mysql是同步的接口，也就是说client将sql发给server，server处理sql后将结果返回给client，在server返回client结果前，client不能发起下一个sql的请求。对于rabbitmq来说，访问接口是异步的。client（我们这里说的是publisher）向rabbitmq server publish一条消息，在默认的情况下server是不返回成功还是失败的，也就是说client在不到成功还是失败的情况下就可以发起下一个请求。如果client关心server是否成功处理完这条消息，可以开启confirm模式，server会异步的返回ack通知client消息投递成功还是失败。但是client仍然不必等待收到当前消息的ack就可以继续发下一条。

接下来，我们来说rabbitmq的主从复制过程。实际上，RabbitMQ主从之间的数据复制是异步的，但是在rabbitmq中不会出现mysql那种丢数据的情况，这是因为rabbitmq的接口也是异步的，主收到一条消息写入本地存储，然后在发起写入从的请求。当所有从写入成功后，主才会给client返回ack说这次写入成功了。所以可以看出，虽然rabbitmq的主从复制是异步的，但是并且不会出现mysql丢数据的场景。只要客户端收到ack，就说明这条消息已经写入主和从了。

所以需要强调的一点是，同步和异步并非是决定数据可靠性的关键点。客户端收到成功通知时，所有副本是否写入成功才是判断数据可靠的关键点。因为mysql的接口是同步，所以才需要在主从复制同步还是异步上做出选择。rabbitmq的接口本身就是异步的接口，所以rabbitmq的主从复制就自然而然的是异步的方式。

同步延迟

在 RabbitMQ 中，同步延迟可能会影响消息的处理速度和系统的整体性能。以下是一些常见的解决方案和优化策略，可以帮助减少 RabbitMQ 的同步延迟：

  1. 优化网络配置
    网络带宽：确保 RabbitMQ 节点之间有足够的带宽，特别是在高负载情况下。考虑使用更快的网络连接。
    网络延迟：尽量将 RabbitMQ 节点部署在同一数据中心内，以减少网络延迟。
  2. 调整队列和镜像策略
    使用适当的镜像策略：
    如果不需要所有节点都有队列的镜像，可以选择 ha-mode 设置为 exactly 或 nodes，以减少复制的数量。
    如果只需要部分节点有镜像，可以指定特定的节点。
    减少镜像数量：尽量减少每个队列的镜像副本数量，权衡高可用性和性能之间的关系。
  3. 使用流控
    设置队列流控：可以通过设置 x-max-length 或 x-max-length-bytes 限制队列的最大长度或大小，从而防止队列过长导致的延迟。
  4. 增加消费者数量
    水平扩展消费者：增加消费者实例的数量，确保消息能够更快地被处理和确认。确保消费者能够在多个节点上并行运行。
  5. 优化消息处理
    提高消息处理效率：检查消费者的处理逻辑，确保消息处理尽可能高效，避免在处理过程中出现瓶颈。
    批量处理消息：考虑使用批量确认（basic.ack）而不是单个确认，以减少确认的开销。
  6. 监控和调试
    使用监控工具：利用 RabbitMQ 的监控插件或其他监控工具（如 Prometheus、Grafana）监控系统性能，识别瓶颈。
    分析日志：查看 RabbitMQ 日志，识别可能导致延迟的错误或警告。
  7. 资源和配置优化
    调整 RabbitMQ 配置：根据系统需求调整 RabbitMQ 的配置参数，如内存、磁盘和 CPU 使用情况。
    增加节点资源：确保 RabbitMQ 节点有足够的 CPU 和内存资源，避免因资源不足导致的性能下降。
  8. 使用持久化
    选择适当的持久化策略：在消息持久化与性能之间进行权衡，确保消息持久化不会对性能产生负面影响。
  9. 负载均衡
    使用负载均衡策略：在多个消费者之间分配负载，确保没有单个消费者过载，从而提高处理能力。
    通过上述方法，您可以有效减少 RabbitMQ 的同步延迟，并提高系统的整体性能和可靠性。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.rhkb.cn/news/441168.html

如若内容造成侵权/违法违规/事实不符，请联系长河编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

机器学习-树模型算法

机器学习-树模型算法

机器学习-树模型算法 一、Bagging1.1 RF1.2 ET 二、Boosting2.1 GBDT2.2 XGB2.3 LGBM 仅个人笔记使用&#xff0c;感谢点赞关注 一、Bagging 1.1 RF 1.2 ET 二、Boosting 2.1 GBDT 2.2 XGB 2.3 LGBM LightGBM&#xff08;Light Gradient Boosting Machine) 基本算法原理…
阅读更多...
基于单片机的烧水壶系统设计

基于单片机的烧水壶系统设计

目录 一、主要功能 二、硬件资源 三、程序编程 四、实现现象 一、主要功能 基于STC89C52RC单片机&#xff0c;采用四个按键&#xff0c;通过DS18B20检测温度&#xff0c;开机显示实时温度 第一个按键为切换功能按键&#xff0c;按下后&#xff0c;可以设置烧水温度的大小&…
阅读更多...
五子棋双人对战项目（6）——对战模块(解读代码)

五子棋双人对战项目（6）——对战模块(解读代码)

目录 一、约定前后端交互接口的参数 1、房间准备就绪 &#xff08;1&#xff09;配置 websocket 连接路径 &#xff08;2&#xff09;构造 游戏就绪 的 响应对象 2、“落子” 的请求和响应 &#xff08;1&#xff09;“落子” 请求对象 &#xff08;2&#xff09;“落子…
阅读更多...
【Git】vscode链接github拉去镜像

【Git】vscode链接github拉去镜像

1.拉取别人的项目到自己的仓库 2.回到自己的仓库拉取文件到vscode里面下载 使用vscode进入虚拟机 推送到自己的仓库上面 在 github 页面将修改的内容 PR 到 Tutorial 创建一个个人仓库 代码如下 cd demo git clone https://github.com/3154067760/Tutorial.git cd Tutorial/…
阅读更多...
UGUI（三大现成UI控件）

UGUI（三大现成UI控件）

Rawimage 可以是任意类型的图&#xff0c;所以这里的泛型就更宽泛&#xff0c;不止sprite 相比Image唯二的不同 uvrect有点像平铺 Text suddenly come to a Free island. best fit开启后会有范围选择 Image image 组件是挂在RectTransform的ui下的&#xff0c;换句话说&…
阅读更多...
域名续签申请步骤

域名续签申请步骤

来此加密-申请3个月使用&#xff08;免费&#xff09; 附上链接&#x1f517; 免费申请SSL证书,支持泛域名和多域名: 来此加密. 使用推荐码注册:E69X5K4D, 立刻获得5个积分. 访问:https://letsencrypt.osfipin.com/jump/share?codeE69X5K4D 登陆网站 https://letsencrypt.…
阅读更多...
浅谈新能源电动汽车充电站建设与运营模式分析

浅谈新能源电动汽车充电站建设与运营模式分析

摘要&#xff1a;电动汽车是当前新能源汽车中重要的组成部分&#xff0c;具有广阔的发展前景&#xff0c;能够实现“以电代油”&#xff0c;与传统的燃油汽车相比&#xff0c;电动汽车在噪音及废气排放量方面相对较少&#xff0c;具有节能环保的显著特点。而电动汽车充电站则是…
阅读更多...
强引用、软引用、弱引用、虚引用用法

强引用、软引用、弱引用、虚引用用法

强引用、软引用、弱引用、虚引用用法 强引用弱引用弱引用虚引用 强引用 强引用是指程序中在程序代码之中类似“Object obj new Object()”的引用关系&#xff0c;无论任何情况下&#xff0c;只要强引用关系还存在&#xff0c;垃圾回收器就不会回收掉被引用的对象。 强引用是我…
阅读更多...
【黑马点评】使用RabbitMQ实现消息队列——3.使用Jmeter压力测试，导入批量token，测试异步秒杀下单

【黑马点评】使用RabbitMQ实现消息队列——3.使用Jmeter压力测试，导入批量token，测试异步秒杀下单

3 批量获取用户token&#xff0c;使用jmeter压力测试 3 批量获取用户token&#xff0c;使用jmeter压力测试3.1 需求3.2 实现3.2.1 环境配置3.2.2 修改登录接口UserController和实现类3.2.3 测试类 3.3 使用jmeter进行测试3.4 测试结果3.5 将用户登录逻辑修改回去 3 批量获取用户…
阅读更多...
地图可视化的艺术：深入比较Mapbox、OpenLayers、Leaflet和Cesium，不同场景下应如何选择地图库

地图可视化的艺术：深入比较Mapbox、OpenLayers、Leaflet和Cesium，不同场景下应如何选择地图库

目录 地图可视化的艺术&#xff1a;深入比较Mapbox、OpenLayers、Leaflet和Cesium 一、总览 二、定制地图美学的先行者——Mapbox 1、主要功能特点 2、开源情况 3、市场与应用人群 4、安装与基础使用代码 三、开源GIS地图库的全能王——OpenLayers 1、主要功能特点 2…
阅读更多...
rabbitmq消费者应答模式

rabbitmq消费者应答模式

1.应答模式 RabbitMQ 中的消息应答模式主要包括两种&#xff1a;自动应答&#xff08;Automatic Acknowledgement&#xff09;和手动应答&#xff08;Manual Acknowledgement&#xff09;。 自动应答&#xff1a; 不在乎消费者对消息处理是否成功&#xff0c;都会告诉队列删…
阅读更多...
ComfyUI增强图像细节只需要一个节点（附工作流），SD1.5、SDXL、FLUX.1 全支持，简单好用！

ComfyUI增强图像细节只需要一个节点（附工作流），SD1.5、SDXL、FLUX.1 全支持，简单好用！

今天给小伙伴们介绍一个非常简单&#xff0c;但又相当好使的一个插件。 功能很简单&#xff0c;就是增加或者减少图像的细节&#xff0c;节点也很简单&#xff0c;就一个节点&#xff0c;只需要嵌入我们的 ComfyUI 的基础工作流中就可以了&#xff0c;随插随用。 而且该插件不…
阅读更多...
springboot mail：如何高效管理邮件服务？

springboot mail：如何高效管理邮件服务？

springboot mail发邮件教程&#xff1f;怎么实现spring发信功能&#xff1f; SpringBoot Mail作为Spring Boot框架的一部分&#xff0c;提供了一种简单而强大的方式来集成和管理邮件服务。AokSend将探讨如何高效地使用SpringBoot Mail来管理邮件服务&#xff0c;确保邮件发送的…
阅读更多...
Qt实现Halcon窗口显示当前图片坐标

Qt实现Halcon窗口显示当前图片坐标

一、前言 Halcon加载图片的窗口&#xff0c;不仅能放大和缩小图片&#xff0c;还可以按住Ctrl键显示鼠标下的灰度值&#xff0c;这种方式很方便我们分析缺陷的灰度和对比度。 二、实现方式 ① 创建显示坐标和灰度的widget窗口 下图的是widget部件&#xff0c;使用了4个label控…
阅读更多...
二项式定理学习

二项式定理学习

1.二项式定理 这个就是二项式定理的重要公式&#xff0c;我们的二项式定理的每一项的系数&#xff0c;代表的意思为从n个里面选出k个 &#xff0c;以下是来自于百度百科上面的解释&#xff08;原谅我实在不会数学定义&#xff09; 因此我们可以去讨论二项式定理中的最特殊的一种…
阅读更多...
深入解析LlamaIndex Workflows【下篇】：实现ReAct模式AI智能体的新方法

深入解析LlamaIndex Workflows【下篇】：实现ReAct模式AI智能体的新方法

之前我们介绍了来自LLM开发框架LlamaIndex的新特性&#xff1a;Workflows&#xff0c;一种事件驱动、用于构建复杂AI工作流应用的新方法&#xff08;参考&#xff1a;[深入解析LlamaIndex Workflows&#xff1a;构建复杂RAG与智能体工作流的新利器【上篇】]。在本篇中&#xff…
阅读更多...
如何自制无人机?

如何自制无人机?

自制无人机是一个既有趣又富有挑战性的项目&#xff0c;它涉及到电子工程、机械工程和航空航天工程等多个领域的知识。以下是一个基本的自制无人机制作步骤和所需材料概览&#xff0c;供您参考&#xff1a; 一、准备阶段 1. 明确目标 - 确定无人机的用途&#xff08;如航拍、…
阅读更多...
基于SSM框架和Layui的学院课程安排系统的设计与实现(源码+定制+定制）

基于SSM框架和Layui的学院课程安排系统的设计与实现(源码+定制+定制）

博主介绍&#xff1a; ✌我是阿龙&#xff0c;一名专注于Java技术领域的程序员&#xff0c;全网拥有10W粉丝。作为CSDN特邀作者、博客专家、新星计划导师&#xff0c;我在计算机毕业设计开发方面积累了丰富的经验。同时&#xff0c;我也是掘金、华为云、阿里云、InfoQ等平台…
阅读更多...
Element UI教程：如何将Radio单选框的圆框改为方框

Element UI教程：如何将Radio单选框的圆框改为方框

大家好&#xff0c;今天给大家带来一篇关于Element UI的使用技巧。在项目中&#xff0c;我们经常会用到Radio单选框组件&#xff0c;默认情况下&#xff0c;Radio单选框的样式是圆框。但有时候&#xff0c;为了满足设计需求&#xff0c;我们需要将圆框改为方框&#xff0c;如下…
阅读更多...
SkyWalking 自定义链路追踪

SkyWalking 自定义链路追踪

对项目中的业务方法&#xff0c;实现链路追踪&#xff0c;方便我们排查问题 引入依赖 <!‐‐ SkyWalking 工具类 ‐‐> <dependency> <groupId>org.apache.skywalking</groupId> <artifactId>apm‐toolkit‐trace</artifactId> <vers…
阅读更多...
最新文章
推荐文章

Copyright @ 2022~2023