【SpringBoot整合系列】SpringBoot整合RabbitMQ-消息过期(死信队列和延迟队列)

目录

  • 业务场景
    • 传统轮询
    • 消息队列
      • 完整版
  • 默认情况
  • TTL(消息的有效期)
    • TTL 的设置有两种不同的方式
    • 单条消息过期
    • 队列消息过期
    • 特殊情况
  • 死信队列
    • 概述
    • 应用场景
    • 产生原因
    • 原理图
    • 死信交换机
    • 死信队列
    • 实现一下
  • 延迟队列
    • 背景
    • 定时任务?
    • 延迟队列实现思路
      • 代码

业务场景

以电商抢购为例,用户下单后30分钟内未完成支付,则取消订单

传统轮询

在这里插入图片描述

消息队列

在这里插入图片描述

完整版

在这里插入图片描述

默认情况

  • 默认情况下,消息是不会过期的,也就是我们平日里在消息发送时,如果不设置任何消息过期的相关参数,那么消息是不会过期的,
  • 即使消息没被消费掉,也会一直存储在队列中。

TTL(消息的有效期)

  • TTL(Time-To-Live),消息存活的时间,即消息的有效期。如果我们希望消息能够有一个存活时间,那么我们可以通过设置 TTL 来实现这一需求。
  • 如果消息的存活时间超过了 TTL 并且还没有被消息,此时消息就会变成死信

TTL 的设置有两种不同的方式

  1. 在声明队列的时候,我们可以在队列属性中设置消息的有效期,这样所有进入该队列的消息都会有一个相同的有效期。
  2. 在发送消息的时候设置消息的有效期,这样不同的消息就具有不同的有效期。
  3. 如果两个都设置了就以时间短的为准。

当我们设置了消息有效期后,消息过期了就会被从队列中删除了(进入到死信队列),但是两种方式对应的删除时机有一些差异
4. 对于第一种方式,当消息队列设置过期时间的时候,那么消息过期了就会被删除,因为消息进入 RabbitMQ 后是存在一个消息队列中,队列的头部是最早要过期的消息,所以 RabbitMQ 只需要一个定时任务,从头部开始扫描是否有过期消息,有的话就直接删除。
5. 对于第二种方式,当消息过期后并不会立马被删除,而是当消息要投递给消费者的时候才会去删除,因为第二种方式,每条消息的过期时间都不一样,想要知道哪条消息过期,必须要遍历队列中的所有消息才能实现,当消息比较多时这样就比较耗费性能,因此对于第二种方式,当消息要投递给消费者的时候才去删除

单条消息过期

  1. 依赖

    		<dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-amqp</artifactId></dependency><dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-web</artifactId></dependency><dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-test</artifactId><scope>test</scope></dependency><dependency><groupId>org.springframework.amqp</groupId><artifactId>spring-rabbit-test</artifactId><scope>test</scope></dependency><dependency><groupId>org.projectlombok</groupId><artifactId>lombok</artifactId><optional>true</optional></dependency>
    
  2. 配置

    server:port: 8888
    spring:rabbitmq:host: 192.168.29.200port: 5672username: adminpassword: adminvirtual-host: /
    
  3. 配置队列

    @Configuration
    public class QueueConfig {//首先配置一个消息队列,new 一个 Queue:第一个参数是消息队列的名字;第二个参数表示消息是否持久化;第三个参数表示消息队列是否排他,一般我们都是设置为 false,即不排他;第四个参数表示如果该队列没有任何订阅的消费者的话,该队列会被自动删除,一般适用于临时队列。//配置一个 DirectExchange 交换机。//将交换机和队列绑定到一起。public static final String MQ_QUEUE_DEMO = "mq_queue_demo";public static final String MQ_EXCHANGE_DEMO = "mq_exchange_demo";public static final String HELLO_ROUTING_KEY = "hello_routing_key";@Beanpublic Queue queue() {return new Queue(MQ_QUEUE_DEMO, true, false, false);}@Beanpublic DirectExchange directExchange() {return new DirectExchange(MQ_EXCHANGE_DEMO, true, false);}@Beanpublic Binding binding() {return BindingBuilder.bind(queue()).to(directExchange()).with(HELLO_ROUTING_KEY);}
    }
    

关于排他性

  • 如果设置为 true,则该消息队列只有创建它的 Connection 才能访问,其他的 Connection 都不能访问该消息队列
  • 如果试图在不同的连接中重新声明或者访问排他性队列,那么系统会报一个资源被锁定的错误。
  • 另一方面,对于排他性队列而言,当连接断掉的时候,该消息队列也会自动删除(无论该队列是否被声明为持久性队列都会被删除)
  1. 生产消息发送
    @RestController
    public class SendController {@Resourceprivate RabbitTemplate rabbitTemplate;;@RequestMapping("/send")public String send() {//在创建 Message 对象的时候我们可以设置消息的过期时间,这里设置消息的过期时间为 10 秒Message message = MessageBuilder.withBody("hello rabbitmq".getBytes()).setExpiration("10000").build();rabbitTemplate.convertAndSend(QueueConfig.MQ_QUEUE_DEMO, message);return "send success";}
    }
    
  2. 启动项目,进行消息发送测试。当消息发送成功之后,由于没有消费者,所以这条消息并不会被消费。打开 RabbitMQ 管理页面,点击到 Queues 选项卡,10s 之后,会发现消息已经不见了
    在这里插入图片描述

单条消息设置过期时间,就是在消息发送的时候设置一下消息有效期即可。

队列消息过期

  1. 给队列设置消息过期时间:配置类修改队列设置

        @Beanpublic Queue queue() {Map<String, Object> args = new HashMap<>();args.put("x-message-ttl", 10000);return new Queue(MQ_QUEUE_DEMO, true, false, false, args);}
    
  2. 修改消息的发送逻辑

    @RestController
    public class SendController {@Resourceprivate RabbitTemplate rabbitTemplate;;@RequestMapping("/send")public String send() {//在创建 Message 对象的时候我们可以设置消息的过期时间,这里设置消息的过期时间为 10 秒/*Message message = MessageBuilder.withBody("hello rabbitmq".getBytes()).setExpiration("10000").build();rabbitTemplate.convertAndSend(QueueConfig.MQ_QUEUE_DEMO, message);*/Message message = MessageBuilder.withBody("hello rabbitmq".getBytes()).build();rabbitTemplate.convertAndSend(QueueConfig.MQ_QUEUE_DEMO, message);return "send success";}
    }
    
  3. 启动项目,发送一条消息进行测试。查看 RabbitMQ 管理页面
    在这里插入图片描述
    可以看到,消息队列的 Features 属性为 D 和 TTL,D 表示消息队列中消息持久化,TTL 则表示消息会过期。10s 之后刷新页面,发现消息数量已经恢复为 0。

这就是给消息队列设置消息过期时间,一旦设置了,所有进入到该队列的消息都有一个过期时间了

特殊情况

  • 还有一种特殊情况,就是将消息的过期时间 TTL 设置为 0,这表示如果消息不能立马消费则会被立即丢掉,这个特性可以部分替代 RabbitMQ3.0 以前支持的 immediate 参数
  • 之所以所部分代替,是因为 immediate 参数在投递失败会有 basic.return 方法将消息体返回(这个功能可以利用死信队列来实现)

死信队列

概述

  • producer 将消息投递到 broker 或者直接到 queue 里了,consumer 从 queue 取出消息进行消费,但某些时候由于特定的原因导致 queue 中的某些消息无法被消费,这样的消息如果没有后续的处理,就变成了死信,所有的死信就组成了死信队列。

应用场景

  • 为了保证订单业务的消息数据不丢失,需要使用到 RabbitMQ 的死信队列机制,当消息消费发生异常时,将消息投入死信队列中。

产生原因

  • 消息 TTL 过期(单位)
  • 队列达到最大长度(队列满了,无法再添加数据到 mq 中)
  • 消息被拒绝(basic.reject 或 basic.nack)并且 requeue=false

原理图

在这里插入图片描述

  • 问题:被删除的消息去哪了?真的被删除了吗?

死信交换机

  • 死信交换机,Dead-Letter-Exchange 即 DLX。

  • 死信交换机用来接收死信消息(Dead Message)的,那什么是死信消息呢?一般消息变成死信消息有如下几种情况:

    • 消息被拒绝(Basic.Reject/Basic.Nack) ,井且设置requeue 参数为false
    • 消息过期
    • 队列达到最大长度0
  • 当消息在一个队列中变成了死信消息后,此时就会被发送到 DLX,绑定 DLX 的消息队列则称为死信队列。

  • DLX 本质上也是一个普普通通的交换机,我们可以为任意队列指定 DLX,当该队列中存在死信时,RabbitMQ 就会自动的将这个死信发布到 DLX 上去,进而被路由到另一个绑定了 DLX 的队列上(即死信队列)。

死信队列

  • 绑定了死信交换机的队列就是死信队列

实现一下

  1. 创建一个死信交换机,一个死信队列,再将死信交换机和死信队列绑定到一起

  2. 为消息队列配置死信交换机
    x-dead-letter-exchange:配置死信交换机。
    x-dead-letter-routing-key:配置死信 routing_key。

    将来发送到这个消息队列上的消息,如果发生了 nack、reject 或者过期等问题,就会被发送到 DLX 上,进而进入到与 DLX 绑定的消息队列上

    @Configuration
    public class RabbitConfig {public static final String DLX_EXCHANGE_NAME = "dlx_exchange_name";public static final String DLX_QUEUE_NAME = "dlx_queue_name";public static final String DLX_ROUTING_KEY = "dlx_routing_key";public static final String MQ_QUEUE_DEMO = "mq_queue_demo";public static final String MQ_EXCHANGE_NAME = "mq_exchange_name";public static final String MQ_ROUTING_KEY = "mq_routing_key";/*** 配置死信交换机* @return*/@Beanpublic DirectExchange dlxDirectExchange() {return new DirectExchange(DLX_EXCHANGE_NAME, true, false);}/*** 配置死信队列* @return*/@Beanpublic Queue dlxQueue() {return new Queue(DLX_QUEUE_NAME);}/*** 绑定死信队列和死信交换机* @return*/@Beanpublic Binding dlxBinding() {return BindingBuilder.bind(dlxQueue()).to(dlxDirectExchange()).with(DLX_ROUTING_KEY);}@Beanpublic Queue nomarlQueue() {Map<String, Object> args = new HashMap<>();//设置消息过期时间args.put("x-message-ttl", 0);//设置死信交换机args.put("x-dead-letter-exchange", DLX_EXCHANGE_NAME);//设置死信 routing_keyargs.put("x-dead-letter-routing-key", DLX_ROUTING_KEY);return new Queue(MQ_QUEUE_DEMO, true, false, false, args);}@Beanpublic DirectExchange nomarlDirectExchange() {return new DirectExchange(MQ_EXCHANGE_NAME, true, false);}/**** @return*/@Beanpublic Binding nomarlBinding() {return BindingBuilder.bind(nomarlQueue()).to(nomarlDirectExchange()).with(MQ_ROUTING_KEY);}
    }
    
  3. 消费

    @Component
    public class DlxConsumer {@RabbitListener(queues = RabbitConfig.DLX_QUEUE_NAME)public void dlxHandle(String msg) {System.out.println("dlx msg = " + msg);}
    }
    
  4. 发送消息

    @RestController
    public class SendController {@Resourceprivate RabbitTemplate rabbitTemplate;;@RequestMapping("/send")public String send() {rabbitTemplate.convertAndSend(RabbitConfig.MQ_EXCHANGE_NAME, RabbitConfig.MQ_ROUTING_KEY, "hello rabbitmq");return "send success";}
    }
    

延迟队列

背景

  1. 在电商项目中,当用户下单之后,一般需要 15 分钟之内或者 30 分钟之内付款,否则订单就会进入异常处理逻辑中,被取消,那么进入到异常处理逻辑中,就可以当成是一个延迟队列。
  2. 公司的会议预定系统,在会议预定成功后,会在会议开始前半小时通知所有预定该会议的用户。
  3. 工单超过 24 小时未处理,则自动提醒相关责任人。
  4. 用户下单外卖以后,距离超时时间还有 10 分钟时提醒外卖小哥即将超时。

定时任务?

  • 如果项目中只有一个这样的延迟队列的场景,那么搞个定时任务似乎也可以
  • 但是如果项目中有很多这样的场景,那么定时任务很明显就不是最佳方案了,我们可以通过延迟队列来实现一个通用的解决方案

延迟队列实现思路

延迟队列实现的思路就是上文提到的 DLX(死信交换机)+TTL(消息超时时间),我们可以把死信队列就当成延迟队列

  • 假如一条消息需要延迟 30 分钟执行,我们就设置这条消息的有效期为 30 分钟,
  • 同时为这条消息配置死信交换机和死信 routing_key,并且不为这个消息队列设置消费者
  • 那么 30 分钟后,这条消息由于没有被消费者消费而进入死信队列,
  • 此时我们有一个消费者就在“蹲点”这个死信队列,消息一进入死信队列,就立马被消费了
    在这里插入图片描述

代码

  • 其实区别就是把上面案例中普通队列nomarlQueue中的x-message-ttl设置一个过期时间即可,0表示立即过期,15000表示15秒后过期
    @Beanpublic Queue nomarlQueue() {Map<String, Object> args = new HashMap<>();//设置消息过期时间//args.put("x-message-ttl", 0);args.put("x-message-ttl", 15000);//15秒//设置死信交换机args.put("x-dead-letter-exchange", DLX_EXCHANGE_NAME);//设置死信 routing_keyargs.put("x-dead-letter-routing-key", DLX_ROUTING_KEY);return new Queue(MQ_QUEUE_DEMO, true, false, false, args);}

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/326308.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

ICode国际青少年编程竞赛- Python-2级训练场-识别循环规律2

ICode国际青少年编程竞赛- Python-2级训练场-识别循环规律2 1、 for i in range(3):Dev.step(3)Dev.turnRight()Dev.step(4)Dev.turnLeft()2、 for i in range(3):Spaceship.step(3)Spaceship.turnRight()Spaceship.step(1)3、 Dev.turnLeft() Dev.step(Dev.x - Item[1].…

STM32--4G DTU 及 阿里云

模块概述 ATK-IDM750C/IDM751C 是正点原子(ALIENTEK)团队开发的一款高性能 4G Cat1 DTU 产品&#xff0c; 支持移动 4G、联通 4G 和电信 4G 手机卡。它以高速率、低延迟和无线数传作为核心功能&#xff0c; 可快速解决应用场景下的无线数传方案。 它支持 TCP/UDP/HTTP/MQTT/DN…

生产制造行业推拉式生产的复合应用

一、案例分析&#xff08;汽配行业&#xff09; 重点&#xff1a; 1. MTO/MTS 与 PUSH/PULL 有关系但是不是充分关系 2. MTO/MTS 是公司经营策略&#xff0c;更多是对市场需求的经营策略&#xff0c;体现在生产时机上的不同&#xff0c;一个是等客户需求&#xff0c;一个是填…

Ansible-inventory和playbook

文章目录 一、inventory 主机清单1、列表表示2、inventory 中的变量3、变量3.1 主机变量3.2 组变量3.3 组嵌套 二、playbook剧本1、playbook的组成2、编写剧本2.1 剧本制作2.2 准备nginx.conf2.3 运行剧本2.4 查看webservers服务器2.5 补充参数 3、剧本定义、引用变量3.1 剧本制…

【Linux网络】HTTPS【上】{运营商劫持/加密方式/数据摘要/https的诞生}

文章目录 1.引入1.1http与https1.2SSL/TLS1.3VPN1.4认识1.5密码学1.6为什么要加密&#xff1f;运营商 1.7常见的加密方式对称加密非对称加密 2.加密与解密3.数据摘要 && 数据指纹MD5 数字 签名理解三者数据摘要&#xff08;Digital Digest&#xff09;&#xff1a;数字…

vivado 低级别 SVF JTAG 命令

低级别 SVF JTAG 命令 注释 &#xff1a; 在 Versal ™ 器件上不支持 SVF 。 低级别 JTAG 命令允许您扫描多个 FPGA JTAG 链。针对链操作所生成的 SVF 命令使用这些低级别命令来访问链中的 FPGA 。 报头数据寄存器 (HDR) 和报头指令寄存器 (HIR) 语法 HDR length […

【数据结构课程学习】:队列学习

&#x1f381;个人主页&#xff1a;我们的五年 &#x1f50d;系列专栏&#xff1a;数据结构课程学习 &#x1f337;追光的人&#xff0c;终会万丈光芒 &#x1f389;欢迎大家点赞&#x1f44d;评论&#x1f4dd;收藏⭐文章 目录 &#x1f697; 1.队列的基本概念&#xff1a…

[muduo网络库]——muduo库的Reactor模型(剖析muduo网络库核心部分、设计思想)

一、前言 在学习 C 服务端的过程中&#xff0c;必不可少的一项就是熟悉一个网络库&#xff0c;包括网络库的应用和其底层实现。我们熟知的网络库有 libevent、libev、muduo、Netty 等&#xff0c;其中 muduo 是由陈硕大佬个人开发的 TCP 网络库&#xff0c;最近跟着课程正在深…

分布式与一致性协议之ZAB协议(四)

ZAB协议 ZooKeeper是如何选举领导者的。 首先我们来看看ZooKeeper是如何实现成员身份的&#xff1f; 在ZooKeeper中&#xff0c;成员状态是在QuorumPeer.java中实现的&#xff0c;为枚举型变量 public enum ServerState { LOOKING, FOLLOWING, LEADING, OBSERVING }其实&…

代码生成工具1 ——项目简介和基础开发

1 项目简介 需要提前在数据库建好表&#xff0c;然后执行代码生成工具&#xff0c;会生成简单的Java文件&#xff0c;避免重复编写增删改查代码。类似的工具网上有很多&#xff0c;本人开发这个工具属于自娱自乐。这个专栏会记录开发的过程。 2 项目搭建 数据库使用MySQL &…

js图片回显的方法

直接上代码&#xff1a; <!DOCTYPE html> <html><head><meta charset"utf-8"><title></title></head><body>// HTML部分<input type"file" id"fileInput"><button onclick"show…

深度学习技术之加宽前馈全连接神经网络

深度学习技术 加宽前馈全连接神经网络1. Functional API 搭建神经网络模型1.1 利用Functional API编写宽深神经网络模型进行手写数字识别1.1.1 导入需要的库1.1.2 加载虹膜&#xff08;Iris&#xff09;数据集1.1.3 分割训练集和测试集1.1.4 定义模型输入层1.1.5 添加隐藏层1.1…

栈结构(详解)

1.栈的概念 栈&#xff1a;一种特殊的线性表&#xff0c;其只允许在固定的一端进行插入和删除元素操作。进行数据插入和删除操作的一端称为栈顶&#xff0c;另一端称为栈底。栈中的数据元素遵守后进先出LIFO&#xff08;Last In First Out&#xff09;的原则。 压栈&am…

省级生活垃圾无害化处理率面板数据(2004-2022年)

01、数据简介 生活垃圾无害化处理率是指经过处理的生活垃圾中&#xff0c;达到无害化标准的垃圾所占的比例。这一指标是衡量城市垃圾处理水平的重要标准&#xff0c;反映了城市对垃圾进行有效管理和处理的能力。 生活垃圾无害化处理的主要方式包括生活垃圾焚烧、生活垃圾卫生…

react18【系列实用教程】moxb —— 集中状态管理 (2024最新版)

官方文档 https://www.mobxjs.com/ moxb 和 redux 都能用于 react 的状态管理&#xff0c;但 moxb 更简单&#xff0c;适合规模不大的应用 &#xff08;规模大的应用若合理组织代码结构&#xff0c;也能用 moxb&#xff09; 安装 moxb npm i mobx npm i mobx-react-lite此处安…

C语言洛谷题目分享(11)回文质数

目录 1.前言 2.题目&#xff1a;回文质数 1.题目描述 2.输入格式 3.输出格式 4.输入输出样例 5.题解 3.小结 1.前言 哈喽大家好&#xff0c;今儿继续为大家分享一道蛮有价值的一道题&#xff0c;希望大家多多支持喔~ 2.题目&#xff1a;回文质数 1.题目描述 因为 151 …

【Oracle直播课】5月19日Oracle 19c OCM认证大师课 (附课件预览)

Oracle 19c OCM认证大师培训 - 课程体系 - 云贝教育 (yunbee.net) 部分课件预览 OCM部分课件预览 Oracle Database 19c Certified Master Exam (OCM) 认证大师 25 天 / 150课时 什么是Oracle 19c OCM&#xff1f; Oracle Certified Master (OCM)是Oracle认证大师&#xff0c;…

【51】Camunda8-Zeebe核心引擎-Zeebe Gateway

概述 Zeebe网关是Zeebe集群的一个组件,它可以被视为Zeebe集群的联系点,它允许Zeebe客户端与Zeebe集群内的Zeebe代理进行通信。有关Zeebe broker的更多信息,请访问我们的附加文档。 总而言之,Zeebe broker是Zeebe集群的主要部分,它完成所有繁重的工作,如处理、复制、导出…

软件工程期末复习(2)

软件工程 软件危机与软件工程的提出&#xff1a; 面对软件危机&#xff0c;1968年德国召开的一次NATO会议上首次签署声明“软件工程”这一说法&#xff0c;认为软件工程应当使用业已建立的工程学科的基本原理和范型。 背后驱使的观念是&#xff1a;软件设计、实现和维护应当与…

网络编程套接字详解

目录 1. 预备介绍 2.网络字节序 3.udp网络程序 4.地址转换函数 5.udp网络编程 1.预备介绍 1.1源IP地址和目标IP地址 举个例子: 从北京出发到上海旅游, 那么源IP地址就是北京, 目标IP地址就是上海. 1.2 端口号 作用: 标识一个进程, 告诉OS这个数据交给那个进程来处理; (1)…