仿RabbiteMq实现简易消息队列正式篇(需求分析)

@TOC

      

目录

MQ的实现方法

RabbitMq中的相关概念

消息队列系统模块划分

总体划分

服务端模块

数据管理模块

虚拟机数据管理模块

交换机路由模块

消费者管理模块

信道(通信)管理模块

连接管理模块

服务端BrokerServer模块

客户端模块

消费者管理模块

信道管理客户端

连接管理模块

基于以上的三个模块封装实现:订阅客户端 / 发布客户端


        消息队列中间件是在分布式系统中重要的组件,主要解决应用耦合,异步消息,流量削峰等等问题。实现高性能,高可用,可伸缩和最终一致性架构,是大型分布式系统不可缺少的中间件。目前常用的消息队列是RabbitMq, KafKa,ZeroMq,MetaMq等。

        我们是仿照RabbitMq实现简易的消息队列,就得先了解RabbitMq,RabbitMq是一种开源消息中间件,使用Erlang语言进行开发,实现了高级消息队列协议(AMQP)

MQ的实现方法

        MQ的实现方法有两种:AMQP和JMS

  1.         AMQP代表高级消息队列协议,是一个开放的应用层协议标准,用于设计面向消息的中间件。所以我们使用protobuf制作消息。
  2.         JMS即Java消息服务(JavaMessage Service)应用程序接口,是一个Java平台中关于面向消息中间件的API

        JMS是JavaEE规范中的一种,类比JDBC,很多消息中间件都实现了JMS规范,例如:ActiveMQ。RabbitMQ 官方没有提供JMS的实现包,但是开源社区有

RabbitMq中的相关概念

  •         Broker:接收和分发消息的应用,RabbitMQ Server就是Message Broker
  •         Virtual host: 出于多租户和安全因素设计的,把AMQP的基本组件划分到一个虚拟的分组中,类似网络中的namespace 概念。当多个不同的用户使用同一个RabbitMQ Server提供服务的时,可以划分成多个vhost,每个用户在自己的vhost创建exchange/queue等
  •         Connection:publisher/consumer和broker之间的TCP连接Channel:如果每一次访问RabbitMQ都建立一次Connection,在消息量大的时候建立TCP Connection的开销将是巨大的,效率也较低,Channel 是在connection 内部建立的逻辑连接,如果应用程序支持多线程,通常每个thread创建单独的channel 进行通信,AMQP method 包含了channel id 帮助客户端和 message broker识别channel, 所以channel 之间是完全隔离的,Channel 作为轻量级的Connection 极大减少了操作系统建立Tcp Connection 的开销
  •         Exchange:message 到达broker 的第一站, 根据分发规则,匹配查询表中的rounting_key,分发消息到queue中去,常见的类型是direct(直接匹配), topic(主题匹配), fanout(广播匹配)
  •         Queue:消息最终被送到这里等待consumer取走Binding:exchange 和 queue 之间的虚拟连接,bingding 中可以包含routing key.
  •         Binding信息被保存到exchange中的查询表中,用于message 的分发依据

接下来说一下我们仿RabbitMq需要实现的东西

消息队列系统模块划分

总体划分

  • 服务端
  • 发布客户端
  • 订阅客户端

服务端模块

数据管理模块

  • 交换机数据管理模块
  • 队列数据管理模块
  • 绑定数据管理模块
  • 消息数据管理模块

以上模块分别实现数据的管理以及持久化存储

虚拟机数据管理模块

  • 虚拟机其实就是交换机+队列+绑定+消息的整体逻辑单元
  • 因此虚拟的数据管理其实就是将以上四个模块的合并管理

交换机路由模块

  • 消息的发布,将一条新消息发布到交换机上,由交换机决定放入哪些队列
  • 而决定交给哪个队列,其中交换机类型起了很大作用(直接交换,广播交换,主题交换)
  • 直接交换和广播交换的思想较为简单,而主题交换设计到了一个规则匹配的流程
  • 而交换路由就是专门做匹配过程的

消费者管理模块

  • 消费者指的是订阅了一个队列消息的客户端,一旦这个队列有了消息就会推送给这个客户端
  • 在核心API中有个订阅消息的服务---这里的订阅不是订阅某条消息,而是订阅某个队列的消息
  • 当前主要实现消息推送功能,因此一旦有了消息,就要能找到消费者相关的信息(消费者对应的信道)

信道(通信)管理模块

  • 一个连接可能会对应有多个通信通道
  • 一旦某个客户端要关闭通信,关闭的不是连接,而是自己对应的通信通道,关闭信道我们就需要将客户端的订阅给取消

连接管理模块

  • 就是一个网络通信对应的连接
  • 因为当一个连接要关闭的时候,就应该把连接关联的通道全部关闭,因此也有数据至少要管理关联的信道

服务端BrokerServer模块

  • 这个模块是将以上所有模块的整合,整合成为一个服务端

客户端模块

消费者管理模块

一个订阅客户端,当订阅一个队列消息的时候,其就相当于创建了一个消费者

信道管理客户端

客户端的信道和服务端的信道是一一对应的,服务端信道提供的服务,客户端都有

相当于服务端向客户端提供服务,客户端为用户提供服务

连接管理模块

对于用户来说,所有的服务都是通过信道完成的,信道在用户的角度就是一个通信通道(而不是连接)

因此所有的请求就是通过信道来完成的

连接的管理就包含了客户端资源的整合

基于以上的三个模块封装实现:订阅客户端 / 发布客户端

订阅客户端:订阅一个队列的消息,收到推送过来的消息进行处理

发布客户端:向一个交换机发布消息。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/404136.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

MySQL-MVCC举例说明

在数据库系统中,多版本并发控制(MVCC, Multi-Version Concurrency Control) 是一种用于提高并发性能的机制,它允许多个事务同时读取和写入数据,而不会产生锁等待和阻塞的问题。MySQL 的 InnoDB 存储引擎广泛使用了 MVC…

Keepalived 高可用集群详解和配置

Keepalived 高可用集群 集群类型 1、LB(Load Balance):负载均衡 LVS:四层负载均衡 HAProxy:七层/四层 负载均衡 nginx:七层负载均衡 (http/upstream,stream/upstream) 2、HA(High Availa bili…

C++ 设计模式——工厂方法模式

工厂方法模式 工厂方法模式主要组成部分代码实现工厂方法模式模式的 UML 图工厂方法模式 UML 图解析优点和缺点适用场景 工厂方法模式 工厂方法模式是一种创建型设计模式,它通过定义一个接口用于创建对象,但由子类决定实例化哪个类。与简单工厂模式不同…

Spring项目:文字花园(三)

一.实现博客详情 1.后端逻辑代码 controller层添加方法&#xff08;根据博客id查看博客详情&#xff09; RequestMapping("/getBlogDetail")public Result<BlogInfo> getBlogDetail(Integer blogId){log.info("getBlogDetail, blogId: {}", blogId…

vue 后台管理 之 状态管理 vuex 的使用

幸福是一种能力 文章目录 一、数据驱动视图二、VueX 数据公共池 一、数据驱动视图 我们都知道 vue 之所以好用&#xff0c;是因为官方帮我们做了数据驱动视图初始化时将数据和视图进行绑定&#xff0c;通过 watcher 来监听数据的变化&#xff0c;当数据变化时&#xff0c;会触…

这三大创意神器,一个不用就是错过了一个小目标!

【导语】在这个充满无限可能的数字时代&#xff0c;创意成为了推动我们前行的强大动力。但你是否曾因视频背景杂乱无章而苦恼&#xff1f;是否渴望将静态图片瞬间赋予生命&#xff1f;又或是对模糊照片中的珍贵瞬间束手无策&#xff1f;今天&#xff0c;就让我们揭秘三大变态且…

Linux搭建环境:从零开始掌握基础操作(二)

​ ​ 您好&#xff0c;我是程序员小羊&#xff01; 前言 软件测试第一步就是搭建测试环境&#xff0c;如何搭建好测试环境&#xff0c;需要具备两项的基础知识&#xff1a; 1、Linux 命令: 软件测试第一个任务, 一般都需要进行环境搭建, 一部分&#xff0c;环境搭建内容是在服…

Your local changes would be overwritten by merge git

方法二 直接覆盖本地的代码&#xff0c;放弃自己本地的改动&#xff0c;只保留服务器端代码 直接回退到上一个版本&#xff0c;再进行pull。 【步骤】 直接 VCS -> Git -> Reset HEAD… 选择需要的reset模式&#xff1a;hard&#xff08;即放弃本地代码&#xff0c;新修…

JavaScript基础——闭包

闭包简介 闭包的作用 闭包可以保留变量的状态 闭包可以让变量私有化 闭包的缺点 闭包简介 在JavaScript中&#xff0c;重复声明同一个变量会导致变量冲突&#xff0c;在这个时候可以使用闭包创建独立的执行环境。 在JavaScript中&#xff0c;闭包是指封闭的执行环境&#xff…

【图像去噪】论文精读:Toward Convolutional Blind Denoising of Real Photographs(CBDNet)

文章目录 前言Abstract1. Introduction2. Related Work2.1. Deep CNN Denoisers2.2. Image Noise Modeling2.3. Blind Denoising of Real Images 3. Proposed Method3.1. Realistic Noise Model3.2. Network Architecture3.3. Asymmetric Loss and Model Objective3.4. Trainin…

Spring IoCDI(下)—DI的尾声

我们之前学习了控制反转IoC&#xff0c;接下来就开始学习依赖注入DI的细节。 依赖注入是一个过程&#xff0c;是指IoC容器在创建Bean时&#xff0c;去提供运行时所依赖的资源&#xff0c;而资源指的就是对象。我们使用 Autowired 注解&#xff0c;完成依赖注入的操作。简单来说…

使用docker compose一键部署redis服务

使用docker compose一键部署redis服务 1、创建安装目录 mkdir /data/redis/ -p && cd /data/redis2、创建docker-compose.yml文件 version: 3 services:redis:image: registry.cn-hangzhou.aliyuncs.com/xiaopangpang/redis:7.0.5container_name: redisrestart: al…

【STM32项目】在FreeRtos背景下的实战项目的实现过程(二)

个人主页~ 实战项目的实现过程&#xff08;一&#xff09;~ 实战项目的实现过程 二、初步了解各个外设硬件1、OLED模块2、GPS模块3、MPU6050模块4、超声测距模块5、温度测控模块6、语音模块7、SIM模块8、按键模块 三、查阅资料1、查看手册2、查找例程 四、研究硬件功能1、OLED…

js使用run编码计算region的交集并集差集

所有shape都转为run编码 转为run编码后再运算可以节约大量内存 subtractIntervals 函数的逻辑:目前的实现假设了所有的 subIntervals 都会与 intervals 完全重叠,这可能导致计算不准确。应该将 subIntervals 从 intervals 中去除时,考虑到可能的部分重叠。 差集计算:sub…

双剑合璧,网络无敌!Windows Server 2012 R2双网卡绑定实战教程

文章目录 双剑合璧&#xff0c;网络无敌&#xff01;Windows Server 2012 R2双网卡绑定实战教程1 背景信息2 配置步骤2.1 登录服务器2.2 分别清除两块网卡的配置2.3 进入“本地服务器”界面2.4 进入“NIC组合”界面2.5 创建网卡绑定组2.6 设置新建组参数2.7 查看已创建的网卡组…

【kubernetes】k8s配置资源管理

一、ConfigMap资源配置 ConfigMap保存的是不需要加密配置的信息 ConfigMap 功能在 Kubernetes1.2 版本中引入&#xff0c;许多应用程序会从配置文件、命令行参数或环境变量中读取配置信息。ConfigMap API 给我们提供了向容器中注入配置信息的机制&#xff0c;ConfigMap 可以被…

银河麒麟V10+qt5,12.11编译mysql驱动连接OceanBase数据库

1、下载mysql数据库,解压后里面包含编译所需要的lib和include文件夹,下载地址:https://www.mysql.com/downloads/ 选择适合自己系统的版本: 解压后的文件夹中包含需要的lib和include文件夹: 使用qt打开mysql源码项目: 根据自己qt安装路径,找到项目: 注释掉如图: …

C++STL之string类:相关习题解析

目录 1&#xff0c;字符串转整型数字 2&#xff0c;字符串最后一个单词的长度(getline的使用) 3&#xff0c;仅仅反转字母 4&#xff0c;字符串中的第一个唯一字符(找字符串中第一个只出现一次的字符) 5&#xff0c;验证回文串 6&#xff0c;验证回文串|| 7&#xff0c;…

Vue 3 + 天地图 + D3.js 绘制行政区划

​&#x1f308;个人主页&#xff1a;前端青山 &#x1f525;系列专栏&#xff1a;组件封装篇 &#x1f516;人终将被年少不可得之物困其一生 依旧青山,本期给大家带来组件封装篇专栏内容:组件封装-天地图 目录 引入天地图 API 初始化地图 引入 D3.js 加载行政区划数据 添…

mysql聚合函数和分组

我最近开了几个专栏&#xff0c;诚信互三&#xff01; > |||《算法专栏》&#xff1a;&#xff1a;刷题教程来自网站《代码随想录》。||| > |||《C专栏》&#xff1a;&#xff1a;记录我学习C的经历&#xff0c;看完你一定会有收获。||| > |||《Linux专栏》&#xff1…