Apache RocketMQ 5.0 腾讯云落地实践

Apache RocketMQ  发展历程回顾

image.png

RocketMQ 最早诞生于淘宝的在线电商交易场景，经过了历年双十一大促流量洪峰的打磨，2016年捐献给 Apache 社区，成为 Apache 社区的顶级项目，并在国内外电商，金融，互联网等各行各业的广大客户落地验证，得到广泛认可。

Apache RocketMQ 社区在2022年10月正式对外发布了全新的5.0版本，腾讯云消息队列团队也和社区紧密合作，支持了5.0的商业化版本，现在将整个落地过程的经验教训做个总结，回馈社区。

什么是 RocketMQ 5.0？

一个新版本号？

一套新设计的API？

一系列新的特性实现？

一个存算分离的新架构？

一种新的商业化产品形态？

RocketMQ 面向云原生的新思考？

Apache RocketMQ 社区过去一年对5.0新架构从不同的角度进行了分享介绍，导致很多用户对5.0新架构认识不一致，其实从以上不同角度理解都对，本文尝试从多个维度做一个较全面的解释和回顾，帮助用户全面理解 RocketMQ 5.0 架构演进背后的思考逻辑。

RocketMQ 5.0 的演进目标

  • 基础架构适应云原生化

RocketMQ 运行依赖的环境过去十年发生了巨大的变化，从最早的物理机部署开始，到现在云计算已经深入人心，资源越来越“弹性伸缩, 按量付费, 高SLA”，计算资源容器化，存储资源都演进为标准的分布式存储，比如块存储、文件存储和对象存储越来越成熟和标准化，尤其是以S3 为代表的对象存储，对比其他存储有很大的成本优势，所以新架构的演进就是要充分利用新计算和存储资源的优势。

  • 轻量API和完善多语言SDK支持

RocketMQ 4.x 以前的协议，基于十多年前设计的私有Remoting协议，导致开发非 Java 语言的 SDK 成本非常高，所以 5.0 基于 gRPC 设计的全新 API 和 Proxy 模式，可以极大的方便多语言 SDK 开发，丰富多语言生态。

  • 消息、事件、流场景与生态拓展集成

社区还开源了 EventBridge, Connector, Stream, MQTT 等周边项目，有助于完善和增强周边生态，拓展更多业务场景。

RocketMQ 5.0 的关键新特性

为了支持以上三个主要的演进目标，RocketMQ 5.0 版本引入了大量新的技术和特性，下面将一些关键特性逐个简要介绍，其中不少特性已经在腾讯云投入实际使用，并发挥了业务价值。

POP 消费模式

RocketMQ 5.0 之前版本只提供了Pull的消费模式(即使 PushConsumer 也是通过 Pull 和长轮训模拟的 Push 效果)，Pull 消费模式和 Kafka 消费模式类似，也是需要在客户端做负载均衡，计算客户端实例和队列的映射关系，然后再消费消息和维护队列的位点信息，通过新的 POP 消费模式，带来了以下明显的好处：

  • 不需要在客户端计算分配逻辑，简化客户端逻辑

  • 降低了客户端SDK开发的复杂度，便于快速支持多语言客户端

  • 消费位点完全维护在Broker端，避免单个消费节点慢导致消费延迟

  • 适配其他协议的Proxy模式更顺畅，方便支持多消费模型时做推拉转换

image.png

image.png

腾讯云在 RocketMQ 5.0 的产品形态中，支持5.0新协议和兼容其他消息协议的过程中，都采用了 POP 消费模式，方便支持了Proxy的完全无状态和负载均衡。

更详细的POP方案设计扩展阅读参考：

  • [RIP 19] Server side rebalance,  lightweight consumer client support

  • [RIP 51] Pop orderly improvement

基于gRPC的新API设计

RocketMQ 社区过去几年在支持 RocketMQ 4.x 客户端的过程中，越来越意识到 Remoting 协议的不足，开发非Java SDK的门槛和成本过高，导致各个公司推出了基于 HTTP 等其他协议多种兼容 Proxy 方案，这次新 API 相当于官方出了一个统一的可扩展 Proxy 方案，方便各公司在这个 Proxy 的基础上，合并兼容一些其他协议，统一和简化架构，最终形成一个以RocketMQ Broker 为存储内核，兼容各种消息协议的无状态 Proxy 的存算分离统一架构。

image.png

腾讯云在落地新架构的过程中，因为 Proxy 要处理协议序列化和转换等 CPU 密集型计算，要注意对 CPU 占用的优化，我们也向社区提了多个优化代码，以下是我们对4C8G规格的参考压测数据：

image.png

Proxy 压测过程中典型火焰图占用分析如下：

image.png

更详细的关于新方案设计和扩展阅读详见：

  • [RIP37] New and Unified APIs

  • [RIP39] Support gRPC protocol

  • [RIP55] Supportremoting protocol in rocketmq proxy module

秒级定时消息

定时消息是在线消息场景经常用的一种消息类型，发送方发送消息以后，并不想让订阅方立即消费到消息，而是等一段时间以后，消息对订阅方可见，典型的业务场景是订单下单五分钟后检查订单状态，或交易成功后第二天固定时间生成积分或优惠券。

RocketMQ 5.0 之前的版本，只能利用重试消息固定间隔的机制，实现Level固定级别的定时消息，5.0 新版本中重新实现了定时消息，可以支持超大规模超⻓时间任意秒级粒度的定时消息。

image.png

更详细的关于秒级定时消息方案设计和扩展阅读参考：

  • [RIP43] Support timing messages with arbitrary time delay

分层存储

RocketMQ 4.x 只支持本地磁盘或云盘等块设备作为持久化存储介质，块设备存储虽然能带来低延迟和可靠性，但是其存储成本却是对象存储的5~10倍，而消息队列数据是典型的冷热分布的数据，根据作者在实际系统的统计，约85%热数据在10分钟内通过内存缓存读取，其次10%温数据可能会在1小时内读走，约有5%的冷数据只有长时间堆积或回溯消费的场景才会被读到。

RocketMQ 5.0 引入了分层存储技术，可以将冷数据搬迁到更廉价的存储中，比如对象存储，可以在不降低用户体验的前提下，极大的降低综合存储成本。实现思路如下图所示，通过写入时将消息异步复制到分层存储，读取时优先读取本地存储，不命中的话再读取远程存储，实现分层存储的目的。

image.png

腾讯云在落地分层存储的过程中，一级存储选择了腾讯云云盘CBS，二级存储选择了腾讯云对象存储COS，以下表格是我们在腾讯云上的一个性能测试报告，开启分层存储对在线业务几乎不会有影响，这也与代码预期行为一致（dispatch异步写对象存储、热数据读本地缓存），二级存储单分区消费可以支持7500msg/s，扩分区可以等比例扩容消费速度，可以满足线上需求标准。

image.png

更详细的实现方案详见RIP文档:

  • [RIP57] Tieredstorage for RocketMQ

  • [RIP65] TieredStorage Optimization

基于KV的百万队列索引

RocketMQ 4.x 版本中，每个Topic实际都是由多个队列来存储消息的，队列的数据存在统一的Commitlog中，消息队列索引是通过文件队列来存储消息索引的，当队列少于1万时，可以稳定高效的提供读写服务，当队列数超过10万以后，队列索引会退化成严重的随机写，导致性能严重下降

RocketMQ 5.0 引入 RocksDB 存储队列索引，利用 RocksDB 的 LSM 索引结构特性，将大量文件队列索引的随机写转化为 SST 文件的顺序写，即使有上百万个消息队列，从整个架构看，底层云盘依然只有少量的顺序写文件，依然可以稳定的提供消息读写服务。

image.png

image.png

以下是在我们测试环境测得的数据，队列数量少的时候，两个方案的从TPS和耗时指标差别不大，但是队列数超过20万以后，基于RocksDB的索引方案性能和稳定性的优势明显。

image.png

image.png

更详细的实现方案介绍参考：

  • [RIP66] Support KV(Rocksdb) Storage

  • 百万队列能力支持

原生批量消息支持

RocketMQ 4.x 的版本中的批量消息是一个“伪批量”消息实现，需要在发送方发送一个业务层面组织好的消息数组，RocketMQ Broker 收到消息数组后，会再拆成多个消息，逐个处理消息的写入，旧方案虽然兼容性好，实现简单，但是只优化了网络开销，压缩和存储性能优化不明显。

RocketMQ 5.0 引入了新的 AutoBatch 特性，对批量消息做了全链路的优化，从发送端的自动攒批编程界面，到新的存储格式和索引结构，都做了全面的优化。

image.png

image.png

以下是 RocketMQ 社区咸鱼(guyinyou · GitHub)同学提供的几种场景的压测数据，对比普通消息吞吐量翻倍提升，对比 Kafka 同等节点规格和业务场景下可以达到几乎相同的吞吐，在分区增加的场景下，提供更优的发送延时抖动：

image.png

使用同样测试节点和 Kafka 作性能对比，部署架构都采用3节点2副本的测试场景下，同样 16 分区下可以达到几乎同样的吞吐量但更低的发送延时，并且随着分区数增加，RocketMQ的稳定性和发送延时有明显的优势。

image.png

image.png

更详细的设计文档和测试结果详见：

  • [RIP26] Improve Batch Message Processing Throughput

  • 活动回顾丨RocketMQ Meetup 开源开发者沙龙（含 PPT）

jRaft Controller 实现

RocketMQ 4.x 主从复制提供了简单高效的消息高可靠方案，但是一直存在一个无法自动切换主从的功能缺失，DLedger模式虽然通过基于Raft的三副本解决了自动选主的问题，但是性能比较差，并且机器成本高。

RocketMQ 5.0 新增了一个 Controller 组件(此组件可以和Namesrv合并部署)，解决主从复制部署模式下自动切换的问题，但是社区默认的 Controller 组件是基于 DLedger 实现的，Raft 实现并不完善，腾讯云消息团队同学为社区提供了一个新的基于 SOFAJRaft 更成熟的 Raft 实现方案，可以实现更稳定可靠的主从切换。

image.png

不同副本和同步机制的性能对比如下图所示：

image.png

在腾讯云测试环境的混沌测试结果全部通过：

image.png

更多JRaft Controller的详细设计文档参考：

  • [RIP44] Support DLedger Controller

  • [RIP67] jRaft-Controller Implemention

  • jRaft Controller 故障测试报告

其他新特性索引

RocketMQ 社区针对大的特性变更，都会有详细RIP文档和评审流程，限于篇幅，本文只挑了几个关键新特性做了简要介绍，更多新特新可以参考社区全部 RIP 列表链接。

腾讯云 RocketMQ 的商业化历程

腾讯云消息队列团队过去几年基于 Apache RocketMQ 社区走过了完整的商业化历程，在2023年9月正式推出了5.x 商业化版本，提供极致弹性和更低成本的RocketMQ 服务，满足不同场景对 RocketMQ 的差异化需求，并已经在金融、出行、教育、游戏等多个行业落地实践。

新存算分离架构升级

在腾讯云内部，我们也将部署架构做了调整，按照 RocketMQ 5.0 推荐的存算分离架构，简化RocketMQ 的运维，也可以为用户提供更好的升降配弹性体验。

image.png

下图是 RocketMQ 5.0 新的存算分离架构：

image.png

全新的 5.0 Serverless 产品形态

基于以上新的存算分离新架构，我们推出了新的 TDMQ RocketMQ 5.0 Serverless 产品形态，通过全新的按量计费模式，并且专业版以上免费提供了弹性TPS的能力，可以更低成本来应对突发流量。

image.png

落地实践总结与展望

回顾 RocketMQ 过去十年的发展历程，可以看到 RocketMQ 社区的蓬勃发展和功能的快速迭代演进，并且在国内各大云厂商也有快速的落地支持，腾讯云也会持续的大力研发投入，给 RocketMQ 用户提供了更多更优的选择。

腾讯云在 RocketMQ 商业化过程中，也积极回馈 RocketMQ 社区，近一年腾讯云为 RocketMQ 社区贡献了 30+ 缺陷修复和性能优化代码合并，并且贡献了一个 RIP 67，也希望未来和 RocketMQ 社区更紧密配合，为 Apache RocketMQ 的繁荣发展做出贡献，为用户提供更优质的 RocketMQ 服务。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.rhkb.cn/news/220901.html

如若内容造成侵权/违法违规/事实不符，请联系长河编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

【每日OJ—有效的括号（栈）】

【每日OJ—有效的括号（栈）】

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录 前言 1、有效的括号题目： 1.1方法讲解： 1.2代码实现： 总结 前言 世上有两种耀眼的光芒，一种是正在升起的太阳&#…
阅读更多...
本地运行大语言模型并可视化(Ollama+big-AGI方案)

本地运行大语言模型并可视化(Ollama+big-AGI方案)

目前有两种方案支持本地部署，两种方案都是基于llamacpp。其中 Ollama 目前只支持 Mac，LM Studio目前支持 Mac 和 Windows。 LM Studio：https://lmstudio.ai/ Ollama：https://ollama.ai/download 本文以 Ollama 为例 step1 首先下…
阅读更多...
九牧：科技卫浴，长期主义

九牧：科技卫浴，长期主义

“没有做错什么，但却输给了时代”，这是人们给当年手机巨头诺基亚的注解。 谁也没有想到，曾在手机行业称雄的诺基亚，最终败给了时代。当年，在2G向3G、4G跨越的时候，苹果、微软的iOS和安卓系统将手机从简单的…
阅读更多...
MIT18.06线性代数 笔记1

MIT18.06线性代数 笔记1

文章目录 方程组的几何解释矩阵消元乘法和逆矩阵A的LU分解转置-置换-向量空间R列空间和零空间求解Ax0主变量 特解求解Axb可解性和解的结构线性相关性、基、维数四个基本子空间矩阵空间、秩1矩阵和小世界图图和网络复习一 方程组的几何解释 线性组合： 找到合适的x和…
阅读更多...
Unity 通过代码将一张大图切成多个小图的方法

Unity 通过代码将一张大图切成多个小图的方法

在Unity 中要通过代码将一张贴图切割成多张小图&#xff0c;可以使用以下方法&#xff1a; /// <summary>/// 把一张图片切割成多张使用/// </summary>/// <param name"texture">原图</param>/// <param name"rows">切割的行…
阅读更多...
Python实验项目9 ：网络爬虫与自动化

Python实验项目9 ：网络爬虫与自动化

实验 1&#xff1a;爬取网页中的数据。 要求&#xff1a;使用 urllib 库和 requests 库分别爬取 http://www.sohu.com 首页的前 360 个字节的数据。 # 要求&#xff1a;使用 urllib 库和 requests 库分别爬取 http://www.sohu.com 首页的前 360 个字节的数据。 import urllib.r…
阅读更多...
货物数据处理pandas版

货物数据处理pandas版

1求和 from openpyxl import load_workbook import pandas as pddef print_hi(name):# Use a breakpoint in the code line below to debug your script.print(fHi, {name}) # Press CtrlF8 to toggle the breakpoint.# Press the green button in the gutter to run the scr…
阅读更多...
MATLAB2022安装下载教程

MATLAB2022安装下载教程

安装包需从夸克网盘自取&#xff1a; 链接&#xff1a;https://pan.quark.cn/s/373ffc9213a1 提取码&#xff1a;N7PW 1.将安装包解压 2.以管理员的身份运行文件夹中的setup文件 3.点击高级选项--->我有文件安装密钥 4. 选择【是】&#xff0c;进入下一步 5.输入密钥 0532…
阅读更多...
Amazon CodeWhisperer 体验

Amazon CodeWhisperer 体验

文章作者&#xff1a;jiangbei 1. CodeWhisperer 安装 1.1 先安装 IDEA&#xff0c;如下图&#xff0c;IDEA2022 安装为例&#xff1a; 亚马逊云科技开发者社区为开发者们提供全球的开发技术资源。这里有技术文档、开发案例、技术专栏、培训视频、活动与竞赛等。帮助中国开发者…
阅读更多...
Azure Machine Learning - 提示工程简介

Azure Machine Learning - 提示工程简介

OpenAI的GPT-3、GPT-3.5和GPT-4模型基于用户输入的文本提示工作。有效的提示构造是使用这些模型的关键技能&#xff0c;涉及到配置模型权重以执行特定任务。这不仅是技术操作&#xff0c;更像是一种艺术&#xff0c;需要经验和直觉。本文旨在介绍适用于所有GPT模型的提示概念和…
阅读更多...
Elasticsearch 性能调优基础知识

Elasticsearch 性能调优基础知识

Elastic Stack 已成为监控任何环境或应用程序的实际解决方案。 从日志、指标和正常运行时间到性能监控甚至安全&#xff0c;Elastic Stack 已成为满足几乎所有监控需求的一体化解决方案。 Elasticsearch 通过提供强大的分析引擎来处理任何类型的数据&#xff0c;成为这方面的基…
阅读更多...
Nodejs 第二十八章（邮件服务）

Nodejs 第二十八章（邮件服务）

邮件服务在我们工作中邮件服务充当着一个重要的角色 任务分配与跟踪&#xff1a;邮件服务可以用于分配任务、指派工作和跟踪项目进展。通过邮件&#xff0c;可以发送任务清单、工作说明和进度更新&#xff0c;确保团队成员了解其责任和任务要求&#xff0c;并监控工作的完成情况…
阅读更多...
HarmonyOS4.0从零开始的开发教程17给您的应用添加通知

HarmonyOS4.0从零开始的开发教程17给您的应用添加通知

HarmonyOS&#xff08;十五&#xff09;给您的应用添加通知 通知介绍 通知旨在让用户以合适的方式及时获得有用的新消息&#xff0c;帮助用户高效地处理任务。应用可以通过通知接口发送通知消息&#xff0c;用户可以通过通知栏查看通知内容&#xff0c;也可以点击通知来打开应…
阅读更多...
Spring Boot + MinIO 实现文件切片极速上传技术

Spring Boot + MinIO 实现文件切片极速上传技术

文章目录 1. 引言2. 文件切片上传简介3. 技术选型3.1 Spring Boot3.2 MinIO 4. 搭建Spring Boot项目5. 集成MinIO5.1 配置MinIO连接信息5.2 MinIO配置类 6. 文件切片上传实现6.1 控制器层6.2 服务层6.3 文件切片上传逻辑 7. 文件合并逻辑8. 页面展示9. 性能优化与拓展9.1 性能优…
阅读更多...
vmware离线安装docker-compose

vmware离线安装docker-compose

vmware离线安装docker-compose 最近安装docker-compose&#xff0c;发现git取拉取&#xff0c;不是拒绝连接就是报443错误&#xff0c;或者其他错误 最后发现用包直接传上去好用&#xff0c;不用git拉取了 离线安装docker-compose 本文章给的docker-compose离线包&#xff0c;…
阅读更多...
蜘点云原生之 KubeSphere 落地实践过程

蜘点云原生之 KubeSphere 落地实践过程

作者&#xff1a;池晓东&#xff0c;蜘点商业网络服务有限公司技术总监&#xff0c;从事软件开发设计 10 多年&#xff0c;喜欢研究各类新技术&#xff0c;分享技术。 来源&#xff1a;本文由 11 月 25 日广州站 meetup 中讲师池晓东整理&#xff0c;整理于该活动中池老师所分享…
阅读更多...
基于多智能体系统一致性算法的电力系统分布式经济调度策略MATLAB程序

基于多智能体系统一致性算法的电力系统分布式经济调度策略MATLAB程序

微❤关注“电气仔推送”获得资料&#xff08;专享优惠&#xff09; 参考文献&#xff1a; 主要内容&#xff1a; 应用多智能体系统中的一致性算法&#xff0c;以发电机组的增量成本和柔性负荷的增量效益作为一致性变量&#xff0c;设计一种用于电力系统经济调度的算法&#x…
阅读更多...
C语言训练：三个字符串比较大小，实现两个整数数的交换统计二进制中1的个数

C语言训练：三个字符串比较大小，实现两个整数数的交换统计二进制中1的个数

目录 一、编写程序&#xff0c;输入三个字符串&#xff0c;比较它们的大小&#xff0c;并将它们按由小到大的顺序输出。要求用函数、指针实现。要求:要采用函数调用&#xff0c;并用指向函数的指针作为函数的参数。 1.不使用函数指针作为参数&#xff0c;并自己模拟strcmp。 …
阅读更多...
UE5 水材质注意要点

UE5 水材质注意要点

1、两个法线反向交替流动&#xff0c;可以去观感假的现象 2、水面延边的透明度低 3、增加水面延边的浪花 4、增加折射 折射要整体质量至少在High才有效果 改为半透明材质没有法线信息&#xff1f; 5、处理反射效果 勾选为true 找到这个放在水域 勾为false&#xff0c;即可有非…
阅读更多...
各种不同语言分别整理的拿来开箱即用的8个开源免费单点登录（SSO）系统

各种不同语言分别整理的拿来开箱即用的8个开源免费单点登录（SSO）系统

各种不同语言分别整理的拿来开箱即用的8个开源免费单点登录&#xff08;SSO&#xff09;系统。 单点登录&#xff08;SSO&#xff09;是一个登录服务层&#xff0c;通过一次登录访问多个应用。使用SSO服务可以提高多系统使用的用户体验和安全性&#xff0c;用户不必记忆多个密…
阅读更多...
最新文章
推荐文章

Copyright @ 2022~2023