Rockect基于Dledger的Broker主从同步原理

1.前言

此文章是在儒猿课程中的学习笔记,感兴趣的想看原来的课程可以去咨询儒猿课堂

这篇文章紧挨着上一篇博客来进行编写,有些不清楚的可以看下上一篇博客:

RocketMQ原理简述(二)-CSDN博客

2.Broker的高可用

如果想让Broker实现高可用的话,就需要有一个Broker组,这个Broker组里面有一个Leader Broker来接收写入数据,然后进行同步到其他的Follow Broker上。这样的话,一条数据就会在三个Broker上有副本,如果Leader Broker宕机了,就会从其他的Follow Broker上进行选举一个新的Leader Broker来进行接收新的请求。

1. DLedger代替broker进行管理commitLog

Broker的高可用是基于Dledger技术来实现的,Dledger技术首先它会有一个CommitLog机制,你把数据交给它,它就会将数据写入到磁盘文件中。使用Dledger技术来实现Broker的高可用就是用Dledger来代替Broker进行管理CommitLog。

2. DLedger基于Raft协议进行选举leader

那么是怎么做到选举新的Leader节点呢,是基于Raft协议来进行选择Leader节点的。这个Raft协议的具体是怎么实现的。

我们可以举一个例子,假设我们现在有三台机器,A,B,C。这三台机器在刚启动的时候都会投票给自己,让自己成为一个leader节点,然后把自己的投票信息给同步到别的机器上,那么在第一轮的时候,就会发现大家都投票给自己,那么就没办法选举出来leader节点。

紧接大家都进入一个随机时间的休眠,A休眠1秒,B休眠2秒,C休眠3秒

A会先苏醒过来,它会给自己投票成为leader,并把自己的投票信息给B,C;当B和C苏醒之后,发现已经有投票信息过来了,就会接受A的投票信息,并把自己的投票信息给A;这样的话大家都会进行投票给A机器成为Leader。超过了半数,那么A机器就会成为Leader节点。依靠这种随机时间的休眠,通过几轮的投票就会选举出来一个leader节点。

3.DLedger进行多副本数据的同步

DLedger是是基于Raft协议来进行数据信息的同步,简单来说:数据会分为两个阶段,一个阶段为uncommited阶段,一个阶段为commited阶段。首先DLedger收到数据之后,会将数据标记为uncommited状态,然后通过内部的DLedgerServer组件将这个uncommited的数据进行同步到Follower的DLedgerServer上去。然后Follower的DLedgerServer收到这个请求之后会返回一个ack到leader节点的DLedgerServer上去。当leader节点的DLedgerServer收到一半机器的ack之后,会将这个数据标记为commited状态,然后再次进行同步到follower的DLedgerServer,让他们也把数据标记为commited状态。

 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/501765.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

企业为何需要小型语言模型:AI 应用的新趋势与策略

在人工智能蓬勃发展的当下,语言模型作为其中的关键技术(LLM的擅长与不擅长:深入剖析大语言模型的能力边界),深刻影响着各个行业的发展和企业的运营模式。长期以来,“越大越好” 的理念在人工智能领域根深蒂…

组会 | DenseNet

目录 1 研究背景1.1 提出的动机1.2 同期的模型 2 网络模型2.1 模型架构2.2 模块与参数2.3 瓶颈层和压缩率2.4 小结 3 实验结果4 优点与缺点4.1 DenseNet 的优点4.2 DenseNet 的缺点 前言:本博客仅为组会总结,如有谬误,请不吝指出…

BGP基础配置实验

一、实验拓补 二、实验要求及分析 实验要求: 1,R1为AS 100区域;R2、R3、R4为AS 200区域且属于OSPF协议;R5为AS 300区域; 2,每个设备上都有环回,且通过环回可以使设备互通; 实验分…

智慧工地解决方案 1

建设背景与挑战 工地施工现场环境复杂,人员管理难度大,多工种交叉作业导致管理混乱,事故频发。传统管理方式难以实现科学、有效、集中式的管理,特别是在环境复杂、地点分散的情况下,监管困难,取证复杂。施…

框架模块说明 #09 日志模块_01

背景 日志模块是系统的重要组成部分,主要负责记录系统运行状态和定位错误问题的功能。通常,日志分为系统日志、操作日志和安全日志三类。虽然分布式数据平台是当前微服务架构中的重要部分,但本文的重点并不在此,而是聚焦于自定义…

通义千问API KEY操作指南

版权声明 本文原创作者:谷哥的小弟作者博客地址:http://blog.csdn.net/lfdfhl 注册阿里云账号 在使用通义千问前,请注册阿里云账号。 开通阿里云百炼模型服务 阿里云百炼官方地址:https://bailian.console.aliyun.com/&#x…

java实验4 反射机制

要求: 1)严禁上网抄袭、互相抄袭和各种形式的抄袭(如代码抄袭,运行截图一图多用),一旦发现单次作业按零分处理! 2)课程报告正文内容基本格式为:宋体,小五号…

简易Type-C拉取5V/3A电流电路分享

今天介绍一种在Type-C 5V电压下获取3A电流的简易办法 我们都知道,USB里面的D D-用来传输数据,其实Type-C接口里面还有一组CC引脚,先科普一些概念 DFP,下行端口,可以理解为Host,数据下行以及对外提供电源&…

基于Spring Boot的IT技术交流和分享平台的设计与实现源码

风定落花生,歌声逐流水,大家好我是风歌,混迹在java圈的辛苦码农。今天要和大家聊的是一款基于springboot的IT技术交流和分享平台的设计与实现。项目源码以及部署相关请联系风歌,文末附上联系信息 。 项目简介: 基于S…

海南省大数据发展中心:数据资产场景化评估案例手册(第二期)

2025年1月3日,海南省数据产品超市印发《数据资产场景化评估案例手册(第二期)》(以下简称《手册》),该手册是基于真实数据要素典型应用场景进行数据资产评估操作的指导性手册,为企业在数据资产入…

​​​​​​​CDP集群安全指南系列文章导读

[一]大数据安全综述 1-认证 身份验证是任何计算环境的基本安全要求。简单来说,用户和服务必须在使用系统功能并获得授权之前,向系统证明其身份(进行身份验证)。身份验证与授权紧密配合,共同保护系统资源。大多数 CDH …

Chapter4.2:Normalizing activations with layer normalization

文章目录 4 Implementing a GPT model from Scratch To Generate Text4.2 Normalizing activations with layer normalization 4 Implementing a GPT model from Scratch To Generate Text 4.2 Normalizing activations with layer normalization 通过层归一化(La…

MyBatis-plus sql拦截器

因为业务需求,重新写了一套数据权限。项目中用的是mybtis-plus,正好MyBatis-Plus提供了插件数据权限插件 | MyBatis-Plus,那就根据文档来实现这个需求。 实现: 实现MultiDataPermissionHandler 首先创建MultiDataPermissionHan…

数据挖掘——关联规则挖掘

数据挖掘——关联数据挖掘 关联数据挖掘关联规则关联规则挖掘问题:具体挖掘过程Apriori 产生关联规则 关联数据挖掘 关联分析用于发现隐藏在大型数据集中的令人感兴趣的联系,所发现的模式通常用关联规则或频繁项集的形式表示。 关联规则反映一个事物与…

启航数据结构算法之雅舟,悠游C++智慧之旅——线性艺术:顺序表之细腻探索

人无完人,持之以恒,方能见真我!!! 共同进步!! 文章目录 一、线性表的概念二、顺序表1.概念与结构2.顺序表的分类静态顺序表动态顺序表 三、顺序表的实现1.顺序表的结构2.顺序表的初始化和销毁初…

数据库进阶教程之DDL语句(万字详解)

文章目录 一、数据库操作-上1.1、DDL概述1.2、创建数据库1.3、查看数据库 二、数据库操作-下2.1、修改数据库2.2、删除数据库2.3、使用数据库 三、数据库表操作-上3.1、创建表3.2、数据类型(mysql)3.3、查看表 四、数据库表操作-中4.1、快速建表4.2、删除…

自动驾驶三维重建

大概八成估计是未来的科研方向了 文章目录 自动驾驶中的NeRF[4]CLONeR:Urban Radiance Fields[6]S-NERFBlock-NeRFSwitch-NeRFSceneRFBehind the Scenes 大规模与自动驾驶场景重建:3D高斯VastGaussianPeriodic Vibration Gaussian(复旦大学)…

OWASP ZAP之API 请求基础知识

ZAP API 提供对 ZAP 大部分核心功能的访问,例如主动扫描器和蜘蛛。ZAP API 在守护进程模式和桌面模式下默认启用。如果您使用 ZAP 桌面,则可以通过访问以下屏幕来配置 API: Tools -> Options -> API。 ZAP 需要 API 密钥才能通过 REST API 执行特定操作。必须在所有 …

【小程序开发】- 小程序版本迭代指南(版本发布教程)

一,版本号 版本号是小程序版本的标识,通常由一系列数字组成,如 1.0.0、1.1.0 等。版本号的格式通常是 主版本号.次版本号.修订号 主版本号:当小程序有重大更新或不兼容的更改时,主版本号会增加。 次版本号&#xff1a…

电子应用设计方案85:智能 AI门前柜系统设计

智能 AI 门前柜系统设计 一、引言 智能 AI 门前柜系统旨在提供便捷、安全和智能的物品存储与管理解决方案,适用于家庭、公寓或办公场所的入口区域。 二、系统概述 1. 系统目标 - 实现无接触式物品存取,减少交叉感染风险。 - 具备智能识别和分类功能&am…