死磕数据库系列(二十二):MySQL 数据库机房架构与跨城容灾

37e075f796394ed5d7f1d5af06c1a139.gif关注公众号,回复“1024”获取2TB学习资源!

今天我将详细的为大家介绍 MySQL 数据库的机房架构与跨城容灾相关知识,希望大家能够从中收获多多!如有帮助,请点在看、转发支持一波!!!

我们在实际生产环境中,要求不允许丢失任何数据。也就是说,当 MySQL 数据库由于各种原因而无法使用时(发生宕机、网络异常等),不仅需要快速恢复业务,还需要确保数据一致性。

本文主要讲解数据库机房架构与跨城容灾,包括主从复制的强一致性、同城多活、两地三中心、三地五中心、数据兜底逻辑等进行逐步讲解。

容灾级别

高可用性用于处理各种停机问题,停机时间可分为服务器停机、机房停机,甚至城市停机。

机房级宕机:例如机房光纤被阻断、切断,机房整体停电、主备或双备用电源也不可用;

城市级宕机:一般指整个城市的进出口网络和骨干交换机发生故障(这种故障的概率很小)。

如果我们综合考虑,高可用性将成为一种灾难恢复机制,相应的高可用性体系结构的评估标准将提高。主要有三种方案:机房容灾、同城容灾、多地容灾

机房容灾:机房内的数据库服务器不可用,因此切换到同一机房的数据库服务器,以确保业务连续性;

同城容灾:机房不可用,切换本地机房数据库服务器,确保业务连续性;

多地容灾:单个城市的机房整体不可用。切换到跨城市机房的数据库实例以确保业务连续性。

同城多活:一地三中心

同城多活原理

本文主要是同城和跨城的容灾设计,事实上,同城双服务器(同城双活)热备系统与上述文章中双服务器热备用系统没有本质区别,但物理距离要远得多,同城专用网速仍然很快。fd7bb8c54e33ff0c793e9cfcb23a34d0.png双机热备份提供灾难恢复能力,双机互备份避免了过度的资源浪费。

这种设计没有考虑到机房网络的抖动,如果机房1和机房2之间的网络抖动,则事务提交需要从机房2中的服务器接收日志,因此事务提交将被挂起。同时机房网络抖动非常普遍,因此同城灾备核心业务应采用多活架构。如下图所示:2ff67215baa06a5d2ecb9025019a7dc8.png这种架构如果三个机房位于一个城市,则称为“一地三中心”。如果它们位于两个相邻的城市,则称为“两地三中心”。然而,这种同城/同大区灾难恢复要求机房网络之间的延迟不应超过5ms。

数据的副本存储在三个机房中,这里,MySQL的 rpl_semi_sync_master_wait_for_slave_count 半同步复制参数,如果count设置为1,则只要一台半同步备用计算机接收到日志,就可以提交主服务器上的事务。

这种设计确保了除主机房外,其他机房中的数据至少是一个完整的数据。

这样即使机房1和机房2之间存在网络抖动,因为机房1与机房3之间的网络非常好,因此不会影响主服务器上事务的提交。

如果机房1的出口开关或光纤发生故障,那么可以将故障转移到机房2或机房3,因为至少有一条数据是完整的。

一地三机房架构

机房2和机房3中的数据用于确保数据一致性,但是,如果要实现读/写分离或备份,则需要为异步复制引入备用节点。因此,生产环境中整体结构如下:71288c2616c6beeb109c0746c07b8b4a.png从图中可以看出,我们添加了两个异步复制节点来分离业务的读写。此外,我们还引入了一个延迟备用机,用于从机房3中的备用机进行异步复制,以从数据删除错误中恢复。由于机房1中的主服务器向四个从属服务器发送日志,因此网卡可能会成为瓶颈,一般需要万兆网卡。更多关于MySQL学习的文章,请参阅:死磕数据库系列之 MySQL ,本系列持续更新中。

两地三中心

只需在两城三中心,通过不同城市设置三个机房,当主服务器停机时,数据库将切换到跨城市,跨城市之间的网络延迟超过25ms。4781618213e0fadcda570fa03a093a44.png

三地五中心

跨城灾难恢复一般设计为“三地五中心”架构,如下图所示:3bc1d2bb210cdb6e03e75223b69ee911.png如上图所示,机房1和机房4位于城市1;机房2和机房5位于城市2;机房3位于3号城市,三个城市之间的距离超过200公里,一般允许延迟超过25毫秒。由于有五个机房,ACK设置为2,以确保至少一条数据在两个机房中具有数据。这样,当城市级故障发生时,城市2或城市3中至少有一个完整的数据。

同时,跨城市灾难恢复通常基于同城灾难恢复架构,每个中心都是多活中心。更多关于MySQL学习的文章,请参阅:死磕数据库系列之 MySQL ,本系列持续更新中。

数据兜底核对(数据轧差)

业务数据轧差

除了高可用性的灾难恢复架构设计之外,我们还需要做一层底层服务来判断数据的一致性。这里引入数据检查来解决,数据在业务逻辑上是一致的,该担保业务是正确的。

一般使用的方式就是 业务团队 进行异步对账。

例如:1、订单数据与清结算数据进行数据对平(一般为支付金额、优惠金额,结算金额等等);2、扣减库存的数据与下单数据进行数据对平(库存消耗是否等于订单明细);3、发券数据是否超过使用的优惠金额;4、当日正向交易金额与反向(退款)交易金额对比;5、待发货、已发货、已收货是否等于交易总数,等等……

DBA数据核对

主服务器和从服务器之间的数据是一致的,确保了从属服务器的数据是安全和可访问的。

一般由 数据库团队(DBA) 负责。

通过主从验证服务以确保主从数据的一致性,此检查不依赖于副本,但也是逻辑检查。检查最近一段时间内主服务器和从服务器上更改的记录,以从逻辑上验证它们是否一致。

通过表  last_modify_date 记录每个记录的最后修改时间。通过根据此条件进行筛选,找到最近更新的记录,然后比较每个记录。同时扫描最新的二进制日志,过滤出最近更新的表和主键,然后检查数据。

总结

我们在实际生产环境中,要求不允许丢失任何数据。也就是说,当MySQL数据库由于各种原因而无法使用时(发生宕机、网络异常等),不仅需要快速恢复业务,还需要确保数据一致性。

本文主要讲解数据库机房架构与跨城容灾,包括主从复制的强一致性、同城多活、两地三中心、三地五中心、数据兜底逻辑等进行逐步讲解。

来源:https://xiaoming.blog.csdn.net

/article/details/128106562

f6157a242e9d0cb004547c3cc1263848.png

d9d7e51b976ef7acd85c72cc84511bf0.png

推荐阅读 点击标题可跳转

又一款内存数据库横空出世,比 Redis 性能更强

谷歌中国大裁员赔偿 N+9?不,结果比这更离谱

ChatGPT 正式发布 API!所有企业都可接入

推荐一款超高颜值 Markdown 编辑器,爱了!

今天开始,退钱了!!!

偷偷爆料下国内比较大型的 IT 软件外包公司名单

死磕数据库系列(二十一):MySQL 多版本并发控制MVCC

0b764405aac44b1a633faa5a4b0925a6.png

PS:因为公众号平台更改了推送规则,如果不想错过内容,记得读完点一下在看,加个星标,这样每次新文章推送才会第一时间出现在你的订阅列表里。点在看支持我们吧!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/23618.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

AI人工智能与机器人的探索和应用1.2

原文:https://mp.weixin.qq.com/s/Fpku8e1mvU1M7hOMV8rSnA chatgpt的火爆使用让人工智能掀起了新一轮的话题革命。当前的全球情况数据显示,人工智能、机器学习和机器人技术等创新产品几乎每个领域都普遍流行,无论是农业、医疗保健、教育、还…

一场云端的“神仙打架”:BAT加华为的影响未来之争

作者|震霆 出品|新芒X 公众号|GOwithAI Up in the Air ! 这是2009年上映的一部经典的电影名称,翻译成中文叫《在云端》,想必有不少人看过。 男主角因为工作性质成为空中飞人,穿梭在云…

全网最流氓还擦边的App,被华为封杀了!

👇👇关注后回复 “进群” ,拉你进程序员交流群👇👇 来源丨程序员软件库 https://mp.weixin.qq.com/s/WFqu1mYYIiq8A-XNJgMA5Q ‍ 很多人下载APP,一般是用手机自带的应用商店,下载安装一条龙&…

华为推出打车平台 Petal,科技大厂再战聚合打车

作者|小满 声明|题图来源于网络。惊蛰研究所原创文章,文章转载自「惊蛰研究所」公众号。 沉寂许久的网约车市场,因为科技巨头的集体入局再次成为焦点。 7月27日,华为正式宣布上线聚合打车平台Petal出行,包括此前在微信内测打车服务…

腾讯VS华为:2021“渠道战争”第一枪

本文转载自 刺猬公社,作者 陈彬 2021年方才来临一个小时,华为与腾讯两大巨头就打了起来。 华为应用商店发布公告,宣布下架所有腾讯游戏,原因是“腾讯单方面就双方合作做出重大变更”。腾讯方很快做出回应,表明未能与华…

如果你还不知道什么是华为ICT大赛,你就OUT了!

(小灰想象中的比赛现场) ICT,全称Information Communications Technology。 华为ICT大赛是华为打造的面向全球大学生的年度例行ICT赛事,为华为ICT学院和有意愿成为ICT学院的高效学生提供国际化竞技和交流平台,增长学生…

华为内部推荐,比惨大会 (转载)

发信人: lansheng228 (大宅男), 信区: Joke 标 题: Re: 华为内部推荐,比惨大会 (转载) 发信站: 水木社区 (Thu Jul 17 18:50:26 2014), 站内 【 以下文字转载自 WorkLife 讨论区 】 发信人: diviner (diviner), 信区: WorkLife 标 题: Re: 华为内部推荐&#xf…

Tubi 快讯|中国团队 100 人啦

Tubi 中国团队 100 人啦 上周五,Tubi 迎来了中国团队的第 100 位同事! 从最开始创立到 Tubi 中国团队第一次在公众号亮相,再到去年年底的关于 Tubi ,你想知道的都在这里,Tubi 一路成长也一路收获,始终未变…

独家!华为、腾讯齐聚香港,一起密谋着什么?

4月17日,“TokenSky香港站 第16届TFC全球泛游戏大会”上主题为“游戏出海与未来链游之路”在香港科学园成功举办,现场座无虚席,全球游戏游戏研发商、发行商、渠道商、第三方等齐聚主会场,现场嘉宾就区块链游戏发展、游戏出海及变现…

第一波IT去美国化的公司不是华为

第一波去美国化的不是华为,是BAT京东等 互联网类公司发起的工程叫:去IOE IBM小型机,ORACLE数据库,EMC存储 几年前已经完成了技术去美化 趣讲大白话:安全是底线 【趣讲信息科技174期】 **************************** 第…

华为公布新运营商BG总裁/ 苏州超算中心顶楼起火/ 马斯克卖香水赚700万…今日更多新鲜事在此...

日报君 发自 凹非寺量子位 | 公众号 QbitAI 大家好,今天是10月13日星期四,v我50(手动狗头)。 科技圈有哪些新鲜事,快来和日报君一起看看吧~ 微软将推免费设计软件 当地时间周三,美国微软宣布将推…

马斯克最新深度采访:我一年只休三天,7000字聊透九大热点

马斯克在股东会上没说的内容,都在这场采访里了。 继马斯克被股东提案列为“风险人物”,特斯拉5月份股东大会被批“啥都没有”,甚至是“投资者日剧本重刷”后,马斯克终于对这次“遮遮掩掩”的股东大会进行回应了。 日前&#xff…

顶流开源项目作者全职做开源的“血泪史”:入狱、耗尽积蓄、被网暴……

core-js 作者 Denis Pushkarev 今日发表了一篇长文《So, whats next?》,他表示原本只是想介绍自己正在积极开发的下一个主要版本,以及 core-js 项目的未来开发路线图。但由于最近发生的事情让 Denis 颇有感慨,于是起笔后他用了很大篇幅来讲述…

欧盟将立法严格监管人工智能技术应用;Meta引入AI改进广告业务;朱啸虎:今年一半投资给了AIGC丨每日大事件...

‍ ‍数据智能产业创新服务媒体 ——聚焦数智 改变商业 企业动态 欧冶半导体与AutoCore达成战略合作 5月12日,国内首家聚焦智能汽车第三代E/E架构的系统级SoC芯片及解决方案供应商欧冶半导体,与高性能安全移动智能计算软件及方案提供商AutoCore签署战略…

iPod 之父出生 | 历史上的今天

整理 | 王启隆 透过「历史上的今天」,从过去看未来,从现在亦可以改变未来。 今天是 2023 年 3 月 22 日,在 1924 年的今天,英国第一家航空公司宣告成立。这家公司名为帝国航空公司,公司创办伊始,只有 13 架…

复旦大学邱锡鹏:若优化顺利,MOSS三月底开源;库克或被踢出苹果董事会;华为云联合CSDN发布智能化编程助手Snap|极客头条...

「极客头条」—— 技术人员的新闻圈! CSDN 的读者朋友们早上好哇,「极客头条」来啦,快来看今天都有哪些值得我们技术人关注的重要新闻吧。 整理 | 梦依丹 出品 | CSDN(ID:CSDNnews) 一分钟速览新闻点&#…

分组交换网络的“亲子纠纷” | 历史上的今天

整理 | 王启隆 透过「历史上的今天」,从过去看未来,从现在亦可以改变未来。 今天是 2023 年 6 月 13 日,知名的 ENIAC 建造者约翰莫克利在历史上的这一天参观了 ABC 计算机,与 ABC 的设计者之一阿塔纳索夫会面。这次会面后来牵扯进…

顶流开源作者“血泪史”:入狱、耗尽积蓄、被网暴……

出品 | OSC开源社区(ID:oschina2013) core-js 作者 Denis Pushkarev 今日发表了一篇长文《So, whats next?》,他表示原本只是想介绍自己正在积极开发的下一个主要版本,以及 core-js 项目的未来开发路线图。但由于最近发生的事情让…

Swift 周报 第二十五期

前言 本期是 Swift 编辑组自主整理周报的第十六期,每个模块已初步成型。各位读者如果有好的提议,欢迎在文末留言。 欢迎投稿或推荐内容。目前计划每两周周一发布,欢迎志同道合的朋友一起加入周报整理。 选择与放弃,是生活与人生…