单集群400TB,OceanBase稳定支撑快手核心业务场景

一款日均超过千万人访问的短视频 App 快手,面对高并发流量如何及时有效地处理用户请求?通过在后端配置多套 MySQL 集群来支撑高流量访问,以解决大数据量存储和性能问题,这种传统的 MySQL 分库分表方案有何问题?快手对分布式数据库展开选型并最终大规模落地 OceanBase 的原因是什么?本文来自于快手运维负责人筱虫对此次快手数据库解决方案进行的思考和经验总结。

图片

快手 APP 是中国流行的短视频和直播应用之一,其内容涵盖生活的方方面面,希望以技术赋能,用科技提升每个人独特的幸福感。在快手上,用户可以用照片和短视频记录自己的生活点滴,也可以通过直播与粉丝实时互动。自 2011 年成立至 2021 年上市以来,快手日活用户已达数亿,一方面促使直播、电商等业务飞速增长,另一方面,底层系统也面临着前所未有的压力。虽然,传统方案一定程度上缓解了快手的存储问题,带来了性能上的提升,但同时运维复杂性和不可持续性也为公司的可持续发展带来了挑战。

随着订单业务量及业务数据的迅猛增长,快手原来采用的 MySQL 解决方案在存储和性能方面的表现愈发不足,以订单业务为例,订单业务总数据量超过 150TB 时,MySQL 的存储瓶颈和性能问题越来越明显。为缓解该类问题带来的业务影响,我们选择分库分表方案来应对。

但是,业务持续增长使底层数据库的分片数不断增加,以至于线上 MySQL 分片数达到 300+,不仅没能彻底解决存储问题还引入了更大的运维复杂度,需要我们不断对应用进行改造和适配以解决分库分表带来的问题。而短视频 App 的业务峰值 QPS(每秒查询率)能达到百万以上,对性能要求极高,在此情况下,单个集群需要很多的 MySQL 节点,无法做到在业务高峰期保证业务请求及时返回,并且不论是中间件还是数据下游所有链路,都需要很重的硬件以支撑产品稳定性方案。

此外,我们的 TP 业务要求具备强事务、实时读写的能力,同时伴有 AP 需求,为了保证系统稳定可靠,需要采用 MySQL 接 ClickHouse、Elasticsearc 或 Doris,可能需要更多的数据副本,这就带来了更高的硬件成本。

图片

我们意识到,分库分表方案只能尽可能缓解而无法从根本上解决问题,亟需一款既能满足业务需求,又具备高性能、灵活扩展,还能降低运维复杂度的分布式数据库解决方案。

在分布式数据库的探索之路上,我们最初尝试了某分布式数据库品牌。但在使用过程中发现其在写入性能、运维方式等方面存在问题。比如,运维平台比较简单, 难以满足 DBA 的需求,且很多内核问题难以得到解决。因此,我们尝试选择了 OceanBase。

让我印象比较深的是,单表超过 10TB 且不断增长的情况下,使用该数据库架构做 DDL,预计需要一周,而使用 OceanBase 则不到一天即可完成。并且,由于部分业务持续增长,需要不断加表、加源数据,使得 DDL 操作繁多。该数据库本身是小分区的方式,在数据量大的情况下会导致整个 region 数量变得特别大,一旦出现宕机或扩缩容、节点替换需求时,很可能影响业务稳定性。相应的,OceanBase 采用大分区,像上述的业务操作可以在小时级,最多天级完成。

图片

目前,我们短视频 App 有 8 个 OceanBase 集群,机器规模已经超过 200 台物理机,数据量超 800T,最大集群数据量超 400T。我们最初使用 OceanBase 3.1 版本、后期升级到了 4.2 版本,所有的集群都在提供线上服务,其中有核心系统交易核对系统和支付网关业务系统,也有替换 MySQL 主库来承担高并发写入的业务。在迁移到 4.1 版本后,集群本身对于业务的收益和稳定性都有显著提升。下面以快手的两大核心业务场景举例,介绍 OceanBase 的落地效果。

(一)交易核对场景

作为短视频平台,快手有对应的电商业务满足大家在刷视频时的购物需求。一般情况下电商的日均流量 QPS 表现平稳,大概 8-9w。进行大型直播时,用户流量剧烈增长,一般情况下 QPS 能快速增长至平时的十倍甚至百倍,达到百万级别,即使数据量压缩也会达到百余 TB。

在直播期间:

  • 业务对延迟极度敏感,对 TPS 有着极高的要求,通常情况下要求延迟为 ms 级,如无法在规定时间内完成请求则会影响核对结果,出现数据不准确问题;

  • 电商业务对系统稳定性要求非常高,因为业务和交易密切相关,一旦系统出现故障或者异常抖动时,影响业务,会产生资损。

在引入 OceanBase 前,交易核对场景读写都在 MySQL 上面,针对大表问题,我们采用传统的分库分表方案,将大表拆成多个小表,将业务读写流量拆分到多个 MySQL 实例。由于分库分表方案的跨库数据一致性和跨库事务原子性,在复杂和异常情况下容易出现数据不一致问题,导致数据核对时出现不正确的结果。比如:没有退款、扣款金额不准确,出现资损问题。

经过方案调研和选型之后,因 OceanBase 分布式架构天然具备水平扩展能力,因此在数据量不断增长时只需要水平扩展集群的存储和计算能力,解决大表查询和存储问题;同时由于 OceanBase 天然拥有原生分布式能力,对分布式事务处理更擅长。使用 OceanBase 后,上游业务直接写入MySQL 集群中,同时每一条数据写入上游 MySQL 分片时会通过 Binglog 实时写入 OceanBase 中。数据核对查询时,在查询上游 MySQL 集群时会同时触发向下游 OceanBase 进行相同的查询,并对上下游的查询结果进行比对,从而保证整个账务系统中订单状态的正确性。

下图是交易核对业务线上 QPS 的表现,左侧为日常 QPS,数据量 9 万左右,右侧为响应时间,平均时延不超过 10ms,峰值显示 1 万毫秒(由于每晚凌晨全量合并后业务额外启动一个特定线程去删除一些对应历史数据,删除的数据量很高导致此时时延偏高,业务方可以接受)。图的下方是写入量,按事务统计的日均 1 万 TPS 左右,响应时间为 5-10 毫秒,OceanBase 响应时间满足业务对延迟的要求,同时系统稳定性得到保障。

图片

(二)支付业务场景

支付业务是电商的实时业务,一方面是面向商家、客服查直播收益,另一方面是支付网关相关的聚合查询。该业务有三个显著的特点。

特点1:数据量大

支付业务的数据量相比交易核对业务更多,单集群的数据量可达到百余 TB,最大的集群数据量已经超过 400TB,同时单表数据量达到 10TB 以上。

特点2:复杂聚合

该业务写入比查询流量高很多,而所有的后台查询都要通过支付网关,需要对大量数据进行聚合查询,可能会 join 多张表以及有可能是几十个甚至是上百个,业务对查询本身的性能要求高。

特点3:频繁 DDL

因为查询不是固定的,为了查询速度更快,业务需要频繁加索引来加快查询速度。在之前的方案里,数据写入 MySQL 集群的同时,同步数据到 Elasticsearch 集群,利用 Elasticsearch 的搜索能力提供给业务进行复杂 AP 查询分析。新方案在一定程度上能满足业务的需求,不过以下存在三个问题。

  • 数据实时性不够好:数据在写入 MySQL 之后再同步到 Elasticsearch,实效性较差,可能因为 MySQL 的持续大量写入而产生数据延迟;

  • 成本高:因为接入了 Elasticsearch 集群,业务不仅仅需要考虑 MySQL 成本,同时还有 Elasticsearch 集群的硬件成本和维护成本;

  • 运维更复杂:需要同时兼顾 MySQL 集群和 Elasticsearch 集群的运维。

在引入 OceanBase 之后,OceanBase 在线扩展性轻松解决了大数据量的存储问题,同时 HTAP 能力在保证数据写入的同时提供实时的查询分析能。在该业务场景中,OceanBase 对复杂 SQL 分析能力不弱于 Elasticsearch。此外,在线加索引能力使得业务可以随时进行 DDL 变更。在使用 OceanBase 替换MySQL+Elasticsearch 方案后,不仅省掉了 Elasticsearch 服务及硬件, MySQL 硬件成本也大幅降低,相比之前方案整体节省 50% 的机器资源,性能也满足业务的查询要求。如图左侧为 MySQL + Elasticsearch 方案,右侧为 OceanBase 方案。

图片

下图是支付业务的线上表现,写入量在 5-7 万之间,查询不到 1 万。蓝色的线表示在删数据,绿色的线是写和读的响应时间。

图片

目前,我们使用 OCP 管理多套集群,一套 OCP 管理 OceanBase 的 8 套集群,OBServer 节点数超过 190 个,集群扩缩容、监控、告警都可以通过 OCP 完成,非常方便。另外,业务侧非常喜欢使用 ODC,这 OceanBase 的一个查询平台,需要验证数据是否写入成功,以及写入结果是否正确。因为通过界面操作即可完成日常的业务访问数据库需求,同时版本更新快,处理问题及时,所以百人级别业务都在使用。

图片

从上述两个核心业务场景可以看出,使用 OceanBase 后,快手取得的收益显著,总结而言包括以下几点。

  • OceanBase 高度兼容 MySQL 引擎,极大降低开发和使用门槛。业务人员可以沿用 MySQL 的使用方式来使用 OceanBase,而不需要改变使用习惯,同时在数据迁移方面,因 OceanBase 兼容 MySQL 协议与语法,所以能够做到平滑迁移,可大幅降低业务迁移和改造成本;

  • 运维更加高效与便捷。单集群替换 300+ 套 MySQL 环境,运维管理成本大大降低,同时管理更加方便;

  • 数据同步性能提升。数据从上游写入到下游 OceanBase 响应延迟更小,数据同步速度更快,同步延迟时间减少 3/4;

  • OceanBase 同城三机房部署架构,实现 RPO =0,RTO<8s 的容灾能力。同时,可以在异地增加一个只读 Zone 提供本地的读服务,提升查询效率。同城容灾以及本地读等功能为业务提供稳定性和性能双重保障;

  • OceanBase 具备灵活的资源扩展能力,根据业务实际发展情况可以动态的进行计算和存储能力的线性扩展。支撑海量数据的存储和计算,同时很好地应对未来的业务增长要求;

  • 相比传统的集中式数据库 MySQL,OceanBase 在存储层面有极致的压缩能力,有效降低企业使用数据库的硬件成本,比如帮助我们节省了 50 台机器。

我们在使用 OceanBase 的过程中,也发现了需要优化的细节。首先,我们使用的 4.1 版本还没有兼容 MySQL Binlog,需要通过逻辑的 select 把数据导出来,再同步到大数据平台去做兼容。不过 OceanBase 4.2 版本已经兼容,我们计划接下来做尝试。

其次,在运维工具方面,OCP 部分告警信息不是特别清晰,排查问题会有些不方便,扩容上百台机器需要手动重试,不过从官方得知,在 OCP 4.2 版本中,以上提到的问题都已经得到了解决。

当然,我们明白任何一款产品都不是万金油,一定是优点与不足并存。后续,我们也希望持续深化和 OceanBase 社区合作,统一版本并在新版本中发挥 OceanBase  在存储和性能方面的显著优势。同时,基于 OceanBase 兼容 MySQL Binlog 格式,对接更多的下游生态,接入更多的业务,我们也将参与 OceanBase 代码贡献,深度参与社区共建。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/228049.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【C++】STL 容器 - set 集合容器 ① ( set 集合容器简介 | set 集合容器操作的时间复杂度 | set 集合容器常用操作 )

文章目录 一、set 集合容器1、set 集合容器简介2、set 集合容器操作的时间复杂度3、set 集合容器常用操作 二、代码示例 - set 集合容器1、代码示例2、执行结果 一、set 集合容器 1、set 集合容器简介 C 语言中的 STL 容器中的 set 容器 , 是 " 集合容器 " , 容器中…

在Go语言中处理HTTP文件上传

大家好&#xff0c;我是你们可爱又迷人的编程小助手&#xff0c;今天要带你们一起探讨在Go语言中如何处理HTTP文件上传&#xff0c;让我们把这场技术之旅变得轻松有趣吧&#xff01; 首先&#xff0c;想象一下这个场景&#xff1a;你是一个网站的开发者&#xff0c;用户们急切…

使用 SSH 方式实现 Git 远程连接GitHub

git是目前世界上最先进的分布式版本控制系统&#xff0c;相比于SVN&#xff0c;分布式版本系统的最大好处之一是在本地工作完全不需要考虑远程库的存在&#xff0c;也就是有没有联网都可以正常工作&#xff01;当有网络的时候&#xff0c;再把本地提交推送一下就完成了同步&…

MongoDB Certified Associate Developer 认证考试心得

介绍 前段时间通过了 MongoDB Associate Developer 考试&#xff0c;也记下了一些心得&#xff0c;结果忘记发出来了&#xff0c;现在重新整理下。通过考试后证书是这样的: MongoDB 目前有两个认证证书 1. MongoDB Associate Developer 认证掌握使用MongoDB 来构建现代应用…

【一分钟】ThinkPHP v6.0 (poc-yaml-thinkphp-v6-file-write)环境复现及poc解析

写在前面 一分钟表示是非常短的文章&#xff0c;只会做简单的描述。旨在用较短的时间获取有用的信息 环境下载 官方环境下载器&#xff1a;https://getcomposer.org/Composer-Setup.exe 下载文档时可以设置代理&#xff0c;不然下载不上&#xff0c;你懂的 下载成功 cmd cd…

Linux环境grep搜索方法记录

1 grep grep 命令&#xff0c;用来搜索字符串所在位置&#xff0c;可以具体到不同文件&#xff0c;不同行&#xff1b; 在Linux 下&#xff0c;查看命令释义如下 zhaocubuntu2004:~$ grep --help Usage: grep [OPTION]... PATTERNS [FILE]... Search for PATTERNS in each FI…

C#获取windows系统资源使用情况

1.前言 之前有一篇博客介绍如何获取Linux服务器上的资源使用情况《Java 获取服务器资源&#xff08;内存、负载、磁盘容量&#xff09;》&#xff0c;这里介绍如何通过C#获取Window系统的资源使用。 2.获取服务器资源 2.1.内存 [DllImport("kernel32.dll")][retu…

Maven项目提示Ignored pom.xml问题

1 环境 &#xff08;1&#xff09;IDEA开发工具&#xff1a;2022.2.1 &#xff08;2&#xff09;JDK&#xff1a;Java17&#xff08;Spring6要求JDK最低版本是Java17&#xff09; &#xff08;3&#xff09;Spring&#xff1a;6.1.2 &#xff08;4&#xff09;Maven 3.8.8 2 …

C#上位机与欧姆龙PLC的通信06---- HostLink协议(FINS版)

1、介绍 对于上位机开发来说&#xff0c;欧姆龙PLC支持的主要的协议有Hostlink协议&#xff0c;FinsTcp/Udp协议&#xff0c;EtherNetIP协议&#xff0c;本项目使用Hostlink协议。 Hostlink协议是欧姆龙PLC与上位机链接的公开协议。上位机通过发送Hostlink命令&#xff0c;可…

计算机组成原理复习7

内存管理 文章目录 内存管理存储器概述存储器的分类按在计算机中的作用&#xff08;层次&#xff09;分类按存储介质分类按存取方式分类按信息的可保存性分类 存储器的性能指标存储容量单位成本存储速度&#xff1a;数据传输率数据的宽度/存储周期 存储器的层次化结构多级存储系…

Java注解学习,一文掌握@Autowired 和 @Resource 注解区别

&#x1f3c6;作者简介&#xff0c;普修罗双战士&#xff0c;一直追求不断学习和成长&#xff0c;在技术的道路上持续探索和实践。 &#x1f3c6;多年互联网行业从业经验&#xff0c;历任核心研发工程师&#xff0c;项目技术负责人。 &#x1f389;欢迎 &#x1f44d;点赞✍评论…

Unity坦克大战开发全流程——开始场景——开始界面

开始场景——开始界面 step1&#xff1a;设置UI 反正按照这张图拼就行了 step2&#xff1a;写脚本 前面的拼UI都是些比较机械化的工作&#xff0c;直到这里写代码的时候才真正开始有点意思了&#xff0c;从这里开始&#xff0c;我们就要利用面向对象的思路来进行分析&#xff1…

【量化】蜘蛛网策略复现

文章目录 蜘蛛网策略研报概述持仓数据整理三大商品交易所的数据统一筛选共有会员清洗数据计算研报要求数据全部代码 策略结果分析无参数策略有参数策略正做反做 MSD技术指标化 蜘蛛网策略 策略来自《东方证券-股指期货趋势交易之蜘蛛网策略——从成交持仓表中捕捉知情投资者行为…

从实际工作情况,介绍嵌入式(MCU)软件开发常用(通用)工具

目录 前言 1、代码阅读及编辑工具&#xff08;VSCode、Understand&#xff09; 2、代码对比工具&#xff08;Beyond Compare&#xff09; 3、代码仓库相关工具&#xff08;Git、SVN、Tortoise&#xff09; 4、文本编辑器&#xff08;Notepad&#xff09; 5、电脑文件搜索工…

Springcloud Alibaba使用Canal将Mysql数据实时同步到Redis保证缓存的一致性

目录 1. 背景 2. Windows系统安装canal 3.Mysql准备工作 4. 公共依赖包 5. Redis缓存设计 6. mall-canal-service 1. 背景 canal [kənl] &#xff0c;译意为水道/管道/沟渠&#xff0c;主要用途是基于 MySQL 数据库增量日志解析&#xff0c;提供增量数据订阅和消费。其诞…

【深度解析C++】const成员函数

系列文章目录 &#x1f308;座右铭&#x1f308;&#xff1a;人的一生这么长、你凭什么用短短的几年去衡量自己的一生&#xff01; &#x1f495;个人主页:清灵白羽 漾情天殇_计算机底层原理,深度解析C,自顶向下看Java-CSDN博客 ❤️相关文章❤️&#xff1a;Cthis指针&#xf…

PostgreSQL | FunctionProcedure | 函数与存储过程的区别

文章目录 PostgreSQL | Function&Procedure | 函数与存储过程的区别1. 简述书面说法大白话讲 2. 函数&#xff08;Function&#xff09;2.1 定义2.2 用途2.3 执行2.4 事务处理2.5 说点例子1. 当参数都是IN类时2. 参数中出现OUT、INOUT参数时 3. 存储过程&#xff08;Proced…

C语言之整型提升

文章目录 1 有可能出现的问题2 产生以上问题的原因&#xff08;整型提升&#xff09;3 整型提升的过程4 整型提升示例5 总结 1 有可能出现的问题 代码如下 #include <stdio.h>int main () {int a -1;unsigned int b 1;if (a < b) {printf("a < b");}…

【STM32】SPI通信

1 SPI通信 SPI&#xff08;Serial Peripheral Interface&#xff0c;串行外设接口&#xff09;是由Motorola公司开发的一种通用数据总线 四根通信线&#xff1a;SCK&#xff08;Serial Clock&#xff0c;串行时钟&#xff09;、MOSI&#xff08;Master Output Slave Input&am…

使用react+vite开发项目时候,部署上线后刷新页面无法访问解决办法

说一下我这边的环境和使用的路由模式&#xff1a;vitereactBrowserRouter路由模式&#xff0c;所以如果你和我一样的话&#xff0c;可以试试我的这种解决办法&#xff0c;我是将项目打包后直接丢到服务器上的目录里面&#xff0c;然后配置nginx直接访问根目录。 我的nginx配置…