分布式存储 vs. 全闪集中式存储:金融数据仓库场景下的性能对比

作者:深耕行业的 SmartX 金融团队 张德敏

近年来随着金融行业的高速发展,经营决策者及监管机构对信息时效性的要求越来越高,科技部门面临诸多挑战。例如,不少金融机构使用数仓业务系统,为公司高层提供日常经营报表,同时支持监管报送等应用。该业务系统通常是 I/O 密集型应用,对 IT 基础架构的性能有极高的要求。

在《Oracle 数据仓库在超融合架构下的跑批性能验证》文章中,我们分享了金融机构利用 SmartX 超融合优化 Oracle 数据仓库跑批效率的实践经验。超融合部署架构如下:

​编辑

本期,我们将进一步验证 SmartX 分布式存储 SMTX ZBS 对数仓业务系统的支持能力,通过金融客户的实际测试,对比 SmartX 分布式存储与全闪集中式存储执行数仓跑批任务的效率。部署架构方式请参考下文。

测试背景

某金融机构使用传统架构支撑数仓业务系统,其中存储使用 EMC PowerStore 全闪存储,虽然现阶段可满足经营决策者及监管机构对信息时效性的要求,但科技部门认为该架构仍然面临一些挑战:

  • 全闪中高端集中式存储成本居高不下。
  • 集中式存储弹性扩展能力有限,无法做到容量及性能同步线性增长。
  • 新旧集中式存储替换带来庞大的数据迁移工作和开销,且无法保证业务零中断

得益于分布式的架构和弹性扩展能力,分布式存储能很好地解决以上问题。但让科技部门顾虑的是:分布式存储性能能否对标全闪中高端集中式存储?能否有效支撑数仓业务系统对报表输出时效性的要求?为此,该金融客户使用 SmartX 分布式存储在测试环境部署数仓业务系统,进行了相关课题的验证。

测试架构

​编辑

测试架构如图所示:

  • 计算端采用裸金属(Intel x86 服务器)部署 Oracle 数据库,测试环境使用一台 2 路服务器 ,当前生产环境使用一台 4 路服务器。
  • 网络端测试环境使用以太网交换机和 NVMe over RDMA 协议,当前生产环境使用光纤交换机和 FC 协议。
  • 存储端测试环境使用 SMTX ZBS 分布式存储和 3 台通用 Intel x86 服务器(混闪),当前生产环境使用 1 套 PowerStore 1000T 全闪存储。

软硬配置

​编辑

测试过程与结果

  1. 将生产数据导入到测试环境,导入数据量为 3.9TB。
  2. 数仓业务系统跑批的内容是 Oracle 执行一系列存储过程集,通过 linux 脚本自动化运行。
  3. 从所有数据里分别提取和处理 4、5、6 三个月的数据,记录每个月从执行开始到结束的时间,时间越短越好。

结果显示,相比生产环境,SmartX 分布式存储执行全部存储过程集,3 个月平均跑批时间缩短 45%;其中,某耗时最长存储过程,3 个月平均跑批时间缩短 55%,其他存储过程集 3 个月平均跑批时间缩短 31%

​编辑

数仓业务跑批期间统计了 SMTX ZBS 在该业务下的负载峰值,与 SMTX ZBS 基准性能做了进一步对比。从数据可以看出,SMTX ZBS 除了支撑该数仓工作负载外,仍有很大的余力。

​编辑

注:
基准数据指 SMTX ZBS 在该硬件配置下的最佳性能。
本次测试数据指数仓业务跑批期间 SMTX ZBS 的负载峰值。
绿色数据表示受限于网卡带宽,SMTX ZBS 存储实际的能力没有完整发挥出来。

测试结论

本次测试由客户全程自己操作完成,从测试结果看,SMTX ZBS 分布式存储已经具备承载客户现有的数仓应用的能力。这意味着,客户可以在不改变上层数仓应用的情况下,通过优化基础架构设施进一步提升跑批的效率,缩短跑批时间,从而以更少的成本带来更大的应用价值的提升。

更多应用场景持续探索中

科技产品价值终究要提升业务支撑价值。目前,SmartX 已联合多家来自银行、保险、证券、基金、期货、资管等金融细分行业的头部企业,针对超融合在 TA 注册登记、估值、BI 报表、O32、柜台交易系统等多种金融核心业务系统下的表现,开展全方位评测与验证。欲了解更多金融应用场景探索实践,请阅读往期文章:

  • 金融场景探索|以分布式存储驱动金融资管估值系统效率提升
  • 空中换发动机:中信建投如何实现超融合操作系统“0”业务停机的信创转换
  • 金融客户基于超融合信创平台构建微分段防护的实践及验证
  • Oracle 数据仓库在超融合架构下的跑批性能验证
  • 金融信创场景下 SmartX 超融合存储性能评测与支撑业务综述
  • SmartX 超融合金融行业数据库支撑评测合集与长期落地案例综述

您还可扫描下方二维码,获取《金融核心生产业务场景探索文章合集》,全面了解超融合如何支持金融核心业务系统、数据库、IT 基础架构云化转型与信创转型。

近期,我们将为您带来更多金融行业场景探索和验证文章,敬请期待!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/167752.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【剑指Offer】36.二叉搜索树与双向链表

题目 输入一棵二叉搜索树,将该二叉搜索树转换成一个排序的双向链表。如下图所示 数据范围:输入二叉树的节点数 0≤n≤1000,二叉树中每个节点的值 0≤val≤1000 要求:O(1)(即在原树上操作),时间…

YOLOv5论文作图教程(1)— 软件介绍及下载安装(包括软件包+下载安装详细步骤)

前言:Hello大家好,我是小哥谈。在学习YOLOv5算法的过程中,很多同学都有发表论文的需求。作为文章内容的支撑,图表是最直接的整合数据的工具,能够更清晰地反映出研究对象的结果、流程或趋势。在发表论文的时候,审稿人除了关注论文的内容和排版外,也会审核图表是否清晰美观…

华为数通方向HCIP-DataCom H12-831题库(多选题:21-40)

第21题 网络管理员A希望使用ACL匹配特定的路由条目,请问以下哪些路由条目将被图中的ACL规侧匹配? acl number 2000 rule 10 permit source 10.0.0.0 0.0.6.0A、10.0.0.1/32 B、10.0.0.0/24 C、10.0.1.0/24 D、10.0.2.0/24 答案: 解析: 通配符十进制6转换二进制为00000110,…

从Excel到智能化:智能报表的演进与未来发展趋势

摘要:本文由葡萄城技术团队于CSDN原创并首发。转载请注明出处:葡萄城官网,葡萄城为开发者提供专业的开发工具、解决方案和服务,赋能开发者。 报表的迭代历程 报表工具的诞生与计算机技术的出现和信息技术的进步密不可分。下图是报…

springBoot--web--路径匹配

路径匹配 前言在配置文件中配置路径匹配结果 前言 spring5.3之后加入了更多的请求路径匹配的实现策略 以前只支持antPathMatcher策略,现在提供了PathPatternParse策略,并且可以让我们指定到底使用哪种策略 PathPatternParser: 在jmh基准测试下&#xff…

YOLOv5/v7/v8改进实验(五)之使用timm更换YOLOv5模型主干网络Backbone篇

🚀🚀 前言 🚀🚀 timm 库实现了最新的几乎所有的具有影响力的视觉模型,它不仅提供了模型的权重,还提供了一个很棒的分布式训练和评估的代码框架,方便后人开发。更难能可贵的是它还在不断地更新迭…

QT学习day5(QT实现TCP协议)

作业&#xff1a;利用TCP客户端和服务器实现网络聊天室&#xff08;简单版QQ&#xff09; 1.服务器代码 widget.h #ifndef WIDGET_H #define WIDGET_H#include <QWidget> #include<QTcpServer> //服务器头文件 #include<QTcpSocket> …

“香蕉大王”的转型升级,能否扩大市场份额?

佳农食品控股 ( 集团 ) 股份有限公司,于2023年10月11日同海通证券签署上市辅导协议&#xff0c;计划登陆上交所主板。据了解这已经不是佳农食品第一次IPO了&#xff0c;2019 年&#xff0c;佳农集团曾向上交所递交过招股说明书&#xff0c;当时的招股书披露&#xff0c;佳农集团…

磁盘分区如何分? 电脑磁盘分区免费软件指南!

列出并比较顶级免费磁盘分区管理器软件&#xff0c;以选择适用于 Windows 的最佳分区软件&#xff1a; 系统分区在现代计算机设备中起着非常重要的作用。它们可以存储数据&#xff0c;使系统文件远离用户数据&#xff0c;并在同一台设备上安装多个操作系统。但是&#xff0c;这…

阿里云对象存储OSS怎么停止扣费

阿里云对象存储OSS一直扣费如何停止&#xff1f;如何关闭对象存储OSS&#xff1f;阿里云对象存储OSS没有关闭功能&#xff0c;如果不再使用对象存储OSS可以删除存储空间Bucket下的所有文件&#xff0c;详细说下阿里云对象存储OSS停止收费的方法&#xff1a; 阿里云对象存储OSS…

TS和JS的区别

1.TS和JS的区别 ts 是js的超集。 从执行环境上来看&#xff0c;浏览器、node.js 可以直接执行js,但不能执行ts;编译层面&#xff0c;Ts 有编译阶段&#xff0c;js 没有&#xff0c;只有转译阶段和lint阶段&#xff1b;ts更难写一点&#xff0c;但类型更安全。ts 代码写出来就是…

绿盾加密软件支持文件 CAD图纸加密 多平台Windows、Linux、Mac

绿盾加密软件支持文件CAD图纸加密&#xff0c;并且可以在多平台如Windows、Linux、Mac上运行。适用于各种商务服务、软件开发以及行业专用软件。 PC访问地址&#xff1a; https://isite.baidu.com/site/wjz012xr/2eae091d-1b97-4276-90bc-6757c5dfedee 绿盾加密软件的具体功能…

【三维重建】DreamGaussian:高斯splatting的单视图3D内容生成(原理+代码)

文章目录 摘要一、前言二、相关工作2.1 3D表示2.2 Text-to-3D2.3 Image-to-3D 三、本文方法3.1生成式 高斯 splitting3.2 高效的 mesh 提取3.3 UV空间的纹理优化 四. 实验4.1实施细节4.2 定性比较4.3 定量比较4.4 消融实验 总结&#xff08;特点、局限性&#xff09; 五、安装与…

C++ 中的模型预测路径积分 (MPPI) 控制

一、说明 模型预测路径积分控制&#xff08;MPPI&#xff09;是一种基于采样的模型预测控制算法。是MPC控制模型的延申和拓宽&#xff0c;要了解MPPI需要先理解MPC&#xff0c;参见文章&#xff1a;MPC预测控制概述和C 中的模型库-CSDN博客 二、模型预测路径积分 (MPPI) 控制 模…

如何破解压缩包密码,CTF压缩包处理

I. 引言 压缩包我们经常接触&#xff0c;用于对文件进行压缩存储/传输。压缩包处理在CTF比赛中是非常重要的一块&#xff0c;因为压缩包中可能包含重要信息&#xff1a;许多CTF题目会将关键信息隐藏在压缩包中&#xff0c;参赛者需要解压并查看其中的内容才能获取有用的线索。…

Day7力扣打卡

打卡记录 合法分组的最少组数&#xff08;贪心&#xff09; 链接 举例说明&#xff0c;假设 c n t [ x ] 32 cnt[x]32 cnt[x]32&#xff0c; k 10 k10 k10&#xff0c;那么 32 10 10 10 2 321010102 321010102&#xff0c;多出的 2 2 2 可以分成两个 1 1 1&#xf…

Html -- 文字时钟

Html – 文字时钟 文字时钟&#xff0c;之前在Android上实现了相关效果&#xff0c;闲来无事&#xff0c;弄个网页版的玩玩。。。直接上代码&#xff1a; <!DOCTYPE html> <html lang"en"> <head><meta charset"UTF-8"><titl…

SpringBoot+Vue实现AOP系统日志功能

AOP扫盲&#xff1a;Spring AOP (面向切面编程&#xff09;原理与代理模式—实例演示 logs表&#xff1a; CREATE TABLE logs (id int(11) NOT NULL AUTO_INCREMENT,operation varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT 操作名称,type varchar(255) COLL…

鸿鹄工程项目管理系统 Spring Cloud+Spring Boot+Mybatis+Vue+ElementUI+前后端分离构建工程项目管理系统项目背景

鸿鹄工程项目管理系统 Spring CloudSpring BootMybatisVueElementUI前后端分离构建工程项目管理系统 1. 项目背景 一、随着公司的快速发展&#xff0c;企业人员和经营规模不断壮大。为了提高工程管理效率、减轻劳动强度、提高信息处理速度和准确性&#xff0c;公司对内部工程管…

uniapp canvas 无法获取 webgl context 的问题解决

uniapp canvas 无法获取 webgl context 的问题解决 一、问题描述 在 uniapp 中做一个查看监控视频的页面&#xff0c;用到的是 JSMpeg 这个库&#xff0c;原理就是前后台通过 websocket 不断推送新画面内容到前端&#xff0c;前端通过这个 JSMpeg 渲染到前端页面中指定的 can…