挺进云存储,天翼云全新一代XSSD勇立潮头

引言:自研高性能分布式存储引擎LAVA,实现云硬盘持续创新获得新突。

【全球云观察 | 科技热点关注】

作为算力基础设施的基石,云存储的发展一直备受公有云厂商所重视,对拉动云厂商营收规模带来重要价值,就此也成为了云厂商技术创新与业务发展的重点领域。

天翼云已经是全球最大的运营商云,在云存储的创新上一直非常重视。自研高性能分布式存储引擎LAVA,将云硬盘的创新推向新的高潮,进一步赋能科技应用创新,加快行业数字化进程,助力数字经济的发展。

01

没有最快只有更快,为什么需要越来越快的云存储?

当前,全球进入数字化高度发展的新时代,数字经济已为我国经济发展带来了前所未有的动力。助力数字经济发展离不开算力、存力与运力的三大驱动,更离不开来自云计算、AI、大数据等新兴技术的广泛应用。正因为技术进步与创新应用的普及,从而带来了海量数据呈现出新的增长趋势。

在AI训练领域,ChatGPT将对话机器人的智能化能力推向了历史最高点,不仅如此,ChatGPT持续迭代,不断攀登高阶智能的举措引发了全球对大模型的狂热。随着GPT-4的诞生,模型参数进入百亿千亿级别已经逐渐成为常态。与此同时,中国参与大模型创新厂商也与世界同步,持续迭代大模型的智力。

然而,无论是GPT-4还是其他大模型,所有参与百模大战的厂商聚焦AI算力的同时,也对存储进行再创新,以此应对AI大模型参数规模呈现指数级爆发增长的挑战。细心分析AI模型训练的特点,我们不难发现小文件海量数据的存储需求最为突出,同时大家对训练结果要求越来越快,因为越快越有价值。打造高效存储的支撑系统,是其中必要条件。传统磁盘阵列系统因其缺乏云的弹性与灵活性,难以胜任AI训练时高时低的新需求变化。唯有结合闪存技术同时发挥出云存储的优势才是必然之选。由此,既有云的灵活弹性,又有高性能表现的SSD云硬盘,也就顺理成章地成为AI模型训练的好搭档。

此外,随着大模型行业化发展大潮的到来,各个细分行业大模型诞生将此起彼伏。模型变小是大模型行业化的必然趋势,为此,对于算力、存力在规模与性能上更灵活的需求也将随着模型行业化发展而逐渐呈现出来。在这种情况下,高性能SSD云硬盘实现更多技术创新可谓正逢其时。

在数据库领域,随着用户关键应用能力的加强,对数据库性能的要求也变得更为苛刻,SSD云硬盘对加速数据库性能有着立竿见影的作用,特别是再结合RDMA网络的加持,应用SSD缓存与加速技术对数据库应用场景带来了非常有效的支撑。这也是源自SSD本身比HDD传统磁盘具有更好的IO特性,不需要磁盘那样寻道读写数据,SSD云硬盘带来更加优异的IOPS性能表现,也被更多地应用在数据库场景。高性能SSD云硬盘可以灵活满足用户的高IOPS需求,也可以按需分配存储资源,在数据库应用较少情况下节约资源,按需付费,弹性支撑数据库场景的灵活应用。

在游戏渲染领域,当前不少游戏厂商与视频创意组织乐意选择云端算力平台,在渲染工作繁忙时花费云端GPU等资源,在闲暇时可以节省资源。与此对应渲染数据存储支持上,选择高性能SSD云硬盘最为匹配。关键在于渲染应用会随着数据的增长,对存储性能要求会更高,在很大程度上,也驱使相关云存储厂商不断提升云硬盘性能,实现更优越的百万级IOPS。

很显然,要求存储越来越快,这是所有用户一直以来的普遍追求,对性能越来越苛刻的要求,主要源自新兴应用的蓬勃发展。新应用驱动新数据快速增长,包括AI训练、数据库、游戏渲染等应用对数据读写IOPS和时延要求极高。

除了AI训练、数据库、游戏渲染之外,视频创意、AR/VR、动画制作、仿真建模等领域,同样对存储性能、弹性、按需使用等方面有着刚需。

以用户需求为创新的源动力,天翼云在云硬盘上加速创新,迎来了新的发展拐点。没有最快只有更快,特别是在高性能的云硬盘技术发展上,依托自研高性能分布式存储引擎LAVA,将百万级IOPS云硬盘XSSD推向市场。

02

全面进发云存储,XSSD勇立数字化发展的潮头

事实上,在云硬盘领域,天翼云布局十分广泛,旗下拥有包括普通IO、高IO、通用型SSD、超高IO、极速型SSD以及最新推出的XSSD,总计六类产品。为了覆盖用户各种各样的需求,天翼云全面进发,以不同容量、不同性能的云硬盘来支持用户多样化需求,彰显云存储的创新优势。

针对越来越苛刻的高性能需求,天翼云一直保持着业界少有的创新节奏,特别是在闪存技术的应用上,有着多年的积累,这有助于天翼云在云硬盘上推陈出新,并不断实现新突破。

天翼云基于高性能分布式存储引擎LAVA,在主机侧采用VFIO-User架构,提供企业级NVMe SSD云硬盘,IO经过虚拟机内核后直达LAVA客户端,降低了原QEMU开源虚拟机IO处理的消耗。借助零拷贝数据传输机制,通过全自研L-RDMA协议,不仅降低通信开销,提升数据传输效率,而且缩短了全栈IO处理路径,直接带来时延上的明显优化。

不过,SSD因其自身erase-before-write特性的限制,写放大一直是件麻烦事。为此,天翼云结合日志即数据技术,通过多版本数据管理技术,解决了整个写IO流程无写放大的难题,即使遭遇上千快照也不会产生额外IO,从而很好地规避了SSD云硬盘因写操作带来的IO性能影响。

此外,还在分布式存储纠删码EC技术基础上,天翼云叠加动态路由功能,实现与多副本同级别性能,存储利用率提升50%以上。

独特的分布式引擎架构的技术虽好,但是,XSSD到底可以达到怎样的性能水平呢?总体来看,与天翼云的上一代极速型SSD、超高IO云硬盘相比,XSSD表现还是相当突出。

之前推出的超高IO云硬盘可以提供最大带宽350MBps,最低时延1ms,实现最大IOPS为3.3万。极速型SSD可以提供最大带宽750MBps,时延低于1ms,实现最大IOPS为10万。

而X系列云硬盘亮相之后,其带宽、时延、IOPS等指标均提升了2~10倍。在数据库等时延敏感场景,XSSD可以实现稳定低时延,并为用户提供媲美本地盘的高性能。目前,XSSD分为两种规格,其中面向IO密集型数据库的XSSD-1在带宽和IOPS上虽然与之前的极速型SSD旗鼓相当,但是在时延上却获得更优越的百微秒级表现,性能高且时延低才是诸多用户尤为重视的关键。

面向关键/核心数据库、内存数据库、AI和大数据应用场景的XSSD-2,在带宽、时延、IOPS三个核心表现上都获得前所未有的突破,最大带宽达到4000MBps,实现最大IOPS高达100万,而最低时延却被控制在了0.1ms,相当于比极速型SSD最低时延表现降低了10倍左右。

高性能云硬盘几乎所有公有云厂商都在提供,天翼云XSSD到底能否“闯关”成为行业翘楚,除了天翼云对外公布的具体性能情况之外,更需要业界权威机构的评测认可。

2023年,中国信通院为天翼云分布式块存储XSSD测试颁发测试证明,天翼云XSSD成为业内首家通过信通院权威认证百万IOPS,并且实现存储全国产化的云硬盘,进一步夯实了数据要素的存储基石,勇立数字化发展的潮头。

03

全新科技突破,应对苛刻应用场景的存储挑战

话又说回来了,XSSD性能虽好,可靠性到底如何呢?毕竟检验云硬盘品质的核心指标,离不开高可靠性。

从可靠性需求的早期发展来看,之前企业上云方案中不少采用物理机加本地盘的方式,虽然可以满足用户的高性能需求,但受限单台服务器存储资源的使用,因而在可靠性上难以得到有效保障,不仅无法容忍“Double Fault”双点失效,即使单点故障也同样无法容忍,与此同时存储容量无法实现弹性扩展,在满足用户应用需求增减变化上显得格格不入。

实现全新科技突破,应对苛刻应用场景对高可靠性的挑战,XSSD的表现异常突出。在高可靠性上,不仅实现高达99.9999999%的数据持久性,而且实现了99.975%的业务可用性。

实际上,拥有如此突出的高可靠性,这与天翼云在XSSD上实现技术突破,应对四大可靠性挑战有着很大关系。

针对故障快速修复的挑战,XSSD基于分布式存储引擎LAVA,采用独有的EC动态路由叠加多层数据保护技术,实现跨AZ数据高可用,减少跨AZ数据修复流量,达成快速修复故障目的。

针对存储引擎写入方式的挑战,所有数据写入XSSD都采用Append Only模式,优化写链路,规避底层数据覆盖写的难题,可追溯数据,遭遇故障读写不降级,从SSD云硬盘底层技术革新,硬碰硬增强可用性。

针对快照影响性能的挑战,XSSD采用多版本管理的快照技术,降低快照对IO性能的干扰,实现快照性能无损,目前每块云硬盘的快照数量可达千级,支持用户在数据备份与持续保护上的苛刻需求。

针对数据读写全流程的可靠性挑战,XSSD凭借全路径数据校验技术,实现端到端数据保护的DIF校验,同时支持多种DIF配置,确保读写全流程的数据一致性。

应对苛刻应用场景的存储挑战,实现高可靠性虽然必不可少,但少了弹性扩展,必然就难以满足用户实际应用需求的增减变化。

在高弹性方面,XSSD表现依然不俗。有着对天翼云在云服务弹性优势上的天然承袭,XSSD采用分布式元数据存储管理,元数据规模与性能随节点增加而线性增长,最大支撑万亿级元数据规模,满足关键业务、核心数据库、内存数据库、AI训练等典型应用对容量和性能的要求,同时通过两级集群设计,万级节点扩展能力不在话下。

此外,XSSD为用户提供按需采购付费的方式,通过预配置IOPS的订购模式,实现容量和性能的解耦,任何用户都可以按照业务发展的不同阶段情况,针对波峰或波谷按需动态配置性能。很显然,在动态性能需求场景上,XSSD支持预配置IOPS订购模式,可谓深得人心。

由此可见,从高性能、高可靠、高弹性、按需配置等多个方面硬指标出发,满足苛刻应用场景的用户需求。天翼云通过创新性设计的端到端IO路径,采用软硬件多层面技术优化,加上自研高性能分布式存储引擎LAVA的技术加持,打造出新一代高性能云硬盘XSSD,令业界眼前一亮。

更值得一提的是,助力数字中国的蓬勃发展,在全栈式国产化设计思路上,天翼云XSSD创新坚持安全可信。为了确保整个云硬盘产业链不被“卡脖子”,保障云硬盘的生态安全性,天翼云积极携手CPU、存储介质、SSD控制器、网络、操作系统、存储软件等国产厂商,联合存储全产业链的上下游合作伙伴,充分发挥国产技术的创新优势,互为开放,广泛兼容,借助存储软件在系统层面扬长避短,实现XSSD整体能力达到业界领先水平。

不过,全球存储观察认为,基于分布式存储引擎LAVA的XSSD系列云硬盘推出,只是天翼云挺进云存储的一个新开始,下一步将会有更多基于完全自研的云硬盘新品出现,实现云硬盘在技术上的更多新突破,满足更多苛刻应用场景的新需求,让我们拭目以待。(by Aming)

- END-

欢迎文末评论补充!

【全球存储观察|全球云观察 |阿明观察 |科技明说】专注科技公司分析,用数据说话,带你看懂科技。本文和作者回复仅代表个人观点,不构成任何投资建议。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/217220.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Leetcode—2961.双模幂运算【中等】

2023每日刷题&#xff08;五十六&#xff09; Leetcode—2961.双模幂运算 实现代码 class Solution { public:int func(int a, int b) {int ans 1;for(int i 0; i < b; i) {ans * a;ans % 10;}return ans;}int func2(int a, int b, int m) {int ans 1;for(int i 0; i …

【十】python复合模式

10.1 复合模式简介 在前面的栏目中我们了解了各种设计模式。正如我们所看到的&#xff0c;设计模式可分为三大类:结构型、创建型和行为型设计模式。同时&#xff0c;我们还给出了每种类型的相应示例。然而&#xff0c;在软件实现中&#xff0c;模式并是不孤立地工作的。对于所…

Linux,Web网站服务(一)

1.准备工作 为了避免发生端口冲突&#xff0c;程序冲突等现象&#xff0c;建议卸载使用RPM方式安装的httpd [rootnode01 ~]# rpm -e http --nodeps 挂载光盘到/mnt目录 [rootnode01 ~]# mount /dev/cdrom /mnt Apache的配置及运行需要apr.pcre等软件包的支持&#xff0c;因此…

事务隔离级别:保障数据库并发事务的一致性与性能

目录 引言 1. 事务隔离级别概述 2. 读未提交隔离级别 3. 读已提交隔离级别 4. 可重复读隔离级别 5. 串行化隔离级别 6. 保障事务隔离级别的机制 7. 如何选择合适的隔离级别 8. 结语 引言 在数据库管理系统&#xff08;DBMS&#xff09;中&#xff0c;事务隔离级别是一…

智能指针管理“newed对象”

为什么要有智能指针&#xff1f; 指针智能是管理管理动态内存分配对象的一种机制。它提供了自动管理内存&#xff0c;避免常见内存泄漏和悬空指针。 对于上述Func函数的操作&#xff0c;一不小心就会产生很多问题。 p1 new时候抛异常 什么都不做p2 new时候抛异常 p1需要被清理…

ffmpeg6.0之ffprobe.c源码分析二-核心功能源码分析

本篇我们继续分析: 1、ffprobe -show_packets 参数的处理流程;2、ffprobe -show_frames 参数的处理流程;3、ffprobe -show_streams 参数的处理流程;4、ffprobe -show_format 参数的处理流程; 因为前面的文章已经回顾了这些命令的使用,以及作用。本文就不在赘述,以免篇幅…

Python—KNN分类算法

原文: https://zhuanlan.zhihu.com/p/143092725 1. 概述 KNN 可以说是最简单的分类算法之一&#xff0c;同时&#xff0c;它也是最常用的分类算法之一。注意&#xff1a;KNN 算法是有监督学习中的分类算法&#xff0c;它看起来和另一个机器学习算法 K-means 有点像&#xff0…

HPM5300系列--第二篇 Visual Studio Code开发环境以及多种调试器调试模式

一、目的 在博文《HPM5300系列--第一篇 命令行开发调试环境搭建》、《HPM6750系列--第四篇 搭建Visual Studio Code开发调试环境》中我们介绍了命令行方式开发环境&#xff0c;也介绍了HPM6750evkmini开发板如何使用Visual Studio Code进行开发调试&#xff08;其中调试方式使用…

ASF-YOLO开源 | SSFF融合+TPE编码+CPAM注意力,精度提升!

目录 摘要 1 Introduction 2 Related work 2.1 Cell instance segmentation 2.2 Improved YOLO for instance segmentation 3 The proposed ASF-YOLO model 3.1 Overall architecture 3.2 Scale sequence feature fusion module 3.3 Triple feature encoding module …

3小时快速入门自动化测试 —— Selenium测试工具

自动化测试 自动化测试简单来说就是利用自动化测试工具和自动化测试脚本来完成指定的测试任务&#xff0c;测试启动过程无需人工参与&#xff0c;但自动化测试之前的准备工作需要人工手动配置好。它是一种将重复性、繁琐的测试任务交给计算机自动执行的方法&#xff0c;能够显…

VUE中如果让全局组件在某一页面不显示

目录 前言 方法一 1.在全局组件中添加一个变量用于控制显示与隐藏。 2.在全局组件的模板中使用 v-if 条件来决定是否显示该组件 3.在不需要显示全局组件的页面中&#xff0c;修改 showGlobalComponent 变量的值为 false&#xff0c;以隐藏全局组件。 4.在需要隐藏全局组…

21、状态模式(State Pattern)

状态模式指给对象定义不同的状态&#xff0c;并为不同的状态定义不同的行为&#xff0c;在对象的状态发生变换时自动切换状态的行为。 状态模式是一种对象行为型模式&#xff0c;它将对象的不同行为封装到不同的状态中&#xff0c;遵循了“单一职责”原则。同时&#xff0c;状…

Linux概述

文章目录 LinuxLinux可以做什么Linux概述Linux的发行版Linux和Windows的区别 Linux Linux可以做什么 谁可以学习&#xff1a; 所有程序员大数据工程师运维工程师 Linux概述 Linux是一个操作系统&#xff08;OS&#xff09;&#xff0c;我们比较熟悉的操作系统有Windows、苹…

智能冶钢厂环境监控与设备控制系统(边缘物联网网关)

目录 1、项目背景 2、项目功能介绍 3、模块框架 3.1 架构框图 3.2 架构介绍 4、系统组成与工作原理 4.1 数据采集 4.2 指令控制 4.3 其他模块 4.3.1 网页、qt视频流 4.3.2 qt搜索进程 5、成果呈现 6、问题解决 7、项目总结 1、项目背景 这个项目的背景是钢铁行业的…

ES分词查询

全文检索介绍 全文检索的发展过程&#xff1a; 数据库使用SQL语句&#xff1a;select * from table where data like “%检索内容%”出现lucene全文检索工具&#xff08;缺点&#xff1a;暴露的接口相对复杂&#xff0c;且没有效率&#xff09;出现分布式检索服务框架solr&am…

Qt之Ui样式表不影响子类的配置

Qt之Ui样式表不影响子类的配置 问题 在ui界面上布局时&#xff0c;当对容器进行样试设计时&#xff0c;会对容器内其它成员对象也进行了修改 分析 对应*.ui文件内容 从这个写法来看&#xff0c;它的样式属性会影响其成员对象样式属性。 解决方法 在容器的样式表中写时适…

C语言之文件操作

目录 一、文件是什么 1.1 程序文件 1.2 数据文件 1.3 文件名 二、文件的作用 三、二进制文件和文本文件 四、文件的打开和关闭 4.1 流和标准流 &#xff08;1&#xff09;流 &#xff08;2&#xff09;标准流 4.2 文件指针 4.3 文件的打开和关闭 &#xff08;1&a…

LinuxC中进程通信

LinuxC中进程通信 信号&#xff08;Signals&#xff09;&#xff1a;Linux 提供了信号机制&#xff0c;允许一个进程向另一个进程发送信号以通知特定事件的发生。这是一种轻量级的通信机制&#xff0c;通常用于处理异步事件。您可以使用 kill 命令或 kill 函数来发送信号&…

CleanMyMac2024绿色免费激活码序列号

2024CleanMyMac免费mac下载版是一款简单实用的PC清洁管理工具&#xff0c;电脑刚装完系统的时候运行速度超级快&#xff0c;随着时间的推移&#xff0c;你会发现越来越慢&#xff0c;经常会反应卡顿&#xff0c;越来越多的垃圾文件占用了你的磁盘空间&#xff0c;各种过时的日志…

EM的理论基础

1 EM定义​ 电迁移(Electro-Migration)是指在外加电场下,电子和金属原子之间的动量转移导致材料的运动。这种动量传递导致金属原子(比如Cu原子)从其原始位置移位,如图7-1。这种效应随着导线中电流密度的增加而增加,并且在更高的温度下,动量传递变得更加严重。因此,在先…