Kioxia的NVMe RAID卸载有何亮点?

图片

随着每一代固态硬盘SSD的速度不断提升,RAID阵列面临着一个重大的挑战:如何有效地维持并扩展性能。即使是通过专门的RAID卡来处理RAID操作的情况下,例如在RAID 5阵列中,简单的写请求也需要涉及两次读取和两次写入不同的SSD。如果没有硬件加速,来自读取操作的数据需要返回到CPU和主内存进行进一步处理,然后才能执行写操作。

图片

RAID 5:
将数据和相对应的奇偶校验信息分别存储在不同的硬盘上,奇偶校验信息占一个硬盘的空间,允许损坏一个硬盘。当一个硬盘损坏时,可以根据剩余的数据和相对应的奇偶校验信息计算出损坏的数据,恢复数据时性能会受到较大的影响。RAID 5写性能偏低,尤其是随机写性能,建议在读写不太频繁的场景上使用,如:用作数据备份。

图片

Kioxia提出了利用PCIe直接内存访问(DMA)功能和SSD控制器的控制器内存缓冲区(CMB)来避免数据移动至CPU再返回的过程。所需的奇偶校验计算是由SSD控制器内的加速器块完成的。

扩展阅读:

  • PCIe P2P DMA全景解读

  • 浅析CXL P2P DMA加速数据传输的原理

自2014年以来,CMB被纳入到NVMe 1.2标准中,其目的是减少主机和设备之间的数据移动。CMB是控制器内部的一块专用内存,通过PCIe总线访问。当CPU需要访问存储设备的数据时,它可以通过内存读写事务层封装(MRd或MRw)直接访问CMB,而不需要将整个数据块传输到主机内存。

图片

由于主机CPU无法像访问DDR内存那样高效地访问CMB,因此CMB通常被用作PCIe设备之间块数据传输的DMA(直接内存访问)缓冲区。这种方式减少了数据在主机和设备之间来回移动的次数,从而提高了数据传输效率。尽管CMB提供了一种优化数据移动的方法,但它仍然存在一些限制。例如,由于主机CPU访问CMB的效率低于DDR内存,且CMB的大小有限,因此对于需要频繁、大量数据交换的应用场景,CMB可能无法提供最佳的性能。 

Kioxia的PoC(概念验证)实现中,DMA引擎可以访问整个主机地址空间(包括同条带SSD的BAR映射CMB),这样它就能够从相邻的SSD接收和传输所需的数据。过使用CMB,可以避免数据移动到CPU和主内存,从而减少CPU和系统DRAM的使用。奇偶校验计算由位于SSD控制器内部的加速器块完成,这减少了对主机CPU周期的占用。

图片

Kioxia的PoC实现显示,与软件RAID相比,CPU利用率降低了近50%。系统DRAM的利用率减少了超过90%。卸载方案还可以处理奇偶校验检查操作,无需占用主机CPU周期来进行奇偶校验计算任务。

在企业级SSD中,这种新型的RAID卸载方法可以显著提高RAID阵列的整体性能,特别是在需要大量读写操作的工作负载下。对于需要处理大量数据和频繁读写操作的数据中心来说,这种技术可以有效降低CPU负担,提高整体效率。对于高性能计算应用,这种方法可以减少数据传输延迟,提高计算密集型任务的处理速度。

此外,Kioxia已经开始向NVM Express工作小组贡献这些特性。如果获得接受,这项提议的卸载方案将成为一项标准,可能被多个SSD厂商广泛采用。

为了实现大规模的企业级支持,需要解决良好的互操作性问题。这意味着不仅要跨越不同的厂商,还需要在不同型号和固件之间兼容。关于如何安全地进行重建、扩展或收缩RAID阵列的具体细节还需要进一步披露。

硬件RAID在过去曾被视为一种依赖硬件厂商的技术,因此它的地位有所下降。相反,像ZFS这样的软件定义解决方案因为强调数据完整性而受到了欢迎。考虑到ZFS在写入数据之前先进行奇偶校验计算的特点,Kioxia的新技术可能与ZFS的算法不兼容,至少需要进行大量的修改。

扩展阅读:

  • ZNS SSD+F2FS文件系统|如何降低GC开销?

  • 为什么QLC NAND才是ZNS SSD最大的赢家?

  • 字节跳动ZNS SSD应用案例解析

  • NVMe SSD:ZNS与FDP对决,你选谁?

ZNS SSD的原理是把namespace空间划分多个zone空间,zone空间内部执行顺序读写。在ZNS的场景下,不同应用按照Zone配置信息,相应存放业务数据。由于是Host管理数据的摆放和存取位置,会最大程度减少GC垃圾回收。降低SSD内部的写放大,提升SSD的寿命。

图片


如果您看完有所受益,欢迎点击文章底部左下角“关注”并点击“分享”、“在看”,非常感谢!

精彩推荐:

  • ZNS SSD是不是持久缓存的理想选择?

  • FMS 2024:多家厂商CXL技术方案总览

  • FMS 2024: 带来哪些存储技术亮点?

  • IEEE报告解读:存储技术发展趋势分析

  • 什么?陶瓷也可以用来存储数据了?

  • 都说固态硬盘寿命短,那么谁把使用寿命用完了吗?

  • 内存原生CRAM技术将会颠覆计算存储的未来?

  • 浅析SSD性能与NAND速率的关联

  • MCR DIMM如何解决内存带宽瓶颈?

  • 浅析MPS对PCIe系统稳定性的影响

  • DPU:值不值得托付下一代存储加速架构?

  • 论文解读|数据中心内存RAS技术全景剖析

  • 属于PCIe 7.0的那道光来了~

  • SSD基础架构与NAND IO并发问题探讨

  • 字节跳动ZNS SSD应用案例解析

  • CXL崛起:2024启航,2025年开启新时代

  • NVMe SSD:ZNS与FDP对决,你选谁?

  • 浅析PCI配置空间

  • 浅析PCIe系统性能

  • 存储随笔《NVMe专题》大合集及PDF版正式发布!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/417566.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

《深度学习》OpenCV 图像轮廓检测、轮廓处理及代码演示

目录 一、图像轮廓检测 1、边缘检测和轮廓检测 2、常用的图像轮廓检测方法包括: 1)基于梯度的方法 2)基于边缘检测器的方法 3)基于阈值的方法 3、查找轮廓的函数 4、轮廓的绘制 5、轮廓特征 1)轮廓面积 2&a…

Linux远程管理工具推荐

原文阅读:【巨人肩膀社区专栏分享】Linux远程管理工具推荐 前两天xshell不让用了,刚好一台新电脑要装一个远程连接工具,准备试试其他。网上找了一些资料整理如下。 欢迎各位看官评论区说出你在使用的工具,期待你的使用经验分享(…

亲笔签支撑重庆市实现“军人退役一件事”,助力退伍老兵再启新程

9月,又到退伍季。重庆市退役军人事务局积极推动,联合公安、人社、医保等部门,将退役军人返乡需要办理的退役报到、户口登记、预备役登记、身份证办理、医疗保险、养老保险、一次性经济补助金等12项分散在5个部门的服务事项,集成到…

可交互、会学习、自成长机器人——李德毅院士

在以“农业无人农场”为主题的中国工程科技论坛上,中国工程院院士、欧亚科学院院士、中国人工智能学会和中国指挥与控制学会名誉理事长,中科原动力首席科学家李德毅院士应邀做题为《机器具身交互智能》的演讲。李德毅院士表示,智能机器不但把…

最新HTML5中的视频和音频讲解

第6章 HTML5中的视频和音频 H5新增video,audio,播放视频和音频,统称为多媒体元素。 6.1 多媒体元素基本属性 video用于电影文件和其他视频流的播放。 audio用于音乐文件和其他音频流的播放。 video的属性 src:文件路径,本地或者网络上。…

搭建大模型知识库流程,以及基于langchain实现大模型知识库案例

“ RAG检索增强生成是为了解决大模型知识不足的问题 ” 大模型主要面临三个问题: 垂直领域内的知识不足‍‍‍‍‍ 大模型知识有时间限制‍ 大模型幻觉问题 第一个问题产生的原因是因为,没有经过垂直领域数据训练的大模型普遍表现不好;其…

2024年全国大学生数学建模比赛思路、题目、代码

竞赛时间及参赛建议 竞赛开始时间:北京时间2024年9月5日18:00 竞赛结束时间:北京时间2024年9月8日20:00 关于今年每道题的思路,可以关注我gzh回复”国赛A/B/C/D/E题“获取 需要帮助的可以关注公众号,在功能栏点击联系我们&…

java发送邮箱如何实现?如何配置Java发信?

java发送邮箱功能怎么集成?Java发送邮件的几种方式? 无论是用于用户注册验证、密码重置,还是营销邮件的发送,"Java发送邮箱"都是一个不可忽视的技术点。那么,如何在Java应用中实现邮件发送呢?Ao…

2025入局自动驾驶的秋招人,应该瞄准哪些技术方向?

2024年已过大半,9月随着开学季的来临,2025届的毕业生也纷纷踏出了秋招的第一步。 无论是在学生期间就深耕许久智驾技术、还是从其他赛道转战至智驾,自2023年末一直到今年上半年来,都一直国内智驾行业层出不穷的各种破圈动态刷屏。…

极市开发平台yolov8训练无人机数据集样例数据流程

先进入vscode,进入src_repo文件夹。 第一步,克隆一个比较好的博主的库: GitHub - Incalos/YOLO-Datasets-And-Training-Methods: This project involves making custom datasets for the YOLO series and model training methods for YOLO.…

基于Qt设计的人脸课堂考勤机系统(219)

文章目录 一、前言1.1 项目介绍【1】开发背景【2】项目实现的功能1.2 设计思路【1】系统架构设计【2】流程设计【3】关键技术实现【2】整体构架1.3 项目开发背景【1】选题的意义【2】可行性分析【3】参考文献【4】摘要【5】项目背景1.4 开发工具的选择1.5 系统框架图1.6 系统功…

网站开发:HTML + CSS - CSS选择器

1. 前言 CSS(Cascading Style Sheets,层叠样式表)是一种用于控制 HTML 文档样式和布局的语言。它为 Web 页面提供了许多功能,使开发者能够创建美观且功能丰富的用户界面。 提供了丰富的功能来控制网页的外观和布局,增…

使用Python进行数据可视化:让你的数据“活”起来

哈喽,大家好,我是木头左! 安装与导入 要使用Matplotlib,首先需要安装。可以使用pip进行安装: pip install matplotlib安装完成后,可以在Python代码中导入Matplotlib库: import matplotlib.py…

ACL22--基于CLIP的非代表性新闻图像的多模态检测

摘要 这项研究调查了假新闻如何使用新闻文章的缩略图,重点关注新闻文章的缩略图是否正确代表了新闻内容。在社交媒体环境中,如果一篇新闻文章与一个不相关的缩略图一起分享,可能会误导读者对问题产生错误的印象,尤其是用户不太可…

027、架构_资源_GTM

系统级GTM:默认的GTM,当创建分片集群时,如果不创建实例级GTM,则会用系统级GTM 本章节主要介绍GTM 集群的新增、删除、配置、绑定等管理操作。 新增GTM集群 摘要新增GTM集群,与租户相绑定,可查看绑定租户与配置集群参数设置,租户可重绑定其他正常可用的GTM集群。 步骤1.…

62、Python之函数高级:装饰器导致函数元数据丢失?三种方法搞定

引言 前面我们通过几篇文章介绍了关于高阶函数中装饰器的内容,我们已经能够实现对函数的动态增强,在遵从开闭原则的基础上,动态提高代码的可复用性。如果对装饰器的基础不太了解,可以回看前面几篇文章。 装饰器的引入带了极大的…

打包macos应用到dmg文件

打包macos应用到dmg文件 由于macos自带的看图软件太麻烦了,还受到沙箱的限制,访问本地文件各种询问,最主要的是不能打开一个图片之后不能直接查看同文件夹下的其他图片,感觉还是挺麻烦的。想看其他图片的时候还要全选才行。 而且…

某云彩SRM2.0任意文件下载漏洞

文章目录 免责申明搜索语法漏洞描述漏洞复现修复建议 免责申明 本文章仅供学习与交流,请勿用于非法用途,均由使用者本人负责,文章作者不为此承担任何责任 搜索语法 fofa icon_hash"1665918155"漏洞描述 某云采 SRM2.0是一款先…

mysql的整理

插入数据: INSERT INTO 表名 (字段名1, 字段名2, ...) VALUES (值1, 值2, ...); insert into employee(id,workno,name,gender,age,idcard,entrydate) values(1,1,Itcast,男,-1,123456789012345678,2000-01-01); insert into employee values(3,3,韦一笑,男,38,1…

11 Java 方法引用、异常处理、Java接口之函数式编程(接口知识补充Function<T,R>、BiFunction<T, U, R>和自定义泛型接口)

文章目录 前言一、Java接口之函数式编程 --- 接口知识补充1 Function<T,R>泛型接口2 BiFunction<T, U, R>泛型接口3 自定义泛型函数式编程接口4 使用lambda表达式、方法引用进行函数式编程二、方法引用1 方法引用初体验(以Array.sort()方法为例)(1)什么是方法引…