火热的大模型AIGC对数据中心存储趋势有什么影响?

随着人工智能和大数据技术的不断发展,业内AIGC(人工智能、图形处理和云计算)和大模型的发展趋势正在对数据中心存储发展方向产生深远的影响,主要集中对数据量和高性能计算的诉求。

大模型的普及要求数据中心存储具备更大的容量。大模型需要大量的计算资源和存储空间,因此,数据中心需要使用更大的存储系统来满足这些需求。同时,存储系统的可扩展性也非常重要,以便在需要时增加存储容量。随着AIGC应用的不断扩大,数据中心需要处理的数据量也在不断增长。因此,数据中心需要采用更高效、更可靠的存储方案来满足不断增长的数据需求。

根据IDC的预测,2025年的数据将达到175ZB。这将是一个非常庞大的数据量。这个数据量到底有多大呢?举个可以感知到的栗子,如果把这些数据全部存在DVD光盘上,那么这些DVD堆起来的高度将可以绕地球222圈。如果当前的网速水平,全部下载下来也许要18亿年。

产生的这些巨量数据,存储的归宿在哪里呢?随着发展趋势,个人本地存储的需求越来越小,公有云的数据存储量将会有迅速的攀升。

存储数据的介质,也更加多元化。包括磁带、光盘、非易失性存储、固态硬盘SSD,机械硬盘等。其中,在2025年,数据存储市场,HDD机械硬盘依然占据50%左右的份额。同时,磁带和固态硬盘的存储需求也在逐步的攀升。

SSD领域,QLC SSD是提升容量的先锋。根据有关数据统计,目前SSD出货的DWPD小于1的占比达到85%,这几年一直维持在85%-86%,后续可能会继续扩大占比。也就是说,这个市场上的对SSD的寿命的诉求并不是很强烈,不需要DWPD很高的SSD。这也侧面说明了,行业内对已不再完全SSD硬件本身的特性来达到整个系统的可靠性。分布式存储,全闪存阵列,各种针对SSD优化的存储软件系统也是遍地开花。这个也给了QLC SSD大规模普及提供了有力的条件。

SLC的Program/Erase(P/E) Cycle可以达到10万,MLC P/E cycle可以到1万,到TLC 3000次P/E cycle,再到QLC NAND只有1000 P/E cycle。P/E cycle是表征SSD寿命的最重要的参数。

我们可以看到,随着单个cell含有的bit数越多,NAND的可靠性也会有所降低,自然成本也会继续下降,QLC的成本只有SLC成本的1/4。除了寿命可靠性,QLC处于劣势,还有在性能方面也有所降低,如下图,QLC NAND单个page页的写延迟是SLC的8倍,是TLC的2倍,读延迟是SLC的4倍,是TLC的约1.3倍。

HDD领域:为了提升容量,出现叠瓦式机械硬盘SMR。SMR的技术核心就是把传统PMR整齐排练的磁道,转换成类似房顶瓦片层叠的方式,目的是增加存储密度,降低硬件成本TCO。

同时,针对HDD容量提升,业内也在大力推广HAMR和MAMR技术。HAMR:全称,Heat Assisted Magnetic Recording,是一种热辅助磁记录技术。HAMR 采用了一种新型的介质磁技术,数据颗粒位的占用空间会更小,密度也会相应增加,从而达到提升容量的目的,同时保持磁稳定和热稳定。

MAMR:全称Microwave Assisted Magnetic Recording,是一种微波辅助磁记录技术。MAMR技术的原理是通过自旋力矩震荡器(STO)产生的微波场,进而提供能量辅助完成磁记录。

磁带目前也是提升存储容量的优选方案。LTO磁带已经远远超过机械硬盘的容量了,目前拥有HAMR/MAMR新技术加持的HDD最大容量也只有30TB。在LTO Gen5以及之前的LTO代次,实现的压缩比主要是2:1, 在Gen6以后的压缩比已经达到2.5:1. LTO Ultrium目前已经设计了Gen14,单个磁带盒最大压缩数据可以存储1.44PB,数据存储量实在恐怖。

其次是高性能计算的需求:AIGC应用通常需要高性能计算,这意味着数据中心需要使用更快、更稳定的存储硬件来支持这些应用。SSD(固态硬盘)是当前最流行的高性能存储硬件之一,因为它具有更快的读写速度和更低的延迟。

为了追求高性能,PCIE SSD是数据中心的高性能标配,PCIE SSD在数据中心的占比还在继续攀升。

pcie协议5.0还没完全普及,pcie 6.0 spec已经发布,pcie 7.0 spec也在路上了,这个世界都在狂奔。

NAND ONFI接口速率也提升至了3600MT/s.

此外,还有一个为高性能而生的一种新型的存储器架构-计算存储。计算存储的核心思想是将一些计算任务迁移到存储器中,从而减少数据在存储器和处理器之间的传输。这样一来,不仅可以减少数据传输的能耗,还可以提高处理器的利用率,从而提高整个系统的性能和能效。

计算存储的优点有很多,其中最显著的是提高数据处理效率。在传统的存储系统中,处理器需要从存储器中读取数据,然后在处理器中进行计算。这个过程不仅慢,而且会增加系统的能耗。而计算存储可以将一些计算任务直接在存储器中完成,从而减少数据传输的时间和能耗。

另一个优点是减少数据访问延迟。在传统的存储系统中,数据访问需要经过多个环节,比如寻道、旋转延迟等。这些环节都会增加数据访问的延迟。而计算存储可以将计算和存储集成在一起,从而减少数据访问的环节,进而降低访问延迟。

比如,ScaleFlux CSD 2000是一种计算存储驱动器,它采用透明压缩技术,可以在不牺牲性能的情况下提高OP并延长NAND的使用寿命。据该公司称,这可以有效地将容量翻两番,性能翻番 。CSD 2000的数据路径压缩/解压缩引擎可以更有效地储存更多的数据,同时保持一定的性能表现,即使是在不同的读写混合状况下也能保持稳定的低延迟。

三星SmartSSD是在SSD中整合数据管理功能,集成了一颗ARM内核的处理器,可以直接处理数据的硬件。它可以在数据的存放处就近进行高速计算,从而提高数据处理速度和效率。SmartSSD内置FPGA,支持在数据的存放处就近进行高速计算,从而提高数据处理速度和效率,可为视频处理、数据库管理和人工智能等多种应用场景提供加速。

除了上面的大容量和高性能诉求,对存储的诉求还有数据的可靠性和安全性。在AIGC应用中,数据的可靠性和安全性非常重要。因此,数据中心需要采用高可靠性和安全性的存储解决方案。AIGC应用通常需要灵活和可扩展的存储解决方案,以便快速适应不同的工作负载和需求。

总之,AIGC和大模型的发展趋势对数据中心存储发展方向产生了重大影响。数据中心需要使用SSD、HDD等存储硬件,同时结合新型存储技术,如云存储、分布式存储和对象存储等,来满足更高的性能、更大的容量和更低的成本需求。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/112612.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

基于Googlenet深度学习网络的螺丝瑕疵检测matlab仿真

目录 1.算法运行效果图预览 2.算法运行软件版本 3.部分核心程序 4.算法理论概述 5.算法完整程序工程 1.算法运行效果图预览 2.算法运行软件版本 matlab2022a 3.部分核心程序 ....................................................................................% 获…

踏进字节的那一瞬间,我泪目了,这457天的外包经历值了....

一年半吗?我只记得437个日日夜夜 没有绝对的天才,只有持续不断的付出。对于我们每一个平凡人来说,改变命运只能依靠努力幸运,但如果你不够幸运,那就只能拉高努力的占比。 2021年8月,我有幸成为了字节跳动…

C语言面向对象的编程思想

面向对象编程 面向对象编程Object-Oriented Programming,OOP) 作为一种新方法,其本质是以建立模型体现出来的抽象思维过程和面向对象的方法。模型是用来反映现实世界中事物特征的。任何一个模型都不可能反映客观事物的一切具体特征&#xff0…

MVC OR DDD

MVC OR DDD 说明:这篇是标题党,不包含相关概念说明 前段时间跟随师兄学习了解了DDD领域驱动模型,觉得这个思想更好,进行下面解析和学习方面的思考和实践,觉得很好,耐心读下去。希望对您有所帮助。 首先&am…

基于ADAU1452 DSP ANC和AEC算法的实现

是否需要申请加入数字音频系统研究开发交流答疑群(课题组)?加我微信hezkz17, 本群提供音频技术答疑服务,+群附加赠送,DSP音频项目核心开发资料, 1 使用Sigma中的NLMS算法模块 对应C源代码:

JavaSE 集合框架及背后的数据结构

目录 1 介绍2 学习的意义2.1 Java 集合框架的优点及作用2.2 笔试及面试题 3 接口 interfaces3.1 基本关系说明3.2 Collection 常用方法说明3.3 Collection 示例3.4 Map 常用方法说明3.5 Map 示例 4 实现 classes5 Java数据结构知识体系5.1 目标5.2 知识点 1 介绍 集合&#xf…

如何自己实现一个丝滑的流程图绘制工具(七)bpmn-js 批量删除、复制节点

背景 希望实现批量删除和复制节点,因为bpmn-js是canvas画的,所以不能像平时页面上的复制一样直接选择范围,会变成移动画布。 思路是: 绘制一个选择的效果框,这样才可以看出来选的节点有哪些。 上面的选中范围框效果…

K8S最新版本集群部署(v1.28) + 容器引擎Docker部署(下)

温故知新 📚第三章 Kubernetes各组件部署📗安装kubectl(可直接跳转到安装kubeadm章节,直接全部安装了)📕下载kubectl安装包📕执行kubectl安装📕验证kubectl 📗安装kubead…

Go死码消除

概念: 死码消除(dead code elimination, DCE) 是一种编译器优化技术, 作用是在编译阶段去掉对程序运行结果没有任何影响的代码 和 逃逸分析[1],内联优化[2]并称为 Go编译器执行的三个重要优化 效果: 对于 const.go代码如下: package mainimport "fmt"func max(a, b i…

wireshark过滤器的使用

目录 wiresharkwireshark的基本使用wireshark过滤器的区别 抓包案例 wireshark wireshark的基本使用 抓包采用 wireshark,提取特征时,要对 session 进行过滤,找到关键的stream,这里总结了 wireshark 过滤的基本语法,…

芯科科技宣布推出下一代暨第三代无线开发平台,打造更智能、更高效的物联网

第三代平台中的人工智能/机器学习引擎可将性能提升100倍以上 Simplicity Studio 6软件开发工具包通过新的开发环境将开发人员带向第三代平台 中国,北京 - 2023年8月22日 – 致力于以安全、智能无线连接技术,建立更互联世界的全球领导厂商Silicon Labs&…

java定位问题工具

一、使用 JDK 自带工具查看 JVM 情况 在我的机器上运行 ls 命令,可以看到 JDK 8 提供了非常多的工具或程序: 接下来,我会与你介绍些常用的监控工具。你也可以先通过下面这张图了解下各种工具的基本作用: 为了测试这些工具&#x…

从LeakCanary看内存快照解析

在从LeakCanary看内存快照生成一节中,我们已经了解了hprof的生成,并且将生成的hprof文件通过Android Studio进行解析,确实发现了内存泄漏对象MainActivity,但是在实际开发中,要求开发者自己去手动pull hprof文件进行解…

5.基于多能互补的热电联供型微网优化运行

MATLAB代码链接:基于多能互补的热电联供型微网优化运行 MATLAB代码:基于多能互补的热电联供型微网优化运行 关键词:多能互补 综合需求响应 热电联产 微网 优化调度 参考文档:《基于多能互补的热电联供型微网优化运行》基本完全…

链表(详解)

一、链表 1.1、什么是链表 1、链表是物理存储单元上非连续的、非顺序的存储结构,数据元素的逻辑顺序是通过链表的指针地址实现,有一系列结点(地址)组成,结点可动态的生成。 2、结点包括两个部分:&#x…

OLED透明屏显示技术:未来显示科技的领航者

OLED透明屏显示技术是一种创新性的显示技术,它的特殊性质使其成为未来显示科技的领航者。 OLED透明屏具有高对比度、快速响应时间、广视角和低功耗等优势,同时,其透明度、柔性和薄型设计使其成为创新设计的理想选择。 本文将深入探讨OLED透…

NSS [NUSTCTF 2022 新生赛]Ezjava1

NSS [NUSTCTF 2022 新生赛]Ezjava1 题目描述:你能获取flag{1}吗 开题,一眼java web中的index.jsp。 默认index.jsp中的body内容是$END$ 附件jar包导入IDEA,会自动反编译。看看源码。 附件结构大致如此。主要看classes.com.joe1sn中的代码就…

MyBatisx代码生成

MyBatisx代码生成 1.创建数据库表 CREATE TABLE sys_good (good_id int(11) NOT NULL,good_name varchar(255) COLLATE utf8mb4_general_ci DEFAULT NULL,good_desc varchar(255) COLLATE utf8mb4_general_ci DEFAULT NULL,PRIMARY KEY (good_id) ) ENGINEInnoDB DEFAULT CHA…

【C++设计模式】用动画片《少年骇客》(Ben10)来解释策略模式

2023年8月25日,周五上午 今天上午学习设计模式中的策略模式时,发现这个有点像很多卡通片里面的变身器... 2023年8月26日,周六上午 更新:和简单工厂模式结合 目录 用策略模式写主角的变身器 使用策略模式的好处和简单工厂模式结…

手写实现call() apply() bind()函数,附有详细注释,包含this指向、arguments讲解

手写实现call() apply() bind()函数是很经典的问题,但是能掰扯清楚的文章确实不算多,于是笔者才决定写下本文,希望能给读者带来一些启发,如有错误欢迎指正。 目录 补充知识 函数中的this指向 类数组对象arguments call() 原理…