以软件定义存储实现存力与算力的协同,应对 AI 时代数据挑战

本文根据 XSKY 星辰天合高级副总裁张旭明在“算力与前沿技术创新发展论坛”上的演讲内容整理,略有删节。

算力与前沿技术创新发展论坛以“算力创新跃迁 赋能数字经济”为主题,8 月 17 日在汕头召开,该论坛由工业和信息化部、广东省人民政府主办,赛迪传媒、赛迪智库信息化与软件产业研究所、《软件和集成电路》杂志、大数据产业生态联盟执行,是 2023 中国数字经济创新发展大会的重要组成部分。

0f7dc8741d7d0b360f9bac1224d6b6a3.jpeg

星辰天合高级副总裁张旭明在论坛上发表主题演讲


这半年以来,跟人工智能相关最火热的概念就是大模型,他们固然对 GPU 算力有着非常突出的需求,但是在另外一个维度来说,也对存储有着不一样的需求,需要在数据中心层面实现算力与存力的协同

人工智能应用,尤其是在大模型领域,在数据层面有着几个显著的特点。其一是参数规模特别大,其二是数据来源非常广泛,这造成了非常大的数据量,因此他们在存储层面,主要有着三方面的需求:

  • 便利的数据汇聚与共享,如何将所需海量数据进行有效的保存,并且汇聚到一个中心,以便进行处理,然后将其分享出去,这是一个很高的门槛;

  • 存储需要足够的高扩展性和高性能,毕竟,对于 AI 训练而言,时间和效率,是非常重要的;

  • 在保证性能的前提下,解决方案需要具备足够好的性价比,否则无法真正实现大规模商用。


三种 SDS 产品

应对 AI 数据存储需求


星辰天合的众多客户基本上会采用三款产品来解决其 AI 数据存储的需求,以对象存储来承接海量的数据、以高性能文件存储来做模型训练,同时将相关的业务软件运行在我们的计算产品之上

这也是星辰天合在 AI 领域的通用解决方案,该解决方案接入 AI 模型训练的完整数据流程,从数据收集、数据治理到训练评估,一直到数据归档,星辰天合都可以提供相应的数据存储服务

除此之外,星辰天合还可以提供众多数据管理的功能。比如说,

  • 通过数据迁移的方式,我们可以帮助客户从各个数据源端把数据汇聚到了我们的对象存储上;

  • 在数据完成提取、抽取、清洗等步骤之后,人工智能对存储的需求就会变成高性能,毕竟,存储性能太低,就会让上层的 GPU 等待时间过长,在这个阶段,我们提供高性能文件存储协议去支持,同时也支持 AI 框架的各类生态

  • 在后一个阶段,我们可以提供数据归档、复制在内的相关数据流动功能,将计算的结果数据进行长期保存。


从高校、自动驾驶到先进制造

SDS 服务各行 AI 应用


在高校领域,由于资金有限,高校进行相关 AI 应用探索时,会格外注意成本问题。在某高校,他们希望解决两个问题,第一是利旧原有的硬件,第二是解决写性能不足的问题。这两点,正好都是软件定义存储所能够体现的价值

83746f370f2a0bf3d1b65a7067717794.jpeg

星辰天合高级副总裁张旭明分享 SDS 在 AI 领域应用案例


一方面,星辰天合的软件定义存储产品可以整合原有的硬件存储节点,将其形成一个高质量有效的存储资源;另外一方面,星辰天合的产品能够提供一个目录预取,存储产品可以感知业务需要的数据。在很多 AI 训练时会一次性读取一个训练集的数据,如果存储产品能够感知相关业务需求,相关后续的训练就会更加高效

在自动驾驶领域,自动驾驶的汽车上面载有激光雷达和摄像头,在路面运行时,会将所有的路测数据收集回来供后续研发使用。这些数据量非常大,以星辰天合的某自动驾驶领域的客户举例,他们每天会有数百 TB 的数据增量。这些数据收集回来之后,以对象存储的方式存储,清洗完之后迭代其数据源,导入到高性能文件存储中以适配它的模型训练

在先进制造行业、金融行业,我们所服务的企业也是类似的场景和需求。我们也同样提供了一种方案,由对象存储来承接其训练元数据,清洗完之后的数据在高性能文件存储中训练,训练完之后历史数据重新再利用对象存储归档


从数据存储、数据流动

到整合数据生态平台


作为技术领先的数据基础设施提供商,星辰天合以“数据常青”为使命,始终专注于软件定义存储领域,以数据价值为核心为客户提供数据服务。

3e79fbd6c432d250d01e71545d4e3ee7.jpeg

星辰天合以软件定义存储为客户提供数据服务


为更方便理解星辰天合所提供的产品和服务,我们将数据服务分为了三个层次:

第一,星辰天合可以帮助客户构筑数据存储平台,能够提供扩展性、高性能、敏捷性、灵活性、低成本的数据存储系统。

第二,星辰天合可以为客户提供数据管理平台客户的业务所使用的是数据,需要我们提供的是数据服务。在传统模式中,所有的数据存在于硬件介质中,其本身有生命周期,当硬件老化之后就可能要被替换。而软件定义存储将数据存在软件中,硬件的更换迭代不影响给业务提供数据服务;此外,需要将数据快速出现在业务想要访问它的位置,以供业务进行数据分析等,因此数据的智能流动是新一代存储架构中的重要特性,而这已经脱离了传统存储的能力范畴。

第三,企业需要对数据生态平台进行整合,星辰天合努力兼容各种业务生态,包括云计算、大数据、人工智能,以及敏态发展各类容器的业务等,这也是数据服务厂商需要支持的。

通过在软件定义存储领域的长期创新与突破,星辰天合以丰富的产品和解决方案,帮助企业实现存力与算力的协同。

在大数据与人工智能发展极为迅猛的今天,为持续满足相关应用对存储的需求,星辰天合的存储也在不断地革新中。在今年,星辰天合也即将发布一个全新的全闪架构,带动存储系统性能的大幅度进步,在更高端的领域实现存力与算力的协同进步与均衡发展

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/101898.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

SpringBoot 2.7 集成 Netty 4 模拟服务端与客户端通讯入门教程

文章目录 1 摘要2 核心 Maven 依赖3 核心代码3.1 服务端事务处理器 (DemoNettyServerHandler)3.2 服务端连接类(InitNettyServer)3.3 客户端事务处理器(DemoNettyClientHandler)3.4 客户端连接类(DemoNettyClient) 4 测试4.1 测试流程4.2 测试结果4.3 测试结论 5 推荐参考资料6…

通过安全日志读取WFP防火墙放行日志

前言 之前的文档中,描写了如何对WFP防火墙进行操作以及如何在防火墙日志中读取被防火墙拦截网络通讯的日志。这边文档,着重描述如何读取操作系统中所有被放行的网络通信行为。 读取系统中放行的网络通信行为日志,在win10之后的操作系统上&am…

继承(C++)

继承 一、初识继承概念“登场”语法格式 继承方式九种继承方式组合小结(对九种组合解释) 二、继承的特性赋值转换 一一 切片 / 切割作用域 一一 隐藏 / 重定义 三、派生类的默认成员函数派生类的默认成员函数1. 构造函数2. 拷贝构造3. 赋值运算符重载4. …

【编织时空三:探究顺序表与链表的数据之旅】

本章重点 链表OJ题 1. 删除链表中等于给定值 val 的所有结点。 OJ链接 思路一:删除头结点时另做考虑(由于头结点没有前一个结点) struct ListNode* removeElements(struct ListNode* head, int val) {assert(head);struct ListNode* cur h…

Go:测试框架GoConvey 简介

快速开始 GoConvey是一个完全兼容官方Go Test的测试框架,一般来说这种第三方库都比官方的功能要强大、更加易于使用、开发效率更高,闲话少说,先看一个example: package utils import (. "github.com/smartystreets/goconvey…

【JVM】运行时数据区域

文章目录 说明程序计数器虚拟机栈本地方法栈Java堆方法区运行时常量池直接内存 说明 Java虚拟机在执行Java程序的过程中会把它所管理的内存划分为若干个不同的数据区域。这些区域有各自的用途,以及创建和销毁的时间,有的区域随着虚拟机进程的启动而一直…

【广州华锐互动】牲畜养殖VR模拟实操系统为传统教育注入新的生命力

随着科技的不断发展,虚拟现实(VR)技术已经逐渐走进我们的生活。在农业领域,VR技术的应用也日益广泛,为现代农业人才培养提供了新的途径。 由广州华锐互动开发的“牲畜养殖VR模拟实操系统”引起了广泛关注,系统包含了鸡、猪、牛、马…

产品流程图是什么?怎么做?

产品流程图是什么? 产品流程图是一种图形化的表达方式,用于描述产品开发、制造、销售、使用等各个阶段中涉及的流程、步骤和关系。它通过图形符号、箭头、文本等元素,展示了产品的各个环节之间的关联和顺序,通常被用于可视化产…

STM32 F103C8T6学习笔记12:红外遥控—红外解码-位带操作

今日学习一下红外遥控的解码使用,红外遥控在日常生活必不可少,它的解码与使用也是学习单片机的一个小过程,我们将通过实践来实现它。 文章提供源码、测试工程下载、测试效果图。 目录 红外遥控原理: 红外遥控特点: …

Qt+C++串口调试接收发送数据曲线图

程序示例精选 QtC串口调试接收发送数据曲线图 如需安装运行环境或远程调试&#xff0c;见文章底部个人QQ名片&#xff0c;由专业技术人员远程协助&#xff01; 前言 这篇博客针对<<QtC串口调试接收发送数据曲线图>>编写代码&#xff0c;代码整洁&#xff0c;规则&…

探索GreatADM:图形化部署MGR的全新体验

摘要&#xff1a; 在DBA的日常工作中&#xff0c;快速部署数据库高可用架构&#xff0c;且标准化地入网部署数据库是一项重要的基础任务。本文将介绍常见的部署MGR的方式&#xff0c;并重点介绍万里数据库的GreatADM数据库管理平台进行图形化、可视化、标准化的部署过程&#x…

vue 学习笔记 简单实验

1.代码(html) <script src"https://unpkg.com/vuenext" rel"external nofollow" ></script> <div id"counter">Counter: {{ counter }} </div> <script> const Counter {data() {return {counter: 5}} } Vue.cr…

二、pikachu之SQL注入(2)

文章目录 1、delete注入2、http header注入3、布尔盲注4、时间盲注 4、宽字节注入 1、delete注入 &#xff08;1&#xff09;寻找传参页面&#xff0c;在删除留言的时候&#xff0c;发现是get传参&#xff1b; &#xff08;2&#xff09;判断是否存在注入点&#xff0c;命令&…

Shell语法揭秘:深入探讨常见Linux Shell之间的语法转换

深入探讨常见Linux Shell之间的语法转换 一、引言二、Linux常用Shell&#xff1a;Bash、Zsh、Ksh、Csh、Tcsh和Fish的简介2.1、Bash、Zsh、Ksh、Csh、Tcsh和Fish的特点和用途2.2、语法差异是常见Shell之间的主要区别 三、变量和环境设置的语法差异3.1、变量定义和使用的不同语法…

Redis——set类型详解

概要 Set&#xff08;集合&#xff09;&#xff0c;将一些有关联的数据放到一起&#xff0c;集合中的元素是无序的&#xff0c;并且集合中的元素是不能重复的 之前介绍的list就是有序的&#xff0c;对于列表来说[1, 2, 3] 和 [2, 1, 3]是两个不同的列表&#xff0c;而对于集合…

GraphScope,开源图数据分析引擎的领航者

文章首发地址 GraphScope是一个开源的大规模图数据分析引擎&#xff0c;由Aliyun、阿里巴巴集团和华为公司共同开发。GraphScope旨在为大规模图数据处理和分析提供高性能、高效率的解决方案。 Github地址&#xff1a; https://github.com/alibaba/GraphScope GraphScope 的重…

开发第一个gPRC的开发

&#x1f337;&#x1f341; 博主猫头虎 带您 Go to New World.✨&#x1f341; &#x1f984; 博客首页——猫头虎的博客&#x1f390; &#x1f433;《面试题大全专栏》 文章图文并茂&#x1f995;生动形象&#x1f996;简单易学&#xff01;欢迎大家来踩踩~&#x1f33a; &a…

网络综合布线实训室方案(2023版)

综合布线实训室概述 随着智慧城市的蓬勃发展,人工智能、物联网、云计算、大数据等新兴行业也随之崛起,网络布线系统作为现代智慧城市、智慧社区、智能建筑、智能家居、智能工厂和现代服务业的基础设施和神经网络,发挥着重要作用。实践表明,网络系统故障的70%发生在布线系统,直接…

苹果手机桌面APP带云图标有个箭头,过一段时间经常要下载才能使用APP

环境&#xff1a; IPhone 11 IOS13.0 问题描述&#xff1a; 苹果手机桌面APP带云图标有个箭头&#xff0c;过一段时间经常要下载才能使用APP 解决方案&#xff1a; 1.打开设置&#xff0c;往下找到iTunes Store与App Store 2.找到下面卸载未使用的APP 关闭按钮

最优的家电设备交互方式是什么?详解家电设备交互的演进之旅

家电&#xff0c;在人们的日常生活中扮演着不可或缺的角色&#xff0c;也是提升人们幸福感的重要组成部分&#xff0c;那你了解家电的发展史吗&#xff1f; 70年代 结婚流行“四大件”&#xff1a;手表、自行车、缝纫机&#xff0c;收音机&#xff0c;合成“三转一响”。 80年…