8 月 15 日,由中国移动云能力中心主办的“智算存储论坛”在南京大学顺利举办,本期技术论坛的主题是《智存未来-构建 AI 时代新型存储基础设施》。作为中国移动云能力中心的合作伙伴,XSKY星辰天合受邀参加了此次技术大会。
XSKY 产品总监朱荣泽作为特邀嘉宾之一,发表了主题为《大模型时代对于存储架构的挑战》的演讲,分享了大语言模型(LLM)对存储的需求以及现有存储架构的局限与挑战
,
并与来自中国移动云能力中心、中国信通院、南京大学、华为、中兴、JuiceFS、中国移动 IT 公司的存储领域技术专家共同探讨智算浪潮下云存储面临的挑战与机遇。
人工智能时代的存储系统技术趋势
在大模型技术加速发展的当下,相关企业对云存储这一重要的底层基础设施能力愈发重视。与会专家在此次论坛上深度探讨了人工智能时代存储系统的发展愿景和技术趋势,包括面对 AI 时代,所需的云存储技术类型,以及如何构筑智能、高效、低碳的新型存储基础设施等,涵盖了大模型时代下分布式存储现状和趋势、怎样构建面向云原生算力的智能弹性缓存系统、在 AIGC 新时代中存储的新机遇、如何提升分布式存储纠删码的性能、如何打造大模型存储底座、如何构建智能时代下的智能云存储、统一存储引擎面对当今 AI 场景的变与不变等技术议题。
XSKY 主题演讲:大模型时代对于存储架构的挑战
图1:XSKY 产品总监朱荣泽发表演讲
朱荣泽指出,GPU 的显存 DRAM 技术从 DDR 演进到 HBM,内存访 问模式从“延迟敏感”转变为“带宽优先”。 HBM 需要不断地从远端存储或本地存储加载数据,内存和数据传输之间的互联带宽,将成为 AI 计算发展的主要瓶颈。 HBM 的核心价值在于其对存储性能的重塑,它不仅提升了数据传输的速度,更改变了我们对存储核心需求的认识。
朱荣泽表示在大模型训练中 ,存储系统面临着大量数据的写入任务,这致使存储写带宽成为衡量其性能竞争力的关键所在。特别在多模态的情境里,大量小文件的处理给底层存储性能造成了严峻的挑战。
为了应对这些难题, XSKY 推出新的 XSEA(eXtreme Shared-Everything Architecture,极速全共享架构)全闪架构,采用了创新的“端到端纠删码(EC)+ 持续压缩”技术,实现将写放大问题降低至最小,实现接近于 100% 的有效带宽利用率,提升了存储效率 。这些关键技术创新,不仅减少了写放大效应,还显著提高了存储带宽利用率和整体性能,可以更好应对大语言模型对底层存储的挑战。朱荣泽表示,只有通过架构创新和不断的技术迭代和优化,才能为客户提供更高效、更可靠的存储解决方案。
图2:XSEA 星海全闪架构性能优势
联手业界生态 持续推进存储架构创新
在人工智能产业快速发展的当下,星辰天合将与更多伙伴携手奋进,持续对存储架构展开探索。借助创新的架构与软硬件组合,充分发挥分布式全闪存储的性能优势,助力客户从数据中获得更多价值,推动业务不断向前迈进。
欲了解星海全闪架构与星飞全闪产品的更多信息,欢迎扫描下方二维码,获取《 XSKY 星飞全闪技术白皮书》。