万字长文|下一代系统内存数据加速接口SDXI解读

本文内容分为5章节,总计10535字,内容较多,建议先收藏

1.SDXI技术产生的背景

2.SDXI相比DMA的优势

3.SDXI实现原理与架构

    3.1 描述符环原理解读
    3.2 上下文管理介绍
    3.3 AKey与RKey解读
    3.4 错误日志和状态管理
    3.5 跨Function访问

4.SDXI与CXL协同原理

5.SDXI几种应用场景


1.SDXI技术产生的背景

在传统计算模式中,数据在不同组件间移动往往依赖于软件层面的处理,例如常见的内存复制操作(memcpy),这种方式虽然稳定,但会占用宝贵的处理器周期,导致应用性能下降。同时,传统的数据移动缺乏有效的虚拟化支持,且各厂商的直接内存访问(DMA)引擎及其接口没有统一的标准,给用户级软件的利用带来了不便。

此外,异构计算环境的兴起,包括CPU、GPU、FPGA、NICs等ASSPs(应用专用标准产品)的融合,以及虚拟化和容器化的普及,都对数据移动提出了更高要求。

SDXI(Smart Data Accelerator Interface,智能数据加速接口)标准正是在这样的背景下应运而生,它的设计旨在解决上述问题,提供了一个标准化、可扩展、面向未来的内存到内存数据移动和加速接口。

这个接口独立于I/O互连技术,意味着无论底层硬件如何变化,只要遵循SDXI标准,软件都能保持良好的兼容性和稳定性。SDXI标准特别强调了对虚拟化友好的编程接口,支持用户模式和内核模式操作,旨在加速虚拟化工作负载。

SDXI标准的制定工作由SNIA SDXI技术工作小组(TWG)负责,该小组成立于2020年6月,汇聚了行业内多个领先企业的技术力量。根据记录,SDXI v1.0版本的贡献者包括来自多家知名公司,主要包括惠普企业(HPE)、戴尔(Dell)、IBM、AMD、Micron、NetApp、SK海力士、西部数据、三星、微软等23家会员公司,以及89名个人成员。

2022年正式发布了SDXI v1.0版本,标志着一个全新的数据移动加速时代开启,为高性能计算、人工智能、数据中心存储等领域带来革新。

2.SDXI相比DMA的优势

DMA数据移动器是一种硬件机制,旨在减轻CPU执行循环数据复制任务的负担,从而释放CPU周期以执行其他计算密集型任务。这一技术的引入,旨在提高系统整体的性能和效率,特别是在大量数据传输操作频繁发生的场景下。

扩展阅读:

  • 浅析CXL P2P DMA加速数据传输的原理

  • PCIe P2P DMA全景解读

尽管DMA数据移动器的概念已被广泛认识,其应用却主要局限于特定的、具有特权的软件和I/O场景中。这些场景通常涉及到高度特定化的设备接口,这些接口往往不具备向前兼容性。具体来说,这种限制在两个方面尤为突出:

  1. 非虚拟化环境中的用户态应用挑战:在没有虚拟化的环境中,由于DMA数据移动器的使用受限于特定的、非通用的接口,普通用户态应用很难直接利用DMA来提升数据处理性能。这主要是因为DMA操作通常需要较高的系统权限,而普通用户态程序默认不具备这样的权限。

  2. 多租户虚拟化环境下的近乎不可能性:在多租户的虚拟化环境中,情况更为复杂。在这种环境下,多个虚拟机共享物理资源,每个虚拟机都有自己的内存空间和隔离的执行环境。使用传统的DMA机制,不仅需要解决如何安全地跨虚拟机边界移动数据的问题,还要解决如何在不破坏虚拟机隔离性的前提下,有效地分配和管理DMA资源。由于传统的DMA设备接口缺乏对虚拟化环境的支持,使得在这样的环境中实现高效的DMA数据传输变得极为困难,几乎不可行。

SDXI作为一个标准化、可扩展、独立于I/O互联技术的内存到内存数据移动和加速接口,旨在打破传统DMA的局限,使得数据移动在现代异构计算环境中变得更加高效和灵活。

SDXI Platform Data Mover是一个创新的技术框架,它设计用于克服现有数据移动解决方案的一系列局限性,从而满足现代计算环境中日益增长的高效数据处理需求。SDXI的优势的具体包括以下几个内容:

  1. 可扩展、向前兼容的接口:SDXI提供了一个与具体数据移动实现及底层I/O互连技术无关的接口,意味着无论未来数据传输技术如何演进,只要遵循SDXI规范,新旧硬件和软件就能保持良好的兼容性。这种设计允许SDXI随技术进步不断纳入新功能而不至于过时。

  2. 用户模式数据移动的标准接口:一旦连接建立,SDXI允许在用户模式下直接进行地址空间之间的数据移动,无需特权软件介入,降低了数据传输的复杂度和延迟,提高了应用层的性能。

  3. 特权软件控制接口:SDXI定义了一套标准接口,供特权软件(如hypervisors或系统管理层)来管理数据移动器的连接状态和跨多个地址空间的数据传输,增强了系统的可控性和安全性。

  4. 可抽象化或虚拟化的接口:SDXI支持其接口被特权软件抽象或虚拟化,这样可以更容易地在不同的服务器之间迁移工作负载或虚拟机,增强了跨平台的兼容性和灵活性,对于云环境尤其重要。

  5. 明确的暂停、恢复能力:SDXI具有清晰定义的能力,可以暂停、恢复每个地址空间数据移动器的架构状态,这对于实现实时工作负载或虚拟机在服务器间的迁移至关重要,有助于实现无中断的维护和动态资源调度。

  6. 确保向前兼容的接口:SDXI设计确保了现有的软件驱动程序,包括用户模式驱动,能在未来的硬件实现上无需修改即可运行,减少了因硬件升级导致的软件适配成本和时间。

SDXI通过提供一个灵活、高效、兼容性强的数据移动平台,解决了传统数据处理架构在性能、兼容性、虚拟化支持等方面的不足,为云计算、数据中心管理、高性能计算等领域带来了重大的技术进步。

后续3-5章节,请参考:点击这里,继续阅览SDXI章节3-5详细内容

3.SDXI实现原理与架构

    3.1 描述符环原理解读
    3.2 上下文管理介绍
    3.3 AKey与RKey解读
    3.4 错误日志和状态管理
    3.5 跨Function访问

4.SDXI与CXL协同原理

5.SDXI几种应用场景

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/366151.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【python】OpenCV—Aruco

文章目录 Detect ArucoGuess Aruco Type Detect Aruco 学习参考来自:OpenCV基础(19)使用 OpenCV 和 Python 检测 ArUco 标记 更多使用细节可以参考:【python】OpenCV—Color Correction 源码: 链接:http…

opengl箱子的显示

VS环境配置: /JMC /ifcOutput "Debug\" /GS /analyze- /W3 /Zc:wchar_t /I"D:\Template\glfwtemplate\glfwtemplate\assimp" /I"D:\Template\glfwtemplate\glfwtemplate\glm" /I"D:\Template\glfwtemplate\glfwtemplate\LearnOp…

复分析——第10章——Θ函数应用(E.M. Stein R. Shakarchi)

第10章 Θ函数的应用 (Applications of Theta Functions) The problem of the representation of an integer n as the sum of a given number k of integral squares is one of the most celebrated in the theory of numbers. Its history may be traced back to Diopha…

数据结构:期末考 第六次测试(总复习)

一、 单选题 (共50题,100分) 1、表长为n的顺序存储的线性表,当在任何位置上插入或删除一个元素的概率相等时,插入一个元素所需移动元素的平均个数为( D ).(2.0) A、 &am…

线性代数|机器学习-P21概率定义和Markov不等式

文章目录 1. 样本期望和方差1.1 样本期望 E ( X ) \mathrm{E}(X) E(X)1.2 样本期望 D ( X ) \mathrm{D}(X) D(X) 2. Markov 不等式&Chebyshev不等式2.1 Markov不等式公式 概述2.2 Markov不等式公式 证明:2.3 Markov不等式公式 举例:2.4 Chebyshev不…

反向沙箱技术:安全隔离上网

在信息化建设不断深化的今天,业务系统的安全性和稳定性成为各公司和相关部门关注的焦点。面对日益复杂的网络威胁,传统的安全防护手段已难以满足需求。深信达反向沙箱技术,以其独特的设计和强大的功能,成为保障政务系统信息安全的…

【论文阅读】-- TimeNotes:时间序列数据的有效图表可视化和交互技术研究

TimeNotes: A Study on Effective Chart Visualization and Interaction Techniques for Time-Series Data 摘要1 介绍和动机2 文献2.1 时间序列数据探索2.1.1 数据聚合2.1.2 基于透镜2.1.3 基于布局 3 任务和设计3.1 数据3.2 领域表征3.3 探索、分析和呈现 4 TimeNotes4.1 布局…

安装KB5039212更新卡在25% 或者 96% 进度

系统之家7月1日消息,微软在6月11日的补丁星期二活动中,为Windows 11系统推出了KB5039212更新。然而,部分用户在Windows社区中反映,安装过程中出现失败,进度条在25%或96%时卡住。对于遇到此类问题的Windows 11用户&…

AI基本概念(人工智能、机器学习、深度学习)

人工智能 、 机器学习、 深度学习的概念和关系 人工智能 (Artificial Intelligence)AI- 机器展现出人类智慧机器学习 (Machine Learning) ML, 达到人工智能的方法深度学习 (Deep Learning)DL,执行机器学习的技术 从范围…

构建高效的数字风控系统:应对现代网络威胁的策略与实践

文章目录 构建高效的数字风控系统:应对现代网络威胁的策略与实践1. 数字风控基本概念1.1 数字风控(数字化风控)1.2 数字风控的原理1.3 常见应用场景 2. 数字风控的必要性3. 构建高效的数字风控系统3.1 顶层设计与规划3.2 数据基础建设3.3 风险…

Python从0到100(三十三):xpath和lxml类库

1. 为什么要学习xpath和lxml lxml是一款高性能的 Python HTML/XML 解析器,我们可以利用XPath,来快速的定位特定元素以及获取节点信息 2. 什么是xpath XPath,全称为XML Path Language,是一种用于在XML文档中进行导航和数据提取的…

SCI一区 | Matlab实现DBO-TCN-LSTM-Attention多变量时间序列预测

SCI一区 | Matlab实现DBO-TCN-LSTM-Attention多变量时间序列预测 目录 SCI一区 | Matlab实现DBO-TCN-LSTM-Attention多变量时间序列预测预测效果基本介绍程序设计参考资料 预测效果 基本介绍 1.【SCI一区级】Matlab实现DBO-TCN-LSTM-Attention多变量时间序列预测(程…

中国网络安全审查认证和市场监管大数据中心数据合规官CCRC-DCO

关于CCRC-DCO证书的颁发机构,它是由中国网络安全审查认证与市场监管大数据中心(简称CCRC)负责。 该中心在2006年得到中央机构编制委员会办公室的批准成立,隶属于国家市场监督管理总局,是其直辖的事业单位。 依据《网络…

技术派全局异常处理

前言 全局的异常处理是Java后端不可或缺的一部分,可以提高代码的健壮性和可维护性。 在我们的开发中,总是难免会碰到一些未经处理的异常,假如没有做全局异常处理,那么我们返回给用户的信息应该是不友好的,很抽象的&am…

认识100种电路之耦合电路

在电子电路的世界中,耦合电路宛如一座精巧的桥梁,连接着各个功能模块,发挥着至关重要的作用。 【为什么电路需要耦合】 在复杂的电子系统中,不同的电路模块往往需要协同工作,以实现特定的功能。然而,这些模…

QuickBooks 2024 for Mac:财务智慧,触手可及

QuickBooks 2024 for Mac是一款专为Mac用户设计的专业财务管理软件,它集成了多种实用功能,助力企业和个人用户高效管理财务事务。 📊 全面的财务管理工具:QuickBooks 2024 for Mac 提供了一套全面的财务管理功能,包括…

基于昇腾AI | Yolov7模型迁移到昇腾平台EA500I边缘计算盒子的实操指南

近年来,国产化替代的进程正在加快。在众多国产平台中,昇腾平台具有高性能、低功耗、易扩展、软件栈全面成熟等优势,其产品和技术在国内众多领域实现了广泛应用;作为昇腾的APN伙伴和IHV合作伙伴,英码科技携手昇腾推出了…

数据结构之“刷链表题”

🌹个人主页🌹:喜欢草莓熊的bear 🌹专栏🌹:数据结构 目录 前言 一、相交链表 题目链接 大致思路 代码实现 二、环形链表1 题目链接 大致思路 代码实现 三、环形链表2 题目链接 大致思路 代码实…

python sklearn机械学习模型-分类

🌈所属专栏:【机械学习】✨作者主页: Mr.Zwq✔️个人简介:一个正在努力学技术的Python领域创作者,擅长爬虫,逆向,全栈方向,专注基础和实战分享,欢迎咨询! 您…

WIN11,如何同时连接有线网络与WLAN无线网络

之前写了两篇文章,一篇是双网卡多网卡时win11如何设置网卡优先级_多网卡设置网卡优先级-CSDN博客 另一篇是win11 以太网和WLAN冲突 连接网线时导致WiFi掉线 解决_win11 以太网和wifi不能同时生效-CSDN博客 这篇是对上面两篇的补充:主要解决电脑重启后&…