https://gitee.com/ascend/MindSpeed
Gitee Ascend/MindSpeed 项目,MindSpeed 是针对华为昇腾设备的大模型加速库。
MindSpeed 是专为华为昇腾设备设计的大模型加速库,旨在解决用户在大模型训练过程中遇到的显存资源不足等挑战。该库借鉴了 Megatron、DeepSpeed 等第三方大模型加速库的技术,实现了模型和输入数据在多计算卡上的高效分割与并行计算。通过集合通信技术汇总结果,MindSpeed 显著提升了计算效率。
此外,MindSpeed 全面支持昇腾专有算法,确保大模型业务能够迅速且高效地迁移至昇腾设备。在部署前,用户需确保已安装昇腾软件栈的相关依赖,安装流程涵盖源码下载及环境变量配置。
为助力用户更好地利用 MindSpeed 加速大模型训练,我们提供了详尽的文档,包括快速上手指南、特性介绍、自定义算子开发指导,以及采集 Profile 数据的具体方法,确保用户能够轻松上手并充分发挥 MindSpeed 的性能优势。
MindSpeed 迁移开发文档
MindSpeed 是专为华为昇腾设备设计的大模型加速解决方案,旨在突破大模型训练中的显存资源瓶颈,并加速训练过程。该方案依托并行算法、显存资源、通信性能及计算性能的优化技术,显著提升了训练的性能与效率。MindSpeed 不仅支持多维并行策略,还兼容多种开源框架,集成了丰富的优化手段。
它适用于多种场景,包括直接加速昇腾模型仓中的 SOTA 模型、适配开源 Megatron-LM 框架,以及集成自研分布式训练框架。MindSpeed 为用户带来了一个高效、稳定且灵活的大模型训练加速方案,助力用户更轻松地应对大模型训练挑战。
MindSpeed 的关键要点可总结为以下思维导图: