2023年2月6日,行业研究机构Omdia(Informa tech集团旗下国际信息与通信技术研究机构)发布了《中国人工智能框架市场调研报告》,深入分析了中国人工智能框架市场的竞争格局,产业现状与创新趋势。Omdia通过调研发现,昇思MindSpore与PyTorch、TensorFlow、PaddlePaddle等人工智能框架在知名度与使用率市场份额上处于第一梯队。
来源《中国人工智能框架市场调研报告》
随着众多人工智能项目从科研创新到产业落地,人工智能应用场景逐渐扩展,人工智能市场规模正在不断扩大。预训练大模型、“AI for Science”、“负责任的人工智能”等已成为全球学术界和产业界关注的焦点。而AI框架是模型算法开发的核心,是支撑人工智能技术发展和产业繁荣发展的基础。
预训练大模型成为人工智能领导者的竞争焦点
以ChatGPT为代表的大模型已经超越学术界和产业界,开始成为大众关注的热点,而大模型需要有强大的AI框架技术支撑。报告指出预训练大模型的三大趋势:第一,大模型参数量继续呈指数增长态势,“大模型”正走向“超大模型“;第二, 大模型正从单模态走向多模态、多任务融合;第三,AI框架对大模型的训练有关键性的技术支撑作用。
从本次调研中,Omdia 发现相当大比例的开发者对中国本土的大模型的兴趣远远超过了对全球流行的大模型GPT-3和DALL-E 2的兴趣,并表示希望在接下来几个月试用。其中,开发者对基于昇思 MindSpore 打造的盘古NLP大模型、紫东.太初多模态大模型最感兴趣。
来源《中国人工智能框架市场调研报告》
在支持超大规模模型训练开发方面,昇思 MindSpore 在进行架构设计时就考虑了大模型开发时遇到的内存占用、通信瓶颈、调试复杂、部署难等问题,针对性的技术研究与创新:
01
业界领先的全自动并行能力,提供 6 维混合并行算法,即数据并行、模型并行、流水并行、优化器并行等,一行代码实现模型自动切分、分布式并行计算,开发并行代码量降低 80%、系统调优时间下降 60%;
02
极致的全局内存复用能力,在开发者无感知的情况下,自动实现 NPU 内存 / CPU 内存 / NVMe 硬盘存储的多级存储优化,512 卡就可训练 10 万亿规模的参数模型,极大降低大模型训练成本;
03
极简的断点续训能力,可解决大集群训练故障导致的任务中断问题,实现自动恢复、继承性训练,开发者无需从头开始,千亿参数模型在分钟级就可无损恢复。
这一技术创新也得到了中国AI开发者的认可,根据《中国人工智能框架市场调研报告》所示,中国AI开发者认为,昇思MindSpore拥有业界领先的并行算法库,具备原生支持大模型的能力,并孵化出了一系列创新大模型,吸引了广泛的开发者,在中国市场上占据优势地位。
来源《中国人工智能框架市场调研报告》
负责任的人工智能成为关注焦点
在以ChatGPT为代表的AIGC火爆的的背后, 也出现了“造假”等AI伦理道德问题,AI开发者和机构越来越关注“负责任的人工智能”。Omdia在对AI开发者的调研中发现,在所有主流AI框架中,TensorFlow 与昇思MindSpore 对“负责任的人工智能”提供的支持能力最好,分别位居第一与第二名。
来源《中国人工智能框架市场调研报告》
《中国人工智能框架市场调研报告》指出,“负责任的人工智能”既是一套道德准则, 又是一套技术体系。“负责任的人工智能”是以安全、可靠和合乎道德的方式开发、评估、部署和规模化人工智能系统的方法。昇思MindSpore从AI 框架的角度出发,围绕AI生命周期,重点构建了一系列的技术能力:
01
模型安全,通过鲁棒性评测、对抗测评、对抗训练、模型加密等,实现模型保护;
02
隐私保护,构建了隐私评估、差分隐私训练、联邦学习等技术,保障数据隐私;
03
可解释性,通过原创语义级可解释技术、可解释方法工具集等技术,提高模型的可解释性,让用户更理解、信任并有效地使用模型。
这一能力也通过了全球第一独立认证机构欧洲SGS Brightsight实验室的安全评估,获得CC EAL2+证书。这是国际上首份AI框架获得的CC证书,标志着昇思MindSpore在产品信息安全方面达到了业内领先水平,正逐步获得国际认可。
来源SGS Brightsight实验室安全评估
“AI for Science”正成为人工智能框架的重点发力方向
在科研创新领域,“AI for Science”也是人工智能行业的前沿热点,人工智能与科学的深度融合正在推动科研范式的创新,给科研领域带来了新的发展机遇。Omdia的分析师认为,与大模型类似,“AI for Science”是人工智能创新发展的重要方向,AI框架对“AI for Science”的发展起着关键的技术支撑作用。
“AI for Science”的发展也对AI框架提出了更高的要求,调研发现,中国的AI开发者认为昇思MindSpore是最适合做 “AI for Science”项目的国产人工智能框架, 其对“AI for Science”的支持能力甚至超过了PyTorch,并有赶超TensorFlow的趋势。
来源《中国人工智能框架市场调研报告》
昇思MindSpore从创立之初就已经布局科学计算领域,通过多尺度混合计算和高阶混合微分两大关键创新,将昇思原有的AI计算引擎升级为AI与科学计算的统一引擎,实现融合的统一加速。当前,昇思MindSpore已经在多个科学领域有所突破。
昇思MindSpore团队与昌平实验室、北京大学生物医学前沿创新中心(BIOPIC)和化学与分子工程学院、深圳湾实验室高毅勤教授课题组等合作联合推出全流程蛋白质结构预测工具 MEGA-Protein。该工具提供了高精度高性能蛋白质结构和功能预测,突破了在“孤儿序列”、高异变序列和人造蛋白等 MSA 匮乏场景下无法做出准确预测的限制。这是该团队在昇腾 AI 基础软硬件平台上实现的蛋白质结构预测从训练到推理全流程打通,且效率相比AlphaFold2提升 2 至 3 倍后,取得的又一次成功。
除此之外,推出了AI电磁仿真套件MindSpore Elec。该套件使用的增量训练的AI方法,相比原始的PINNs方法,性能提升了15倍以上;与Benchmark(传统的数值方法)的相对误差在5%左右。MindSpore Elec套件构筑基础的AI电磁仿真能力,并在手机电磁仿真等场景取得技术突破。在手机电磁仿真场景中,仿真精度媲美传统科学计算软件,性能提升了30倍。
AI框架作为人工智能创新的重要基础设施,正促进人工智能技术加速进步,助力众多行业智能化转型升级。作为国内自研的AI融合框架,昇思MindSpore积极响应产业界需求,不断在效率提升、易用性、创新性以及使用体验方面推动AI框架持续演进。
正如“昇思”两个字的含义,“昇”代表昇思是昇腾计算产业的重要组成,结合昇腾发挥极致性能,“思”代表着昇思深度思考产业界技术演进方向致力于打造最佳体验的AI框架。当两者像艺术一般相结合,就能为生产、科研提供最坚实的基础,引领中国AI框架的发展。
更多关于本次中国人工智能框架市场调研的发现,请点击 “ 阅读原文” 查看《中国人工智能框架市场调研报告》。