元象发布首个MoE大模型XVERSE-MoE-A4.2B：仅4.2B激活量，性能堪比13B级别

近日,深圳元象科技正式发布了其首个基于混合专家(Mixture of Experts,MoE)架构的大型语言模型 - XVERSE-MoE-A4.2B。这款模型总参数量高达258亿,但在推理过程中仅需激活4.2亿参数,却展现出了媲美130亿参数大模型的性能表现,可谓是当前MoE架构领域的一大突破。

作为元象公司继XVERSE-65B和XVERSE-13B系列之后的又一重磅开源产品,XVERSE-MoE-A4.2B无疑将为国内外的中小企业、科研机构以及开发者带来全新的发展机遇。

XVERSE-MoE-A4.2B之所以备受瞩目,主要源于其在MoE架构设计上的一系列创新:

首先是在模型结构上的突破。与传统MoE模型(如Mixtral 8x7B)每个专家大小等同于标准前馈网络(FFN)不同,XVERSE-MoE-A4.2B采用了更细粒度的专家设计,每个专家仅为标准FFN的1/4大小。这不仅提升了模型的灵活性,也大幅提高了性能表现。
同时,XVERSE-MoE-A4.2B还将专家分为了共享专家(Shared Expert)和非共享专家(Non-shared Expert)两类。共享专家在计算过程中始终处于激活状态,而非共享专家则根据具体任务需求进行选择性激活。这种设计有利于将通用知识压缩到共享专家参数中,从而减少各专家之间的知识冗余。
此外,在训练方面,XVERSE团队还引入了负载均衡损失(Balancing Loss)和路由器z-loss等技术,进一步优化了MoE架构的训练效率和稳定性。

得益于这些创新,XVERSE-MoE-A4.2B不仅在参数量上大幅压缩,每次推理只需激活4.2亿参数,但性能却能媲美130亿参数级别的大模型,如Llama2-13B。

这一成绩的背后,离不开元象团队在数据和算法方面的深入优化:

首先是在训练数据方面。XVERSE-MoE-A4.2B是基于一个高达2.7万亿token的大规模、多语种数据集进行训练的,覆盖了中英俄等40余种语言。通过精细设置数据采样比例,不仅确保了中英两种语言的卓越表现,也兼顾了其他语种的效果。
其次在算法优化方面,XVERSE团队针对MoE架构独有的专家路由和权重计算逻辑,自主研发了一套高效的融合算子,大幅提升了模型的计算效率。同时,他们还创新性地设计了计算、通信和显存卸载的重叠处理方式,解决了MoE模型高显存占用和大通信量的挑战,进一步提高了整体的吞吐量。