MOE怎样划分不同专家：K-Means聚类算法来实现将神经元特征聚类划分

MOE划分不同专家以及LLM模型拆分的方法及举例如下：

MOE划分不同专家的方法

ffn前馈神经网络

• 独立神经元划分：
  • 随机划分：将FFN中的神经元随机地均匀划分为多个子集，每个子集独立组成一个专家。例如在LLaMA-MoE模型的构建中，采用非重叠随机拆分法，将FFN层中的中间神经元均匀分割成多个子集，每个子集对应一个专家网络。
  • 聚类划分：基于神经元的特征将其分配给不同的专家。先对神经元的特征进行分析和提取，然后使用聚类算法，如K-Means等，将相似特征的神经元聚为一类，每一类作为一个专家。
• 共享神经元划分：
  • 内部共享：通过对神经元的重要性进行排序，如使用一阶泰勒展开来度量每个神经元对损失变化的影响，然后根据排序