张量并行 当每个张量被分成多个块时,就会发生张量并行性,并且张量的每个块都可以放置在单独的 GPU 上。在计算过程中,每个块在不同的 GPU 上单独并行处理,并且可以通过组合来自多个 GPU 的结果来计算结果(最终张量)。 流水线并行 当模型被深度拆分并将不同的完整层放置到不同的 GPU/节点上时,就会发生流水线并行。