模型并行、数据并行、流水线并行以及混合并行的适用场景、优劣

• 数据并行
  • 适用场景：适用于模型规模相对较小，能够在单个计算设备（如 GPU）上完整运行，但训练数据量巨大的情况。例如在大规模图像分类任务中，常见的卷积神经网络模型（如 ResNet、VGG 等）在处理大规模图像数据集（如 ImageNet 或更大规模的自定义数据集）时，数据并行能有效利用多个计算设备加速训练。
  • 优点：实现相对简单，大多数深度学习框架都提供了成熟的支持。能充分利用大量的训练数据，通过并行处理不同的数据子集，加快整体训练速度。每个计算设备都有完整的模型副本，在计算过程中不存在模型切分带来的复杂通信问题。
  • 缺点：在每个训练步骤结束后，需要进行梯度同步操作，当计算设备数量较多或网络带宽有限时，通信开销会成为性能瓶颈。如果模型中存在依赖于数据统计信息的层（如批归一化层），在不同设备上可能会出现数据分布不一致的情况，需要额外的处理来保证模型的一致性。
  • 举例：假设有一个包含 100 万张图像的数据集用于训练一个简单的图像分类 CNN 模