Pytorch、torchvision、CUDA 各个版本对应关系以及安装指令

1、名词解释

1.1 CUDA

CUDA（Compute Unified Device Architecture）是由NVIDIA开发的用于并行计算的平台和编程模型。CUDA旨在利用NVIDIA GPU（图形处理单元）的强大计算能力来加速各种科学计算、数值模拟和深度学习任务。

• GPU并行计算
  • CUDA使GPU能够执行并行计算任务，从而大幅提高了计算性能。GPU由许多小型处理单元组成，每个处理单元都能够执行多个线程，这意味着GPU可以同时处理大量的计算任务。
• NVIDIA GPU支持
  • CUDA仅适用于NVIDIA GPU
  • 不同版本的CUDA通常与特定型号的NVIDIA GPU兼容，因此需要确保你的GPU支持所选版本的CUDA。
• CUDA工具和库
  • NVIDIA提供了一套用于CUDA开发的工具和库，包括CUDA Toolkit、cuDNN（CUDA深度神经网络库）、cuBLAS（CUDA基础线性代数库）等。这些工具和库简化了CUDA应用程序的开发和优化过程。

1.2 Cudnn

• cuDNN（CUDA Deep Neural Network Library）
  • 由NVIDIA开发的用于深度学习的加速库。
  • cuDNN旨在优化神经网络的前向传播和反向传播过程，以利用NVIDIA GPU的并行计算能力，从而加速深度学习模型的训练和推理。
• 深度学习加速
  • cuDNN是专门为深度学习任务而设计的，旨在加速神经网络的训练和推理。它提供了一系列高度优化的算法和函数，用于执行神经网络层的前向传播、反向传播和权重更新。
• GPU加速
  • cuDNN充分利用NVIDIA GPU的并行计算能力，以高效地执行深度学习操作。这使得训练深度神经网络更快速，尤其是对于大型模型和大规模数据集。
• 版本兼容性
  • cuDNN的不同版本与NVIDIA GPU架构和深度学习框架的版本兼容。因此，为了获得最佳性能，你需要选择适用于你的GPU型号和深度学习框架版本的cuDNN版本。cuDNN是免费的，可以在NVIDIA的官方网站上下载和使用。

1.3 PyTorch

• PyTorch 是一个开源的深度学习框架，由Facebook的人工智能研究团队开发和维护。它是一个非常流行的深度学习框架，用于构建和训练神经网络模型。
• 动态计算图
  • PyTorch 采用动态计算图（Dynamic Computational Graph）的方式来定义和执行神经网络。这意味着你可以像编写常规Python代码一样编写神经网络，同时保留了计算图的优势，使模型的构建和调试更加直观和灵活。
  • PyTorch 提供了丰富的张量操作，以及各种优化工具和模块，可以轻松构建各种类型的深度学习模型，包括卷积神经网络（CNN）、循环神经网络（RNN）、生成对抗网络（GAN）等。它还支持自定义神经网络层和损失函数，允许你创建高度定制的模型。
• GPU加速
  • PyTorch天然支持GPU加速，你可以在GPU上训练和执行神经网络，大幅提高了计算性能。PyTorch的GPU张量操作与CPU张量操作非常相似，使得将计算从CPU迁移到GPU变得相对容易。

2、三者关系

• CUDA、cuDNN 和 PyTorch 是三个不同但相关的组件，它们之间存在一些依赖关系，特别是在使用 PyTorch 进行深度学习开发时。
• CUDA（Compute Unified Device Architecture）
  • 「CUDA是GPU并行计算平台」：CUDA 是由 NVIDIA 开发的用于并行计算的平台和编程模型。它允许开发人员利用 NVIDIA GPU 的强大计算能力来加速各种科学计算、数值模拟和深度学习任务。
  • 「PyTorch依赖CUDA」：PyTorch 使用 CUDA 来加速神经网络的训练和推理。在 PyTorch 中，张量（Tensor）可以在 CPU 或 GPU 上进行计算。如果你想在 GPU 上训练神经网络，你需要确保 CUDA 已经正确安装并配置。
  • 「版本兼容性」：不同版本的 PyTorch 可能需要特定版本的 CUDA。你需要根据所使用的 PyTorch 版本来选择合适的 CUDA 版本，以确保兼容性。
• cuDNN（CUDA Deep Neural Network Library）
  • 「cuDNN用于深度学习加速」：cuDNN 是 NVIDIA 开发的专门用于深度学习的加速库。它提供了高度优化的卷积和其他深度神经网络层的操作，以提高深度学习模型的性能。
  • 「PyTorch依赖cuDNN」：PyTorch 使用 cuDNN 来执行深度学习操作，尤其是在卷积神经网络（CNN）中。cuDNN 提供了高性能的卷积操作，使 PyTorch 能够在 GPU 上高效地进行前向传播和反向传播。
  • 「版本兼容性」：不同版本的 PyTorch 需要特定版本的 cuDNN。你需要确保所使用的 cuDNN 版本与 PyTorch 版本兼容。
• 「PyTorch」
  • 「PyTorch是深度学习框架」：PyTorch 是一个开源的深度学习框架，用于构建、训练和部署神经网络模型。它提供了张量操作、自动求导、优化器、损失函数等工具，使深度学习任务更加便捷。
  • 「PyTorch依赖CUDA和cuDNN」：PyTorch 可以在 CPU 或 GPU 上运行，但为了获得最佳性能，特别是在大规模深度学习任务中，你通常会将 PyTorch 配置为在 GPU 上运行。这就需要确保 CUDA 和 cuDNN 已正确安装和配置。

3、Pytorch 、torchvision、python版本对应图

4、CUDA与Driver Version对应关系表

5、如何查询服务器CUDA版本、Pytorch版本

5.1 查询服务器CUDA版本

• 在terminal中输入：nvidia-smi 即可，如下图👇所示

5.2 查询Pytorch版本

• 在terminal中输入以下指令即可，如下图👇所示
• print(torch.__version__)

6、安装Pytorch、torchvision的指令

pip install torch==1.13.0 torchvision==1.4.0 -i https://pypi.douban.com/simple