【PyTorch 】【CUDA】深入了解 PyTorch 中的 CUDA 和 cuDNN 版本及 GPU 信息

引言

在深度学习的实践中，使用 GPU 进行加速计算是必不可少的。PyTorch 作为一个流行的深度学习框架，提供了丰富的功能来支持 GPU 加速。本文将详细介绍如何在 PyTorch 中获取 CUDA 和 cuDNN 的版本，以及可用 GPU 的详细信息，并提供必要的代码示例和注释，确保您能够顺利进行深度学习模型的训练。

一、环境准备

在开始之前，请确保您已经安装了 PyTorch。为了确保 PyTorch 能够使用 GPU 进行加速，您需要根据 CUDA 版本选择正确的安装命令。可以通过以下命令进行安装：

pip install torch torchvision torchaudio

1.1 重要的环境依赖

在安装 PyTorch 之前，您需要确保以下软件环境已经正确配置：

依赖项	说明
Python	需要 Python 3.6 及以上版本。建议使用 Anaconda 进行环境管理。
NVIDIA 驱动	确保安装与您的 GPU 兼容的 NVIDIA 驱动，以支持 CUDA。
CUDA Toolkit	CUDA 是 NVIDIA 提供的并行计算架构，确保安装与 PyTorch 兼容的版本。
cuDNN	NVIDIA 提供的深度学习库，用于加速卷积等操作，确保安装与 CUDA 版本匹配的 cuDNN。

1.2 安装 CUDA 和 cuDNN

• CUDA Toolkit: 可以从 NVIDIA CUDA Toolkit 下载页面 下载和安装适合您操作系统的版本。
• cuDNN: 可以从 NVIDIA cuDNN 下载页面 下载和安装适合您 CUDA 版本的 cuDNN。

1.3 示例安装步骤

1. 下载并安装 CUDA Toolkit。
2. 下载并安装 cuDNN。
3. 设置环境变量（如 PATH 和 LD_LIBRARY_PATH），以确保系统能够找到 CUDA 和 cuDNN。

1.4 PyTorch、CUDA 和 cuDNN 版本兼容性表

以下是 PyTorch 1.9 到 2.4 各版本支持的 Python、CUDA 和 cuDNN 版本的兼容性表格：

PyTorch 版本	支持的 Python 版本	支持的 CUDA 版本	支持的 ROCm 版本	支持的 cuDNN 版本
2.4	3.8, 3.9, 3.10, 3.11, 3.12	11.8, 12.1, 12.4	6.1	8.0.5, 8.1, 8.2
2.3	3.8, 3.9, 3.10, 3.11	11.8, 12.1	6.0	8.0.5, 8.1
2.2	3.8, 3.9, 3.10, 3.11	11.8, 12.1	5.6, 5.7	8.0.4, 8.0.5
2.1	3.8, 3.9, 3.10	11.8, 12.1	5.6	8.0.4, 8.0.5
2.0	3.8, 3.9, 3.10	11.7, 11.8	5.4.2	7.6.5, 8.0.0
1.13	3.8, 3.9, 3.10	11.6, 11.7	5.2	7.6.5, 8.0.0
1.12	3.7, 3.8, 3.9, 3.10	10.2, 11.3, 11.6	5.1.1	7.6.5
1.11	3.6, 3.7, 3.8, 3.9, 3.10	10.2, 11.3	4.5.2	7.6.5
1.10	3.6, 3.7, 3.8, 3.9	10.2, 11.1, 11.3	4.0.1, 4.1, 4.2	7.6.5
1.9	3.6, 3.7, 3.8, 3.9	10.2, 11.1, 11.3	4.2, 4.1, 4.0.1	7.6.5

参考资料：

• NVIDIA cuDNN Release Notes: 该链接提供了每个 cuDNN 版本的详细信息和兼容性说明。
• NVIDIA CUDA Toolkit Documentation: 该链接提供了 CUDA 的最新版本及其特性。
• PyTorch Installation Instructions: 该链接提供了有关 PyTorch 安装和版本兼容性的详细信息。

请根据您的需求和项目要求选择合适的版本组合，以确保系统的稳定性和性能。

二、检查 CUDA 和 cuDNN 版本

使用 PyTorch 提供的 API，可以轻松检查当前安装的 CUDA 和 cuDNN 版本。以下是示例代码：

import torch# 检查当前安装的 CUDA 版本和 cuDNN 版本
cuda_version = torch.version.cuda  # 获取 CUDA 版本
cudnn_version = torch.backends.cudnn.version()  # 获取 cuDNN 版本
pytorch_version = torch.__version__  # 获取 PyTorch 版本# 打印版本信息
print(f"CUDA Version: {cuda_version}")  # 打印 CUDA 版本
print(f"cuDNN Version: {cudnn_version}")  # 打印 cuDNN 版本
print(f"PyTorch Version: {pytorch_version}")  # 打印 PyTorch 版本

输出示例：

CUDA Version: 11.3
cuDNN Version: 8.2.1
PyTorch Version: 1.9.0

说明：

• CUDA（Compute Unified Device Architecture）是由 NVIDIA 提供的并行计算架构，广泛应用于高性能计算和深度学习任务。
• cuDNN（CUDA Deep Neural Network library）是 NVIDIA 针对深度学习任务优化的 GPU 加速库，为常见的深度学习操作（如卷积、池化等）提供高效实现。
• PyTorch 是一个流行的开源深度学习框架，具有动态计算图和灵活性，适合快速原型开发和研究。

三、检查 GPU 可用性

确保 PyTorch 能够利用 GPU 进行加速计算是非常重要的。以下代码将帮助您获取当前系统中可用的 GPU 信息：

import torch# 打印当前安装的 CUDA 版本和 cuDNN 版本
print("CUDA Version:", torch.version.cuda)  # 当前 CUDA 的版本
print("cuDNN Version:", torch.backends.cudnn.version())  # 当前 cuDNN 的版本\# 打印当前安装的 PyTorch 版本
print("PyTorch Version:", torch.__version__)  # 当前 PyTorch 的版本# 检查 PyTorch 是否可以使用 GPU
cuda_available = torch.cuda.is_available()  # 检查 CUDA 是否可用
print("CUDA Available:", cuda_available)  # 打印检查 CUDA 是否可用结果
print("CUDA Device Count:", torch.cuda.device_count())  # 打印可用的 CUDA 设备数量# 如果 CUDA 可用，获取更详细的设备信息
if cuda_available:current_device = torch.cuda.current_device()  # 获取当前 CUDA 设备的索引print("Current CUDA Device Index:", current_device)  # 当前使用的 CUDA 设备索引print("CUDA Device Name:", torch.cuda.get_device_name(current_device))  # 当前设备的名称# 获取显存信息device_properties = torch.cuda.get_device_properties(current_device)  # 获取设备属性total_memory = device_properties.total_memory  # 总显存，使用 total_memory 代替 total_global_memallocated_memory = torch.cuda.memory_allocated(current_device)  # 当前已用显存reserved_memory = torch.cuda.memory_reserved(current_device)  # 当前保留显存print("Total GPU Memory (bytes):", total_memory)  # 打印总显存（以字节为单位）print("Allocated GPU Memory (bytes):", allocated_memory)  # 打印当前分配的显存（以字节为单位）print("Reserved GPU Memory (bytes):", reserved_memory)  # 打印当前保留显存（以字节为单位）# 输出显存概述（可选）print(torch.cuda.memory_summary(current_device, abbreviated=False))# 测试 PyTorch 是否正常工作，并打印一个随机张量
print("PyTorch is working:", torch.rand(2, 2))  # 生成一个 2x2 的随机张量

输出示例：

说明：

• torch.cuda.is_available()：返回一个布尔值，指示系统中是否可以使用 GPU。
• torch.cuda.device_count()：返回系统中可用 GPU 的数量。
• torch.cuda.current_device()：获取当前使用的 GPU 设备的索引。
• torch.cuda.get_device_name()：返回指定索引的 GPU 设备名称。
• torch.cuda.get_device_properties()：获取 GPU 设备的详细属性，包括显存、计算能力等。

GPU 显存信息概述：

属性	说明
总显存 (Total Memory)	GPU 上可用的总显存量（以字节为单位）
已用显存 (Allocated Memory)	当前模型和数据所占用的显存量（以字节为单位）
保留显存 (Reserved Memory)	PyTorch 为优化性能而保留的显存量（以字节为单位）

四、测试 PyTorch 是否正常工作

确保 PyTorch 能正常运行的一种简单方法是生成一个随机张量。以下是示例代码：

# 测试 PyTorch 是否正常工作，并打印一个随机张量
random_tensor = torch.rand(2, 2)  # 生成一个 2x2 的随机张量
print("PyTorch is working:", random_tensor)  # 打印生成的随机张量

输出示例：

PyTorch is working: tensor([[0.1234, 0.5678],[0.9101, 0.1121]])

说明：

• 在这段代码中，我们使用 torch.rand() 函数生成一个 2x2 的随机张量，确保 PyTorch 正常工作。如果没有错误消息并成功打印出张量，那么您的安装和环境配置就是正确的。

五、PyTorch 中的 GPU 工作流程

在这一部分，我们将使用 Mermaid 图示来帮助可视化 PyTorch 中的 GPU 工作流程。以下图示展示了在使用 PyTorch 进行深度学习时的基本步骤，包括检查环境、选择设备、训练模型以及释放内存：

图示说明：

1. Start: 流程的起点。
2. Check CUDA and cuDNN Version: 确认系统中安装的 CUDA 和 cuDNN 版本与 PyTorch 兼容，以确保能有效利用 GPU 资源。
3. Check GPU Availability: 使用 PyTorch 检查是否有可用的 GPU 设备。
4. Is GPU Available?: 判断是否有可用的 GPU。
   • Yes: 如果有可用的 GPU，继续执行以下步骤。
   • No: 如果没有可用的 GPU，改为使用 CPU 进行训练。
5. Select GPU and Allocate Memory: 选择可用的 GPU 并为模型分配必要的内存资源。
6. Train Model: 开始模型的训练过程，包括前向传播、计算损失和反向传播。
7. Free Memory: 训练完成后，释放 GPU 占用的内存，以便其他进程可以使用。
8. End: 流程结束。

五、常见问题解答

5.1 如何更新 CUDA 和 cuDNN ？

您可以访问 NVIDIA 官方网站 下载最新的 CUDA 和 cuDNN，并按照说明进行安装。更新后，记得检查版本以确保更新成功。

5.2 如何在 PyTorch 中选择特定的 GPU？

如果您有多个 GPU 并希望在特定的 GPU 上运行模型，可以使用 torch.cuda.set_device() 函数设置当前设备。例如：

# 设置当前使用的 GPU 设备索引（如选择第二个 GPU）
torch.cuda.set_device(1)  # 选择索引为 1 的 GPU
print(f"Using GPU: {torch.cuda.get_device_name(torch.cuda.current_device())}")  # 打印当前使用的 GPU 名称

5.3 如何解决 CUDA 内存不足的问题？

CUDA 内存不足通常发生在模型太大或批处理大小过大时。以下是一些解决方法：

• 减小批处理大小：在训练模型时，尝试减小批处理的大小。
• 优化模型：考虑使用更轻量级的模型架构或减少模型的参数数量。
• 使用 torch.cuda.empty_cache()：在模型训练的特定阶段手动释放未使用的显存。

import torch# 释放未使用的显存
torch.cuda.empty_cache()

5.4 如何查看安装的 PyTorch 和 CUDA 兼容性？

可以访问 PyTorch 官方安装页面 查找不同 PyTorch 版本与 CUDA 版本之间的兼容性信息。

5.5 如何检查当前 PyTorch 是否使用 GPU 进行计算？

您可以通过以下代码检查 PyTorch 是否正在使用 GPU：

# 创建一个随机张量并将其转移到 GPU
device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
x = torch.rand(3, 3).to(device)  # 将张量转移到 GPU
print(f"Tensor is on: {x.device}")  # 打印张量所在设备

输出示例：

Tensor is on: cuda:0

总结

在本文中，我们深入探讨了如何在 PyTorch 中检查 CUDA 和 cuDNN 版本、可用 GPU 的信息，以及如何测试 PyTorch 是否正常工作。通过使用提供的示例代码，您可以轻松地验证您的深度学习环境配置是否正确，并确保可以充分利用 GPU 加速计算。

常用命令总结：

• 检查 CUDA 和 cuDNN 版本：

  print(torch.version.cuda)
  print(torch.backends.cudnn.version())
  

• 检查 GPU 可用性：

  print(torch.cuda.is_available())
  print(torch.cuda.device_count())
  

• 在特定 GPU 上运行：

  torch.cuda.set_device(device_index)
  

• 释放 CUDA 内存：

  torch.cuda.empty_cache()
  

在常见问题解答部分，我们提供了一些实用的解决方案，帮助您应对可能遇到的挑战，如更新 CUDA 和 cuDNN、选择特定的 GPU、处理 CUDA 内存不足的问题等。希望通过这篇博客，能帮助您更好地理解如何在 PyTorch 中使用 CUDA 和 cuDNN 进行深度学习，充分发挥 GPU 的潜力，提升模型训练的效率和效果。如果您有其他问题或需要进一步的帮助，请随时询问！

---