Cuda 和 GPU版torch安装最全攻略，以及在GPU 上运行 torch代码

  • 查看可用 torch 版本
  • 下载CUDA
  • 安装cudnn
  • 下载cudatoolkit
  • 下载 GPU版本的pyTorch
    • 先查看当前有哪些Torch 版本
    • 下载torch 和torchvision的 whl 文件
    • pip install 安装并检查
    • import torch 并检查是否可用的 cuda版本
  • 在GPU运行 torch 代码
  • GPU torch 常用指令
    • 指定 device 为 CPU 或 GPU
    • 查看GPU是否可用及设备名称
    • 在GPU上建立Tensor
    • 查看内存大小和显存信息
    • 如果GPU设备可用，将默认热备改为GPU
  • 总结
  • 参考

查看可用 torch 版本

在 conda prompt 中 检查是否有可用的GPU版本 torch.cuda，发现False

下载CUDA

命令行输入nvidia-smi，查看 cuda 信息：

从官网下载对应版本的安装程序 CUDA Toolkit Archive | NVIDIA Developer






安装cudnn

cudnn下载地址（无需注册）

版本匹配，下载最新

下载cudatoolkit

下载cudatoolkit

conda install pytorch torchvision torchaudio pytorch-cuda=11.7 -c pytorch -c nvidia

检查：下载完了在cmd里面查看conda的库,conda list,

下载 GPU版本的pyTorch

先查看当前有哪些Torch 版本

pip list:

下载torch 和torchvision的 whl 文件

GPU版本pytorch和pytorchvision下载地址
torch：

torchvision：

在下载地址所在的文件夹中cmd，进行安装，但是报错

说明需要更高版本：torch1.10以上,再下载：

对应torchvision 版本：

pip install 安装并检查


cmd中 pip list 检查：

import torch 并检查是否可用的 cuda版本

pythonimport torchtorch.cuda.is_available()torch.__version__

CMD中：

Anaconda Prompt 中:

二者是一致的。

此时：用pip install 方法安装了gpu版本的torch和torchvision，所以pip list 显示二者，但conda list 可能与之不一致，因为用的不是 conda install 命令。

但在pycharm虚拟环境中，base环境下显示的和 conda list 的版本是一样的

pip list:

conda List 和 pycharm 环境中显示的一样


但是，在pycharm中运行以下命令时，输出的是True 和 Torch: 1.10.2+cu113 而不是 1.8.1+cu111

import torchprint(torch.cuda.is_available())print(f"Torch: {torch.__version__}")

在GPU运行 torch 代码

安装好GPU版本的 torch 后，只要 torch.cuda.is_available() 是Ture ,就可以在GPU运行代码了”：

  1. 设置 device='cuda'
  2. 将 model 放到 gpu 上 model.to(device)
  3. 将label和data 放到 gpu 上 label.to(device)， data.to(device)
# 设置 device='cuda'device = 'cuda'# 将 model 放到 gpu 上model = ViT(dim=128,image_size=224,patch_size=32,num_classes=2,transformer=efficient_transformer,channels=3,).to(device)# 将label和data 放到 gpu 上for epoch in range(epochs):for data, label in tqdm(train_loader):data = data.to(device)label = label.to(device)

GPU torch 常用指令

import torch

指定 device 为 CPU 或 GPU

# 指定 CPUcpu1 =torch.device("cpu:0")print("CPU Device:【{}:{}】".format(cpu1.type,cpu1.index))# 指定 GPUgpu =torch.device("cuda:0")print("GPU Device:【{}:{}】".format(gpu.type,gpu.index))

查看GPU是否可用及设备名称

print("Total GPU Count:{}".format(torch.cuda.device_count())) #查看所有可用GPU个数print("Total CPU Count:{}".format(torch.cuda.os.cpu_count())) #获取系统CPU数量print(torch.cuda.get_device_name(torch.device("cuda:0"))) #获取GPU设备名称 NVIDIA GeForce GT 1030print("GPU Is Available:{}".format(torch.cuda.is_available()))#GPU设备是否可用True

在GPU上建立Tensor

# 建立 Tensordevice = torch.device('cuda:0')# 使用 tensor 在 cpu 建立再转移到 gpugpu_tensor1= torch.Tensor([[1,4,7],[3,6,9],[2,5,8]]).to(device)# 使用to()方法将cup_tensor转到GPU上# 直接在 gpu 上建立gpu_tensor2 = torch.tensor([[1,4,7],[3,6,9],[2,5,8]],device=device)gpu_tensor3 = torch.rand((3,4),device=device) # 方法一 直接申明 devicegpu_tensor4= torch.randn(3,4).float().to(device)# 方法二 使用 to device 转移print(gpu_tensor1)print(gpu_tensor2)print(gpu_tensor3)print(gpu_tensor4)

查看内存大小和显存信息

torch.cuda.empty_cache()# 释放没有使用的缓存数据print(torch.cuda.memory_cached()) # 获取缓存数据大小print(torch.cuda.max_memory_cached()) # 最大缓存大小print(torch.cuda.max_memory_allocated()) # 最大分配内存大小print(torch.cuda.memory_summary())# 查看显存信息

如果GPU设备可用，将默认热备改为GPU

#创建默认的CPU设备device = torch.device("cpu")#如果GPU设备可用，将默认设备改为GPUif(torch.cuda.is_available()):device = torch.device("cuda")

总结

  • 所以有时候即使pycharm里的torch看起来是有cuda版本的，但实际代码运行起来报错： AssertionError Torch not compiled with CUDA enabled 还是要去 Cmd 或者 Anaconda Prompt 中看一下是否有可用的 GPU 版本 torch 如果是 False , 就要重新 Pip install 安装
  • 而且，运行Vit-pytorch 的时候，要求 torch >=1.10.0，所以要选1.10以上的torch
  • 而且，安装torchvision 的时候，要和刚刚安装torch 的版本对应，不然会给你uninstall 掉刚刚安装的torch（一不小心又变回cpu版本）
  • 安装好GPU版本的 torch 后， torch.cuda.is_available() 是Ture ,就可以在GPU运行代码了

参考

解决AssertionError Torch not compiled with CUDA enabled问题
pytorch gpu版本的最全安装教程，含环境配置、CUDA（百度云下载）安装程序失败解决方案
Pytorch(GPU版)安装
GPU版本pyTorch安装教程(实测,特别详细)