工欲善其事,必先利其器

查看本机适配的CUDA 版本

要想安装TensorRT必须要先安装CUDA和cudnn,那么首先需要去查看自己电脑的英伟达驱动程序程序,位置如下:

NVIDIA控制面板->帮助->组件,如下图所示本机适配CUDA版本为11.6

下载CUDA安装包

进入CUDA 安装包的下载地址如下:

下载cuDNN安装包

进入英伟达官方网站,选择和自己适配的cuDNN版本,地址如下:

cuDNN Download | NVIDIA Developer

如果没有帐户,需要先进行注册

下载TensorRT安装包

进入英伟达官网,选择和自己机器适配的TensorRT,地址如下:

NVIDIA TensorRT 8.x Download | NVIDIA Developer

流程化安装软件包

(1)安装CUDA

双击exe文件解压

NVIDIA安装->仅需一路点击确下一步然后结束

安装成功的标志:

(2)安装cuDNN

解压与拷贝

因cuDNN属于是CUDA的一个补丁包,因此不要安装,仅需要将上述三个bin\include\lib文件夹中的相关文件拷贝到CUDA安装位置的bin,include,lib\x64文件夹中。

本电脑默认CUDA路径为:C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.6

验证

分别运行如下两个命令,若均为pass验证通过,则表示安装成功。

C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.6\extras\demo_suite>bandwidthTest.exe

C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.6\extras\demo_suite>deviceQuery.exe

(3)安装TensorRT

解压安装包后得到如下所示图:

安装TensorRT文件夹中的.whl文件*

pip install D:\chorm-download\TensorRT-8.4.1.5.Windows10.x86_64.cuda-11.6.cudnn8.4\TensorRT-8.4.1.5\python\tensorrt-8.4.1.5-cp38-none-win_amd64.whl 其中cp38是依据环境使用的python版本获取的
pip install D:\chorm-download\TensorRT-8.4.1.5.Windows10.x86_64.cuda-11.6.cudnn8.4\TensorRT-8.4.1.5\graphsurgeon\graphsurgeon-0.4.6-py2.py3-none-any.whl 
pip install D:\chorm-download\TensorRT-8.4.1.5.Windows10.x86_64.cuda-11.6.cudnn8.4\TensorRT-8.4.1.5\onnx_graphsurgeon\onnx_graphsurgeon-0.3.12-py2.py3-none-any.whl
pip install D:\chorm-download\TensorRT-8.4.1.5.Windows10.x86_64.cuda-11.6.cudnn8.4\TensorRT-8.4.1.5\uff\uff-0.6.9-py2.py3-none-any.whl

安装完成相应的库以后,需要注意将TensorRT-8.4.1.5文件夹下的lib\include中的文件进行如下拷贝工作,防止在运行tensorrt时候无法找到相对应的Nvinfer.dll

  • TensorRT-8.4.1.5中include文件夹下所有文件拷贝到C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.6\include

  • TensorRT-8.4.1.5中lib文件夹下所有lib文件拷贝到C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.6\lib\x64

  • TensorRT-8.4.1.5中lib文件夹下所有dll文件拷贝到C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.6\bin

(4)验证TensorRT是否安装成功

查看trt的版本

运行TensortRT文件夹下的sample.py

如果遇到错误:

解决方法:

去英伟达官网找到对应的zlibwapi.dll(依据电脑版本下载X64、X86版本的)文件,地址如下:zlibwapi,并将该dll拷贝到C:\Windows\System32文件夹下

至此,windows安装TensorRT的过程就结束了。