【Win10安装Tensorrt和torch2trt】

1 前言

1.1 实验环境

（1）主机系统：Win10

（2）显卡： Quadro RTX 6000

（3）CUDA版本：V11.7.64

（4）Python：3.8.18

（5）TensorRT：8.6.1.6

1.2 下载链接

（1）TensorRT8.6.1.6下载链接（下载资源包）: https://developer.nvidia.com/tensorrt

（2）pycuda下载链接（(pip 离线安装）：https://pypi.org/project/pycuda/2022.1/#history

也可在线下载：pip install pycuda；用于从 Python 访问Nvidia的CUDA并行计算 API。

（3）torch2trt下载链接（(pip 离线安装）：https://github.com/NVIDIA-AI-IOT/torch2trt

（4）在线安装onnx和cython: pip install onnx cython

2 具体安装

2.1 TensorRT安装

2.1.1 设置环境变量

1、 解压下载的资源包，并将TensorRT对应的lib位置添加至系统环境变量。

2.1.2 安装TensorRT资源包中的3个whl文件

如上图所示，分别在graphsurgeon、python、uff在3个文件夹中找到对应的以下3个whl文件，并使用pip install 进行安装。

pip install graphsurgeon-0.4.6-py2.py3-none-any.whl
pip install tensorrt-8.6.1-cp38-none-win_amd64.whl
pip install uff-0.6.9-py2.py3-none-any.whl

2.1.3 复制tensorrt的库到CUDA安装目录的指定文件夹

（1）将 TensorRT-8.6.1.6\include中头文件复制到C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.7\include
（2）将TensorRT-8.6.1.6\lib 中所有lib文件复制到C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.7\lib\x64
（3）将TensorRT-8.6.1.6\lib 中所有dll文件复制到C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.7\bin

2.2 安装torch2trt

git clone https://github.com/NVIDIA-AI-IOT/torch2trt.git
cd torch2trt
python setup.py install

2.3 验证是否安装成功

不报错即表示安装成功！