Win11 TensorRT环境部署

一、CUDA和CUDNN安装

cuda和cudnn网上有很多安装教程，这里列举了一些，就不详细说了，具体链接如下：

csdn.net - CUDA安装教程（超详细） 原创
zhihu.com - 深度学习之CUDA+CUDNN详细安装教程
tencent.com - CUDA安装教程（超详细）
csdn.net - CUDA与cuDNN安装教程（超详细） 原创
juejin.cn - cuda和cudnn安装教程
tencent.com - Cuda和cuDNN安装教程(超级详细)

我的配置：py3.8 + cuda1.6 + cudnn8.9.0

二、安装TensorRT

我们可以根据个人的cuda版本去安装TensorRT版本。
由于我电脑上的cuda版本是11.6，这里我选择TensorRT8.6.

可以看到TensorRT8.6版本兼容cuda11.6的。我这里使用的是IDM，所以很快就下载完了。最后下载完是一个zip压缩包，解压文件，如下图所示。

三、安装文件

解压缩下载的TensorRT文件，并在以下TensorRT的四个文件夹中使用pip install xxxxxx.whl方式安装里面的文件。

最后一个文件夹的文件比较多，我根据自己的python版本选择的是红框中的。可以看到还有几个cp3.8的其他文件，dispatch和lean只有最新的TensorRT版本里才有，老版本没有。具体这这三种文件的差异如下：
在TensorRT中，这三个文件都是针对Windows系统和Python 3.8的TensorRT Wheel包，但它们分别代表TensorRT库的不同部分或变体：

tensorrt-8.6.1-cp38-none-win_amd64.whl：

• 这个文件是TensorRT的标准版Python Wheel包。
• 它包含了TensorRT库的主要功能，用于深度学习模型的优化和推理。
• 适用于需要TensorRT所有功能的通用用途。

tensorrt_lean-8.6.1-cp38-none-win_amd64.whl：

• “Lean”版本可能是TensorRT的一个精简版，它可能去除了某些不常用的功能或组件，以便在资源受限的环境中提供更高效的执行。
• 这种版本可能特别适合于那些只需要TensorRT核心功能的应用场景。

tensorrt_dispatch-8.6.1-cp38-none-win_amd64.whl：

• “Dispatch”版本可能包含了TensorRT的动态调度功能，这意味着它可以在运行时根据不同的输入参数或环境条件来动态选择最适合的处理逻辑或算法。
• 这对于需要在多种不同配置或硬件上运行的应用来说可能非常有用。

可以根据需求，安装对应python版本的TensorRT的文件。

四、添加环境变量

可以看到，TensorRT,，安装成功。

最后，我们用TensorRT自带的测试项目进行环境检测：

如果你的环境安装顺利，运行该测试项目可以看到以下结果。

最后：

我的电脑环境配置：
python3.8 + cuda11.6 + cudnn8.9.0 + tensorrt8.6.1.6