NVIDIA深入理解之pynvml库

一、前言

写在前面

该文章是对我之前文章《Fedora上安装NVIDIA闭源显卡驱动》的一个拓展，正好寒假闲的没事干不如加深一下对NVIDIA的了解。Python是当前非常流行的一门编程语言，它以kiss为设计思想，能封装就能封装，给用户提供比较良好且便于理解的编程体验，那么我们尽量要了解的这个库叫做pynvml,它是Python的一个第三方库，提供了对NVIDIA的管理库（NVML）的接口，使得开发者在正确安装NVIDIA闭源驱动（无论是run包还是包管理器封装的驱动）后，都可以使用该库与NVIDIA GPU进行交互，以获取GPU当前的一些状态信息和参数。为了简便称呼，我以下提及的“GPU”专门指的是NVIDIA显卡，本文章默认你已经安装好了闭源驱动，如果没有正确安装，可以去我之前的文章看一看。

在Windows操作系统中，我们去查看GPU信息是一件非常简单且合理的事情，实际上只要打开Windows任务管理器，里面就已经有GPU的各种信息，有一个图形界面就是好。但是在Linux中，查看GPU信息真是一件貌似不太容易的事情，实际上也是非常容易的，你看完我的文章就会清楚了。

实际上我们并不一定要通过pynvml这个库去了解GPU状态信息，实际上等你安装好闭源驱动之后，它本身就提供了一个脚本去查看一些信息，比如nvidia-smi。这个我们在之前的文章里就已经演示过了，这里不再赘述（你在terminal直接敲这个命令就好了）。这里我再推荐若干好用的工具帮你查看GPU信息。

当你学习并了解了NVIDIA显卡驱动的API使用，你也许会好奇AMD显卡和Intel显卡驱动是否也提供若干API以供用户参考和使用，很抱歉我没有搭载AMD显卡的设备，不能实操说明，不过你可以搜索rocm-smi这个工具，并且py3nvml库虽然是主要为NVIDIA显卡设计的，但是它也貌似支持AMD显卡的基本信息显示，你可以试一试，然后告诉我。

工具介绍

1、Linux风格的工具? --? nvtop

????????大家知道在Linux中查看进程/内存占用等信息的工具叫top,那么nvtop就是专门用来查看GPU显卡信息的工具，是非常*iux的工具。

sudo dnf install nvtop

效果如图所示，大家在使用Linux时一定要使用这种terminal风格的信息显示，特别是服务器管理的时候很少是安装了图形界面的，因此命令行才是最高效的查看和管理服务器的方法。

2、Windows风格的工具 -- Mission Center

Mission Center | Flathub

这是flathub上一个非常有名的模仿Windows风格任务管理器的资源查看器。

只有在安装NVIDIA闭源驱动之后GPU0那一项才会显示，否则是没有那一项的，请大家注意。

3、KDE桌面自带了资源显示功能?

上图中左下角黑框框里面的就是GPU信息，可以放在桌面上实时查看，是不是非常炫酷呢？

二、正文

简单介绍pynvml的含义

好了，以上都是前言部分，下面我们开始正式介绍pynvml库（是不是都快忘记主题了）。

首先我们必须清楚pynvml为什么叫这个名字，我一开始了解的时候也感觉很困惑，这个名字太奇怪了，老是敲错这个nvml.NVML是NVIDIA Manager Lib的简写，它是由NVIDIA官方使用c语言编写的、用于管理和控制NVIDIA硬件的一组程序。NVML提供一组API,开发者可以通过API来查询和控制NVIDIA显卡的状态和配置，比如电源管理、温度控制、性能监控等。NVML和CUDA都是NVIDIA提供的工具，它们通常被显卡开发者同时使用以发挥GPU的最大性能。

NVIDIA Management Library (NVML) | NVIDIA Developer

NVML的官方解释在这里

虽然NVIDIA驱动是闭源的，但是这个驱动对外提供的接口是开放的，NVIDIA官网也有给出详细的函数说明，不过我们使用c/c++去查看显卡信息确实是小题大做了，没有这个必要，这是GPU驱动开发人员应该做的事情。那么对于非NVIDIA驱动开发人员来说，不需要深入挖掘NVIDIA的功能。pynvml这个命名也是一个经典组合，它意味着该库是NVML的Python绑定，除此之外还有PYQT、pygtk等库也是这个命名。

pynvml编程实践

1、安装pynvml

pip install pynvml

Linux环境中如果没有pip,需要先安装pip。

我这里需要说明一下pynvml是比较早期的一个库了，它是兼容Python2和Python3的，我们目前都是使用Python3居多，因此有一个名叫py3nvml的新库只支持Python3,大家也可以使用这个库。

pip install py3nvml

pynvml库开源项目

py3nvml库开源项目

有感兴趣开发可以关注这两个开源项目，可以提交pr给开源做贡献。

2、编程思路

使用pynvml库的基本思路如下：

注意这里说的是基本思路，如果您是驱动开发者，可以不遵守基本思路。

①导包

Python库使用前必须import，导包使用固定格式就好

②初始化

第二步和第五步是成双成对的，由于pynvml会调用显卡驱动程序，因此pynvml在使用前要建立和NVIDIA驱动的连接，在连接的时候是要占用一些系统资源的（比如内存缓冲区、CPU时间），然后使用完了之后需要释放这些资源，因此我们要遵守开发规范。

③获取设备句柄（Handle）

有很多计算机设备是不止一个GPU的，比如一台计算机有两个GPU（核显与独显），甚至多个GPU组成阵列也是非常正常的，因此你得告诉pynvml你要观察的是哪一块GPU,不能张冠李戴啊。

④调用函数

当你获取到Handle之后，也就是告诉pynvml你要观察的GPU号，然后就可以获取信息了，那么获取信息要调用库函数。

⑤释放NVML

有申请就有释放。

那么以下是一个符合开发规范的简单的例子：

编程环境：

OS：Fedora Linux

IDE：vscode

解释器版本：Python3.12.1

from pynvml import * #导包
import humanfriendly

nvmlInit()  #初始化

handle = nvml.nvmlDeviceGetHandleByIndex(0) #获取句柄

#获取GPU温度信息
temperature = nvmlDeviceGetTemperature(handle,NVML_TEMPERATURE_GPU)
print("GPU Temperature:",temperature)

#获取GPU显存信息
memory_info = nvmlDeviceGetMemoryInfo(handle)
print("Tota memory",humanfriendly.format_size(memory_info.total))
print("Free memory",humanfriendly.format_size(memory_info.free))
print("Used memroy",humanfriendly.format_size(memory_info.used))

nvmlShutdown()  #释放

除了pynvml库我们还使用了humanfriendly库，这个库也是需要安装的。

输出结果：

GPU Temperature: 41
Tota memory 6.44 GB
Free memory 5.32 GB
Used memroy 1.12 GB

当前GPU的温度是41摄氏度，显存是6.44GB,已经使用了1.12GB，还剩5.32GB。

我的代码中，直接使用了nvmlDeviceGetHandleByIndex(0)来获取句柄，这是因为我只有一块显卡，所以我知道它就是GPU0,计算机从0开始计数，如果你不知道你的GPU编号的话，可以遍历一遍所有GPU，以确定你要观察哪一块GPU.

from pynvml import *

nvmlInit()

GPU_count = nvmlDeviceGetCount()
print(GPU_count)

for i in range(GPU_count):
    handle = nvmlDeviceGetHandleByIndex(i)
    name = nvmlDeviceGetName(handle=handle)
    print(name.encode('utf-8'))

nvmlShutdown()

输出结果：

1
b'NVIDIA GeForce GTX 1660 Ti'

也就是我总共只有一块GPU,并且这块GPU的名字是GTX 1660Ti 。

我首先获取了我的GPU设备的数量，然后遍历这些GPU设备分别获取它们的句柄，再通过函数调用获得显卡名字，最后打印出来，思路应该比较清晰。

相信大家也看出来了，导包、初始化、获取句柄、释放，这几个操作几乎都是固定搭配，不用修改的，就是函数调用这一步需要学习，那么我们就重点讲函数调用。

我们分析一下这几个函数的名字特点：

其实它们虽然看起来名字长很复杂，其实拆分开来看是相当有规律的，是小驼峰命名法。

nvml + Device + Get + 你要获取什么信息

比如你要获取内存信息：nvmlDeviceGetMemoryInfo

?然后函数调用的时候必须携带句柄信息。

了解到这些原则之后编程就简单起来了。

我列出一下一些函数，以供大家参考：

nvmlDeviceGetCount()	获取系统中的GPU设备数量
nvmlDeviceGetHandleByIndex(index)	根据设备的索引号获取设备的句柄
nvmlDeviceGetName(handle)	根据设备的句柄获取设备的名称
nvmlDeviceGetMemoryInfo(handle)	根据设备的句柄获取设备的内存信息
nvmlDeviceGetTemperature(handle, sensorType)	根据设备的句柄和传感器类型获取设备的温度
nvmlDeviceGetFanSpeed(handle)	根据设备的句柄获取设备的风扇速度
nvmlDeviceGetPowerState(handle)	根据设备的句柄获取设备的电源状态
nvmlDeviceGetUtilizationRates(handle)	根据设备的句柄获取设备的使用率
nvmlDeviceGetPerformanceState(handle)	根据设备的句柄获取设备的性能状态
nvmlDeviceGetPowerManagementMode(handle)	根据设备的句柄获取设备的电源管理模式
nvmlDeviceGetPowerUsage(handle)	根据设备的句柄获取设备的电源使用情况
nvmlDeviceGetPowerLimit(handle)	根据设备的句柄获取设备的电源限制

这里要提醒一下，并不是所有设备都支持以上的函数，越新的设备会有更多的传感器，会支持更多的函数，旧设备也许因为一些问题，比如没有对应的传感器或缺少部分驱动导致一些函数调用失败，那么如果失败的话是会报错了，大家在编程的时候要注意报错的可能性。

Traceback (most recent call last):
? File "/home/april_zhao/文档/practice/Python/nvidia/test2.py", line 19, in <module>
? ? print(nvmlDeviceGetFanSpeed(handle))
? ? ? ? ? ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
? File "/home/april_zhao/.local/lib/python3.12/site-packages/pynvml/nvml.py", line 2275, in nvmlDeviceGetFanSpeed
? ? _nvmlCheckReturn(ret)
? File "/home/april_zhao/.local/lib/python3.12/site-packages/pynvml/nvml.py", line 833, in _nvmlCheckReturn
? ? raise NVMLError(ret)
pynvml.nvml.NVMLError_NotSupported: Not Supported

比如我的这张1660Ti显卡就不支持获取显卡风扇转速，也许是因为笔记本显卡的原因，硬件上可能没有单独的GPU风扇，散热归主板管了，显卡驱动没有能力查看其他硬件的风扇情况。因此这里是直接报错的，"Not Supported"，表明不支持该函数，可以使用try语句去解决这个问题。

?除了打印GPU整体信息外，我们还可以打印占用GPU的进程的信息。

from pynvml import *
import humanfriendly

nvmlInit()

handle = nvmlDeviceGetHandleByIndex(0)

processes = nvmlDeviceGetComputeRunningProcesses(handle=handle)
for process in processes:
    print("Process ID:",process.pid)
    print("Memory Used:",humanfriendly.format_size(process.usedGpuMemory))


nvmlShutdown()

它可以去检查占用当前GPU的进程的信息。

输出：

Process ID: 3811
Memory Used: 232.57 MB

那么PID为3811是哪一个进程呢？

原来是我们的Chrome浏览器正在占用GPU,因为我现在正在写文章，所以Chrome肯定是开着的。

该文章需要更加深入的总结，请给我一点点时间。