深度学习训练时，常常需要监视显卡性能情况。在Linux/Ubuntu平台命令行输入nvidia-smi就可以监测显卡性能。
在Windows平台要稍微复杂一些。
先要找到显卡驱动安装位置。我的是C:\Program Files\NVIDIA Corporation\NVSMI。
文件夹中有一个nvidia-smi.exe。
利用命令行打开该文件可以查看显卡运行情况。如图。
参数注释
- 第一栏GPU Fan：N/A是风扇转速，从0到100%之间变动，我们的风扇转速为55%。
- 第二栏的Temp：是温度，单位摄氏度。当前82摄氏度。
- 第三栏的Perf：是性能状态，从P0到P12，P0表示最大性能，P12表示状态最小性能。
- 第四栏下方的Pwr：是能耗，上方的Persistence-M：是持续模式的状态，持续模式虽然耗能大，但是在新的GPU应用启动时，花费的时间更少，这里显示的是off的状态。
- 第五栏的Bus-Id是涉及GPU总线的东西，domain?device.function
- 第六栏的Disp.A是Display Active，表示GPU的显示是否初始化。
- 第五第六栏下方的Memory Usage是显存使用率。 我们8G的显存使用了5G左右。
- 第七栏是浮动的GPU利用率，我们的利用率是95%
- 第八栏上方是关于ECC的东西。
- 第八栏下方Compute M是计算模式。
但是运行该命令只能查看一次。
想要实时监控，需要输入命令
nvidia-smi -l
然后就会每隔几秒刷新一下上面这张图。
用下面这个命令是一个简单版本的监视器
nvidia-smi dmon
其他功能在该文件夹下的同名PDF文件都有介绍。
