首先确保宿主机正常安装了显卡驱动

nvidia-smi

打印显卡信息如下：

安装nvidia-container-toolkit工具

sudo apt-get update && sudo apt-get install -y nvidia-container-toolkit
sudo systemctl restart docker

运行如下命令测试显卡是否在容器内可用

docker run --rm --gpus all nvidia/cuda:11.3.1-base-ubuntu18.04 nvidia-smi

正常情况下会打印显卡信息，说明已经可以使用了。

问题

1.提示Failed to initialize NVML: Unknown Error

可以尝试编辑配置文件:

sudo vim /etc/nvidia-container-runtime/config.toml

将[nvidia-container-cli]的no-cgroups = true改为false
保存，重启docker

sudo systemctl restart docker

此时再次使用临时容器测试是否可用。