1、cuda11.8的下载

首先在cuda官网下载我们需要的cuda版本，这里我下载的是cuda11.8（我的最高支持cuda12.0）

这里我直接使用wget命令下载不了，于是我直接在浏览器输入后面的链接下载到本地，之后再上传至服务器的：

https://developer.download.nvidia.com/compute/cuda/11.8.0/local_installers/cuda_11.8.0_520.61.05_linux.run

2、cuda11.8的安装

（1）假设用户名为andy，即/home/andy，在这个文件夹下手动创建一个文件夹名为cuda-11.8（即/home/andycuda-11.8），然后在cuda-11.8文件夹里创建一个文件夹为mylib（即/home/andycuda-11.8/mylib）。接下来把之前下载的cuda_11.8.0_520.61.05_linux.run文件上传到/home/andy/cuda-11.8文件夹。
（2）接下来使用如下命令进入此文件夹：

/home/andy/cuda-11.8

然后使用如下命令更改文件的执行权限：

chmod 755 cuda_10.2.89_440.33.01_linux.run

于我们不是管理员用户，因此无法使用sudo安装，因此直接执行以下命令安装：

 sh cuda_10.2.89_440.33.01_linux.run

（3）接下来的参考：手把手教会你在Linux服务器上安装用户级别的CUDA
1）在这里输入accept

2）然后类似于上述这个教程的图片（自己的忘记保存了，原理是一样的）：我安装的是11.8，那就是只勾选CUDA Toolkit 11.8，其他的按Enter键就可以把里面的X取消。

3）在取消其他的勾选之后，光标移动到Options这里，按Enter。

然后光标移动到Change Toolkit Install Path，按Enter，然后我们可以将之前创建的目录粘贴过来：

/home/andy/cuda-11.8

然后移动到Done，再按Enter，又回到之前的界面。

4）回到Options菜单，光标移动到Library install path，按Enter，然后在里面将之前创建的另一个目录粘贴过来：

/home/andycuda-11.8/mylib

回车Done。

5）然后返回主界面，选择Install

3、安装完成后的环境配置

当看到界面里有successfully的字眼时，就表明安装成功了。这时候，还需要进行环境配置。
首先进入到用户主目录里cd /home/andy

执行vim ~/.bashrc修改命令相关参数：按i进入编辑模式，然后在最下方按鼠标右键粘贴即可添加刚刚安装cuda的路径：

export PATH="/home/andy/cuda-11.8/bin:$PATH"
export LD_LIBRARY_PATH="/home/andy/cuda-11.8/lib64:/home/andy/cuda-11.8/mylib/lib64:$LD_LIBRARY_PATH"

之后按Esc，再按:，接下来输入wq，即可保存并退出。

最后执行以下命令，使配置生效：

source ~/.bashrc

4、检查CUDA和pytorch能否使用.

命令行输入 nvcc -V 查看cuda版本，如果符合预期，则安装成功。

之后安装cudnn参考这个：

【Ubuntu 20.04LTS系统】安装CUDA11.8、cuDNN，可进行CUDA版本切换