对于大模型的微调以及推理,对显卡的要求较高,我们就可以通过租一台来进行训练,这里我租用的是:AutoDL算力云 | 弹性、好用、省钱。租GPU就上AutoDL
推荐博客:新手小白如何租用GPU云服务器跑深度学习_gpu租用-CSDN博客
这里有些步骤我就直接用上面博客的,没有必要再写一遍,并结合自己的实践进行补充。
下面展示如何用租用的GPU跑pycharm中的代码:
1.租用服务器:
这里提醒一下你如果跑大模型最低也得3090,这里我推荐如果就一般7b左右的用4090就够了。直接选基础镜像即可。
这里提醒一点,在训练前对于环境的部署我们为了省钱开启无卡模式:
往往配置好要正式启动时发现GPU被其他人占用了,我们就要点上面的保存镜像,这样租其他服务器时就不用重新配置环境了。
2.Pycharm专业版:我是学生认证从Jetbrains Toolbox中获取的。
3.建立远程SSH连接:
这一步就是把远程租用GPU解释器作为自己pycharm的解释器,具体步骤如下:
(1)找到实例:
(2)远程SSH连接:
这里我上次已经连接过了,具体可以参照上面的博客。现在就是把本地代码同步到租用的服务器上:
首先我们要知道执行流程:
用租的gpu跑代码的流程是pycharm会将你的代码上传到服务器上,然后用linux指令再去跑这段被上传过的代码
现在上传代码:
(3)终端:
选用远程租用的解释器
4.在终端中就可以运行代码了。
注意事项:
1.在配置环境,上传文件时推荐用无卡模式省钱
2.上传数据:
对于大型文件推荐用:FileZilla
在文件中打开站点管理器,建立新站点并命名
对于协议:SFTP
主机:
为登入指令@后面的部分
端口:@前面的数字
用户:root
密码:就是租用的密码
连接完成:
3.一些常用的功能:
在Pycharm中显示云服务器文件目录: