使用AutoDL训练YOLO等计算机视觉网络模型(AutoDL+Xftp+VS Code),附详细操作步骤

前言

本文记录利用AutoDL云服务器,使用VS Code远程连接进行模型训练,步骤完整,操作简便,不需要使用任何命令即可快速运行🚀。


专栏目录:YOLOv11改进目录一览 | 涉及卷积层、轻量化、注意力、损失函数、Backbone、SPPF、Neck、检测头等全方位改进

专栏地址:YOLOv11改进专栏——以发表论文的角度,快速准确的找到有效涨点的创新点!

文章目录

  • 前言
  • 一、账号注册
    • 1.1 AutoDL简介
    • 1.2 用户注册
  • 二、创建实例
    • 2.1 基础镜像
    • 2.2 社区镜像
    • 2.3 个人镜像
  • 三、上传数据
    • 3.1 直接上传
    • 3.2 Xftp上传
  • 四、远程连接
    • 4.1 安装VS Code和相关插件
    • 4.2 连接云端
    • 4.3 模型训练
  • 五、实时监控GPU、内存等占用曲线

一、账号注册

1.1 AutoDL简介

AutoDL AI算力云是一个提供人工智能算力服务的云平台。以下是关于它的一些特点:

在这里插入图片描述

  1. 丰富的GPU资源:提供多种GPU型号,包括NVIDIA的A100A800L40V100RTX 4090RTX 3090等,能满足我们在不同场景下的需求,无论是进行大规模的AI训练还是复杂的科学计算等任务,都可以找到合适的GPU资源。

  2. 灵活的付费方式:支持按量付费包日包周包月等多种付费模式。对于短期的实验或不确定时长的项目,可以选择按量付费;如果有长期稳定的算力需求,预付费或包周包月则可能更划算,可以根据自己的需求和预算进行选择。

  3. 集成主流框架:集成了TensorFlowPyTorch等多种主流的深度学习框架,并且支持多个深度学习框架版本的切换以及底层CUDA的切换,方便用户快速搭建自己的深度学习环境,减少了环境配置的时间和难度

  4. 开发者社区支持:有相关的开发者社区,为用户提供了代码索引、镜像托管和模型托管等服务。这对于算法开发者和研究者来说,可以更方便地管理和分享自己的代码和模型。

1.2 用户注册

  1. 首先进入AutoDL官网:https://www.autodl.com/home
  2. 点击右上角的立即注册,填写手机号进行注册。注册完成之后会有一个10元代金券,可以先体验一下。

在这里插入图片描述
3. 登陆后点击控制台,进入个人界面,点击认证学生升级炼丹会员填写教育邮箱,在租卡的时候便宜很多。

在这里插入图片描述


二、创建实例

新创建的实例都会放在这里,我这里已经创建了4个实例,新注册的这里是空白的。

重新创建新实例,点击容器实例租用新实例

在这里插入图片描述

2.1 基础镜像

进入到租用新实例中就可以选择自己的卡配置了。

这里的计费方式地区GPU型号GPU数量主机的详细信息和注意事项我已经标在图上,按照自己的需求选择就行了。

在这里插入图片描述
📢 注意,在第⑤点中,显存是24GB,也就是说系统盘有24GB大小,硬盘数据盘中有50GB,一共可用的空间有74GB,再多的空间就需要扩容并额外收费了。

在官方给的基础镜像中,最方便的一点就是不用再关心PyTorch与CUDA版本之间的匹配问题了,里面全都配置好了。你只需要关心你的项目代码用的是哪一个版本的PyTorch,然后选择这个版本就行了。

在这里插入图片描述
在这里插入图片描述
像这样选择你的配置就行了,这样基础实例就设置好了,有优惠券的选择优惠券就行,然后点击立即创建就可以了。
在这里插入图片描述

点击之后就会在实例容器中出现刚刚创建好的实例,租卡就开始了。此时也就开始计费了,不用的时候记得及时关机。

当然也可以在更多选项中选择无卡模式开机此时只需要0.1/h,这个时候是不能调用GPU的,但可以做一些基础的调试工作,还可以上传数据(我没有使用官方的文件存储功能进行上传数据,是自己上传的,第三节会讲到)。

无卡模式需要在关机状态下才能开启。

在这里插入图片描述

关机之后若是再次使用有卡模式,需要等待是否有卡空闲,GPU充足时才可开机。

在这里插入图片描述

这样基础的实例创建就完成了,这是最常用的一种。

接下来会讲解另外两种极其方便、有效的两种创建方式,并在第三节和第四节中讲解如何使用创建后的实例,进行模型训练等工作。

2.2 社区镜像

在卡的配置这一块和基础镜像的创建是完全一致的,只需要选择自己想用的卡就行了。

❗❗❗重点是在镜像选择中,选择社区镜像,这里面都是一些用户配置好的项目文件,包括代码和环境,也就是说,你只需要把你的数据上传之后就可以直接训练了,不用再考虑任何环境的问题,非常方便。
在这里插入图片描述

关键是里面一些主流,最新的模型都有,想用哪个就用哪个就行,省了大量搭建环境的时间,也不需要担心会发生任何报错问题(只要原镜像没有问题)😆。

在这里插入图片描述
在这里插入图片描述
点击创建,就完成啦~

2.3 个人镜像

控制台中选择镜像。镜像中保存了个人创建的实例,包括整个项目(代码和环境)。

个人创建的实例可以进行保存,在更多中选择保存镜像,就会保存到镜像里,我这里是保存了三个镜像。

在这里插入图片描述

📢 注意免费的空间是30个GB,超出的部分按照0.01/GB/日收费。

在这里插入图片描述
这个功能的好处是可以在创建新实例时选择自己保存的实例,然后多开几个实例进行训练,以防没有卡的情况,无法训练。更重要的是不用再次配置环境。

同样,在卡的配置这一块和基础镜像的创建是完全一致的,只需要选择自己想用的卡就行了。其次只需要在镜像处在我的镜像中选择可用的镜像就行了。

在这里插入图片描述
❗❗❗ 更更重要是,保存的镜像可以分享给指定用户,搭建的环境,项目,改动的内容,可以直接完整的分享给我们指定的用户,分享的人可以再次通过我的镜像创建分享得到的镜像。

所以,购买我专栏的人可以直接获取我完整的模型改进镜像,一键部署,一键运行。

在这里插入图片描述
这样通过我的镜像创建实例就完成了~但是不管哪一种方法创建,在实例关机后15天就会释放实例,注意时间,再次开就后就会刷新这个时间。

三、上传数据

3.1 直接上传

开机之后,点击JupyterLab,进入之后可以对文件进行一些简单操作,其中包含文件上传
在这里插入图片描述
在上传多个文件的时候,还需要命令进行解压缩,比较复杂🙃,建议参考3.2小节 使用Xftp进行文件操作处理。

在这里插入图片描述

3.2 Xftp上传

1️⃣进入Xftp官网:https://www.netsarang.com/zh/xshell/ 下载Xftp并安装

在这里插入图片描述
2️⃣ AutoDL中的实例开机无卡模式开机也可以,只要有登录指令密码就可以连接。
在这里插入图片描述

3️⃣ 打开Xftp,新建连接,复制登录指令密码。建立连接。

举个例子:
假设登录指令为:ssh -p 12345 root@rxxxx001.autodl.com
其中12345为端口号;root为用户名;rxxxx001.autodl.com为主机名
密码为:************

在这里插入图片描述
4️⃣ 点击连接后,就可以连接到云端了。也就可以将本地的文件通过拖拽的方式上传到云端了。

在这里插入图片描述
至此,Xftp上传数据就完成了,注意使用时候的路径,自己项目能找到。

四、远程连接

4.1 安装VS Code和相关插件

1️⃣进入VS Code官网:https://code.visualstudio.com/ 下载VS Code并安装

在这里插入图片描述

4.2 连接云端

2️⃣打开VS Code,在左栏中的扩展按钮中搜索 Remote - SSH,点击安装,我这里是已经安装好了

在这里插入图片描述

3️⃣点击VS Code界面的左下角的双箭头,然后选择连接到主机

在这里插入图片描述

4️⃣ 紧接着点击,+ 添加新的 SSH 主机...

在这里插入图片描述

5️⃣ 此时创建的实例已开机,复制登录指令,粘贴到VS Code中。

在这里插入图片描述

6️⃣ 登录的相关信息会保存在本地,这里默认选择第一个就行,回车进入下一步。

在这里插入图片描述

7️⃣ 上步结束之后会在左下角弹窗,选择连接即可,在新打开的界面中输入实例密码,就是已开机实例处的密码。

在这里插入图片描述
在这里插入图片描述

8️⃣ 回车后,在左栏中选择打开文件,选择想要进入的主目录。在进入主目录后还需要输入一遍密码。

在这里插入图片描述

在这里插入图片描述

9️⃣ 输入完成后就连接成功,进入我们的项目啦

在这里插入图片描述

4.3 模型训练

VS Code中选择终端新建终端,就打开了控制台。

在这里插入图片描述

此时使用社区镜像或者是个人镜像的,项目运行所需的各种模块就已经配好了的。在训练模型的时候,配置好自己的数据后开始训练就可以顺利训练了,不需要额外安装任何模块。

使用基础镜像进行配置的,本地上传完数据后,还需要安装相应的模块。找到缺少哪些模块后,在终端控制台中使用pip install 安装就可以了,官方自带镜像源,安装很快。

推荐在扩展中搜索python,并安装,能够显示代码高亮,显示报错,并可以运行文件,而不需要使用命令。

在这里插入图片描述

五、实时监控GPU、内存等占用曲线

开机之后,点击实例监控,里面实时记录了GPUCPU内存显存的使用情况:

在这里插入图片描述
在这里插入图片描述
当然也可以查看训练的tensorboard曲线,就不再详述啦

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/456614.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

分享几个办公类常用的AI工具

办公类 WPS AI讯飞智文iSlideProcessOn亿图脑图ChatPPT WPS AI 金山办公推出的协同办公 AI 应用,具有文本生成、多轮对话、润色改写等多种功能,可以辅助用户进行文档编辑、表格处理、演示文稿制作等办公操作。 https://ai.wps.cn/ 讯飞智文 科大讯飞推…

博弈论 C++

前置知识 若一个游戏满足: 由两名玩家交替行动在游戏进行的任意时刻,可以执行的合法行动与轮到哪位玩家无关不能行动的玩家判负 则称该游戏为一个公平组合游戏。 尼姆游戏(NIM)属于公平组合游戏,但常见的棋类游戏&…

企业数字化转型建设方案(数据中台、业务中台、AI中台)

方案介绍: 企业数字化转型建设方案中的数据中台是企业数字化转型的核心基础设施,负责数据的整合、治理、共享和应用,将数据转化为资产,服务于业务决策和运营。业务中台是连接数据中台和技术中台的桥梁,负责业务的抽象…

Redis Search系列 - 第六讲 基准测试 - Redis Search VS. MongoDB VS. ElasticSearch

目录 一、引言二、Redis Search 2.x版本的性能提升三、Redis Search VS. MongoDB VS. ElasticSearch3.1 测试环境3.2 100%写 - 基准测试3.3 100%读 - 基准测试3.4 混合读/写/搜索 - 基准测试2.5 搜索延迟分析3.6 读延迟分析3.7 写延迟分析3.8 Redis Search VS. ElasticSearch3.…

DSPy:不需要手写prompt啦,You Only Code Once!

论文地址:https://arxiv.org/abs/2310.03714   项目地址:https://github.com/stanfordnlp/dspy 文章目录 1. 背景2. 签名3. 模块3.1 预测模块3.2 其他内置模块 4. 提词器5. 评估目标6. 代码分析6.1 _prepare_student_and_teacher6.2 _prepare_predicto…

985研一,转嵌入式好还是后端开发好?

有个老铁问,985研一,转嵌入式好还是后端开发好? 我认为,这学历,两个随便挑,我说的,从趋势来看,更建议嵌入式,走供应链上游,芯片原厂、新能源车企、军工或者搞…

力扣143:重排链表

给定一个单链表 L 的头节点 head ,单链表 L 表示为: L0 → L1 → … → Ln - 1 → Ln请将其重新排列后变为: L0 → Ln → L1 → Ln - 1 → L2 → Ln - 2 → … 不能只是单纯的改变节点内部的值,而是需要实际的进行节点交换。 示…

qt creator 转 visual stdio 项目调试

因果 大家在使用qt creator调试程序时,会出现未知错误,比如下图,直接release运行就没有问题。由于调试复杂程序,使用qt creator都感觉不如vs,会报未知中断。 所以有了从qt creator转换到 visual stdio来调试的想法。…

【电子元件】光通量和色温 (欧司朗LED灯珠 KW3 CGLNM1.TG命名规则)

什么是光通量? 光通量(Luminous Flux)是衡量光源在单位时间内发出的可见光总量的物理量,表示的是光源产生的总光能量,其中只考虑人眼能感知的部分。它通常以流明(lumen,符号为 lm)为…

如何使用gitlab切换分支

第一步,在gitlab上新建一个远程分支。选择New branch即可新建一个,但是注意往往是在当前分支下新建的分支,所以新分支里会有当前分支的内容。 第二步,在本地当前分支在运行这三行命令,即可得到一个空的新分支。 git c…

springboot2.0x 和springboot 1.0 整合redis 使用自定义CacheManager 问题

问题描述: 在我们深入理解springboot2.0x的缓存机制的时候,发现在springboot1.0 和springboot2.0 中默认的序列化都是使用的jdk的 Serializer 实现这个接口,jdk自带的序列化方法,由此我们需要自己去创建自定义的RedisCacheManager…

《Python游戏编程入门》注-第2章2

《Python游戏编程入门》的“2.2.5 绘制线条”中提到了通过pygame库绘制线条的方法。 1 相关函数介绍 通过pygame.draw模块中的line()函数来绘制线条,该函数的格式如下所示。 line(surface, color, start_pos, end_pos, width1) -> Rect 其中,第一…

AUTOSAR CP 中 BswM 模块功能与使用介绍(2/2)

三、 AUTOSAR BswM 模块详解及 ARXML 示例 BswM 模块的主要功能 BswM(Basic Software Mode Manager)模块在 AUTOSAR 架构中扮演着模式管理的核心角色。它负责管理车辆的各种模式(如启动、运行、停车等),并根据不同的…

基于vue框架的的电子商务网站68pwt(程序+源码+数据库+调试部署+开发环境)系统界面在最后面。

系统程序文件列表 项目功能:用户,商品分类,商品信息 开题报告内容 基于Vue框架的电子商务网站开题报告 一、研究背景与意义 随着互联网技术的不断发展和普及,电子商务已成为现代商业活动的重要组成部分。电子商务网站作为线上交易的主要平台&#xf…

Apple Vision Pro市场表现分析:IDC最新数据揭示的真相

随着AR/VR技术逐渐成熟并被更多消费者接受,2024年第二季度(Q2)成为这一领域的一个重要转折点。根据国际数据公司(IDC)发布的最新报告,整个AR/VR市场在本季度经历了显著的增长。接下来,我们将深入探讨Apple Vision Pro在这股增长浪潮中的具体表现。 市场背景 2024年Q2,…

Excel:vba实现生成随机数

Sub 生成随机数字()Dim randomNumber As IntegerDim minValue As IntegerDim maxValue As Integer 设置随机数的范围(假入班级里面有43个学生,学号是从1→43)minValue 1maxValue 43 生成随机数(在1到43之间生成随机数)randomNumber Application.WorksheetFunctio…

混个1024勋章

一眨眼毕业工作已经一年了,偶然进了游戏公司成了一名初级游戏服务器开发。前两天总结的时候,本来以为自己这一年没学到多少东西,但是看看自己的博客其实也有在进步,虽然比不上博客里的众多大佬,但是回头看也算是自己的…

.net 根据html的input type=“week“控件的值获取星期一和星期日的日期

初始化 "week" 控件值: //MVC部分 public ActionResult WeeklyList() {int weekNo new GregorianCalendar().GetWeekOfYear(System.DateTime.Now, System.Globalization.CalendarWeekRule.FirstDay, DayOfWeek.Sunday);string DefaultWeek DateTime.No…

利用移动式三维扫描技术创建考古文物的彩色纹理网格【上海沪敖3D】

文章来源于蔡司工业质量解决方案,作者蔡司工业质量 在考古环境中,三维扫描技术应用广泛,如存档、保存、复制和分享(包括实体和虚拟形式)。 文中,通过真实的扫描案例,您将了解到三维光学解决方案…

JavaWeb 23.一文速通npm的配置和使用

目录 一、npm的介绍 二、npm的安装和配置 1.安装 : 2.配置依赖下载使用阿里镜像 3. 配置全局依赖下载后存储位置 4.升级npm版本 5.环境变量配置 三、npm常用命令 1.项目初始化 npm.init npm init -y 2.安装依赖文件 3. 升级依赖 4.卸载依赖 5.查看依赖 查看项目…