快速上手Amazon SageMaker动手实验室

Amazon SageMaker

最近人工智能爆火啊,前有AIGC后有ChatGPT,ChatGPT倒是可以很简单的体验到,但是AIGC这个似乎需要一点动手能力,而且还要考虑下我们本地的环境了。恰好我最近受邀参加了亚马逊云科技【云上探索实验室】的活动,基于他们的Amazon SageMaker服务来做了以下三个小实验,有包括AIGC,Deepracer还有图像分类,整体流程体验下来比想象中好太多了,即便是一个新手也可以通过Amazon SageMaker来掌握下面三个实验,而且不需要您再考虑基础环境配置了,可以更加专注于业务。那么就让我们来跟着下面的实验手册和演示视频一起来操作吧!

最近我恰好受邀参与了亚马逊云科技[云上探索实验室]活动,利用Amazon SageMaker平台搭建了自己的 AIGC 应用,整个过程只用了不到20分钟。同时还为您准备好了活动链接,您可以通过由AWS和CSDN共同举办的活动领取精美礼品:https://dev.amazoncloud.cn/experience?trk=cndc-detail&sc_medium=corecontent&sc_campaign=product&sc_channel=csdn

这个动手实验室会通过三个不同类型的实验引导您如何使用Amazon SageMaker,让您感受SageMaker的非凡之处。

  • 使用Amazon SageMaker构建Stable-Diffusion 这个实验会引导您通过Amazon SageMaker NoteBook实例来构建AIGC环境,同时您可以体验到使用提示词来使AI生成图片,在后续环节中还会引导您构建前后端Web应用,让您直接在Web端也可以体验到自己的AIGC
  • 使用Amazon SageMaker加速你的Deepracer小车 这个实验会引导您通过Amazon SageMaker使用开源库来加速您的DeepRacer小车,更加简化您的智能驾驶流程.
  • Amazon SageMaker JumpStart构建图像分类 通过这个实验,会引导您使用Amazon SageMaker JumpStart构建图像分类,JumpStart 支持一键式部署以及对这些模型进行微调,因此您可以在部署前逐步训练和调整模型,在本实验中,您将使用Amazon SageMaker JumpStart 构建图像分类模型,并使用该模型对花卉的图像进行分类.

如果您想获取更多有关Amazon SageMaker的知识,请阅读亚马逊 SageMaker.

一、使用Amazon SageMaker构建Stable-Diffusion

使用Amazon SageMaker构建Stable-Diffusion:https://www.bilibili.com/video/BV1c24y1E7a5?p=1

区域: ap-northeast-1(东京)

服务配额

Service-Quota配额控制台:https://ap-northeast-1.console.aws.amazon.com/servicequotas/home/services/sagemaker/quotas
本次实验需要用到GPU实例,如果您使用的是个人账号,请先确认您有ml.g4dn.xlarge的服务配额

申请提高配额

选中需要提高的服务配额,单击右上角 请求增加配额
在这里插入图片描述

更改配额值为 1
在这里插入图片描述

创建Amazon SageMaker Notebook实例

打开Amazon SageMaker控制台

直达链接:https://ap-northeast-1.console.aws.amazon.com/sagemaker/home?region=ap-northeast-1
在这里插入图片描述

创建Notebook实例

需要滑动左侧的服务框,找到笔记本–>笔记本实例—右上角创建笔记本实例
在这里插入图片描述

设置笔记本实例的名称、选择笔记本实例、以及存储的大小
在这里插入图片描述

对于权限和加密,点击角色下拉框,然后点击 创建新角色

在本次实验中需要用到S3存储桶来存放模型文件,在此处可以选择任意存储桶或者特定的存储桶
在这里插入图片描述

点击创建笔记本实例
在这里插入图片描述

等待大约4分钟左右,笔记本实例的状态为InService,我们就可以点击JupyterLab进行实验了
在这里插入图片描述

构建Stable-Diffusion环境

**查看Jupyter Lab控制台,选择最下面的 Terminal **
在这里插入图片描述

在此处我们需要下载本次实验的Notebook代码文件

cd SageMaker
wget https://static.us-east-1.prod.workshops.aws/public/648e1f0c-f5e0-40eb-87b1-7f3638dba539/static/code/notebook-stable-diffusion.ipynb

双击打开刚刚下载的Notebook文件,需要注意我们要选择内核,请选择conda_pytorch_p39
在这里插入图片描述

修改提示词,生成新图片
在这里插入图片描述

利用Amazon Cloud 9 构建前后端Web应用

创建Cloud 9 环境

在这里插入图片描述

根据自己的需求设置名称,选择实例的大小以及实例的系统
在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

构建Web应用

这里步骤就是 下包解压装依赖,服务一跑出图片

wget https://static.us-east-1.prod.workshops.aws/public/73ea3a9f-37c8-4d01-ae4e-07cf6313adac/static/code/SampleWebApp.zip
unzip SampleWebApp.zip
pip install Flask boto3

等待Web应用运行起来后,开始使用描述词来生成我们的图片
在这里插入图片描述

在这里插入图片描述

清理

请删除对应的Notebook实例,以及推理里面的终端节点

结论

在本次实验中,您可以轻松的通过Amazon SageMaker来完成本次实验,并且您无需动手添加额外代码,为考虑到用户的体验,亚马逊云科技工程师还提供了Web端应用,确实更加方便。

二、使用Amazon SageMaker加速你的Deepracer小车

使用Amazon SageMaker加速你的Deepracer小车:https://www.bilibili.com/video/BV1c24y1E7a5?p=2

创建Amazon SageMaker NoteBook实例

需要滑动左侧的服务框,找到笔记本–>笔记本实例—右上角创建笔记本实例
在这里插入图片描述

设置笔记本实例的名称、选择笔记本实例、以及存储的大小
在这里插入图片描述
对于权限和加密,点击角色下拉框,然后点击 创建新角色
在这里插入图片描述
在这里插入图片描述

等待实例服务状态为InService即可打开JupyterLab
在这里插入图片描述

运行Notebook实验手册

克隆存储库

cd SageMaker
git clone https://github.com/dgnzlz/Capstone_AWS_DeepRacer.git

在这里插入图片描述

在这里插入图片描述

运行Notebook

在这里插入图片描述
根据自己的需求设置赛道
在这里插入图片描述

查看生成的奖励函数和ActionSpace

在这里插入图片描述

结论

在本次实验中,可以以极低的时间成本完成,无需考虑底层的环境以及线上的一个依赖库,极大的简化了用户的操作流程,同时有免费套餐覆盖本次实验内容,用户无需担心费用问题。

清理

请删除对应的Notebook实例

三、Amazon SageMaker JumpStart构建图像分类

Amazon SageMaker JumpStart构建图像分类:https://www.bilibili.com/video/BV1c24y1E7a5?p=3

启动Amazon SageMaker Studio

创建 域名

在这里插入图片描述

设置域名名称,用户配置文件名称,执行角色
在这里插入图片描述
在这里插入图片描述
等待SageMaker 域创建成功
在这里插入图片描述

部署/微调预训练图像分类模型

进入到MobileNet V2模型页面

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

训练/部署模型

在这里插入图片描述

训练模型

在这里插入图片描述
在这里插入图片描述

部署模型

确认模型训练完成
在这里插入图片描述

部署模型
在这里插入图片描述

使用微调模型对图像进行分类

在这里插入图片描述
在这里插入图片描述

在第一个代码单元格下方插入一个新单元格以显示示例花卉图像

import boto3
from IPython.core.display import HTMLroses_jpg, sunflowers_jpg, roses2_jpg, sunflowers2_jpg = "roses.jpg", "sunflowers.jpg", "roses2.jpg", "sunflowers2.jpg"
HTML('<table><tr><td> <img src="roses.jpg" alt="roses" style="height: 250px;"/> <figcaption>roses.jpg</figcaption>''</td><td> <img src="sunflowers.jpg" alt="sunflowers" style="height: 250px;"/> <figcaption>sunflowers.jpg</figcaption>''</td><td> <img src="roses2.jpg" alt="roses" style="height: 250px;"/> <figcaption>roses2.jpg</figcaption>''</td><td> <img src="sunflowers2.jpg" alt="sunflowers" style="height: 250px;"/> <figcaption>sunflowers2.jpg</figcaption>''</td></tr></table>')

在这里插入图片描述

插入一个新单元格并添加代码以打开图像并将它们加载到内存中

images = {}
with open(roses_jpg, 'rb') as file: images[roses_jpg] = file.read()
with open(sunflowers_jpg, 'rb') as file: images[sunflowers_jpg] = file.read()
with open(roses2_jpg, 'rb') as file: images[roses2_jpg] = file.read()
with open(sunflowers2_jpg, 'rb') as file: images[sunflowers2_jpg] = file.read()

在这里插入图片描述

查看模型是否正确地对玫瑰和向日葵图像进行了分类
在这里插入图片描述

清理

请删除对应的用户配置文件,

结论

在本实验中,您已经部署了预训练图像分类模型来运行推理,然后在新数据集上微调预训练图像分类模型以对不属于预训练数据集的对象进行分类。借助 JumpStart,您无需代码即可完成两个模型的训练和部署

总结

通过本次的Amazon SageMaker Hands-on,即便是新手也可以根据视频和博客的引导,快速的完成本次实验,增加对Amazon SageMaker的一个了解。同时亚马逊云科技官方也考虑到了不同用户的水平以及经济情况,提供了很多的workshop以及一些免费的产品额度,极大的提高了用户使用体验,为用户节省了时间、金钱成本。虽然实验非常简单,但是从整个Amazon SageMaker来看,其提供了非常强大的功能,需要更加专业的实验才可以完整的体验到Amazon SageMaker的强大能力。那么在最后也希望同志们可以更进一步的去了解Amazon SageMaker,比如通过一些亚马逊云科技官方提供的workshop或者研讨会来学习到更多的知识。希望这篇博文能够帮助到您,感谢阅读。

参考资料

  1. 端到端体验AIGC-从SageMaker到Web应用:https://catalog.us-east-1.prod.workshops.aws/workshops/3b86fa89-da3a-4e5f-8e77-b45fb11adf4a/zh-CN

  2. Amazon SageMaker JumpStart:https://catalog.us-east-1.prod.workshops.aws/workshops/63069e26-921c-4ce1-9cc7-dd882ff62575/en-US/lab9

  3. Capstone_AWS_DeepRacer:https://github.com/dgnzlz/Capstone_AWS_DeepRacer

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/24295.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【visualGPT的配置与体验】

Visual GPT简介 微软发布了一个叫做VISGPT的东西&#xff0c;继承了很多个模型&#xff0c;可以实现图片的处理 这个gpt不但可以接受图片文字输入&#xff0c;还能够输出图片&#xff0c;个人觉得离解放生产力更进一步了。我个人不喜欢瞎逼逼&#xff0c;单纯的把项目链接就放…

热门chat-gpt-3.5-vscode最简单的实用教程

步骤 1&#xff0c;下载vscode编程软件&#xff08;可以直接下载VSCODE不用设置环境&#xff09; 【编辑器】VSCode的Web前端&#xff08;html&#xff0c;css&#xff0c;JavaScript&#xff09;开发环境打造_vscode配置html开发环境_小哈里的博客-CSDN博客 2&#xff0c;下…

视觉图像的通用智能:基于GPT和大语言模型思考

作者丨谢凌曦知乎 内容只代表作者观点 来源丨https://zhuanlan.zhihu.com/p/620631150 引言 距离上次的长篇大论&#xff0c;已经过去了半年有余。这段时间&#xff0c;对于AI业界甚至整个世界&#xff0c;都是惊心动魄的。在这段时间里&#xff0c;最令人印象深刻的大事莫过于…

VALSE 2023 | 走向计算机视觉的通用人工智能:GPT和大语言模型带来的启发

点击下方卡片&#xff0c;关注“CVer”公众号 AI/CV重磅干货&#xff0c;第一时间送达 点击进入—>【目标检测和Transformer】交流群 作者&#xff1a;谢凌曦 | 源&#xff1a;知乎&#xff08;已授权转载&#xff09; https://zhuanlan.zhihu.com/p/620631150 声明 文章所有…

【综述专栏】VALSE 2023 | 走向计算机视觉的通用人工智能:GPT和大语言模型带来的启发...

来源&#xff1a;知乎—谢凌曦 作者&#xff1a;https://zhuanlan.zhihu.com/p/620631150 转载声明 本文可以规范转载&#xff0c;无需通知本人。转载时请注明出处&#xff08;知乎链接&#xff09;、标明作者&#xff0c;并且注明&#xff1a;文章所有内容均只代表作者本人观点…

Vision-AGI-Survey

视觉图像的通用智能&#xff1a;基于GPT和大语言模型思考 感谢大佬 这是搬来看看 大佬勿怪~~ 距离上次的长篇大论&#xff0c;已经过去了半年有余。这段时间&#xff0c;对于AI业界甚至整个世界&#xff0c;都是惊心动魄的。在这段时间里&#xff0c;最令人印象深刻的大事莫过…

VALSE 2023 | 走向CV的通用人工智能:GPT和大模型带来的启发

作者 | 谢凌曦 编辑 | 极市平台 原文链接&#xff1a;https://zhuanlan.zhihu.com/p/620631150 点击下方卡片&#xff0c;关注“自动驾驶之心”公众号 ADAS巨卷干货&#xff0c;即可获取 点击进入→自动驾驶之心【AIGC】技术交流群 导读 CV是否已经做好实现发展大一统的任务和…

李沐论文精度系列之九:InstructGPT

文章目录 一、背景1.1 时间线1.2 ChatGPT功能展示1.3 指示学习&#xff08;Instruct Learning&#xff09;和提示&#xff08;Prompt Learning&#xff09;学习1.4 人工反馈的强化学习&#xff08;RLHF&#xff09; 二、摘要三、导言3.1 算法3.2 结论 四、方法和实验细节4.1 数…

LLM-2022:InstructGPT【GPT3-(问题和答案拼成一段对话,使用这些对话微调GPT3)->SFT(监督微调)-(SFT的答案排序后的数据集上再训练)->RM->RL(强化学习)】

一、前言 GPT系列是OpenAI的一系列预训练文章,GPT的全称是Generative Pre-Trained Transformer,顾名思义,GPT的目的就是通过Transformer为基础模型,使用预训练技术得到通用的文本模型。目前已经公布论文的有文本预训练GPT-1,GPT-2,GPT-3,以及图像预训练iGPT。据传还未发…

基于GLM-6B对话模型的实体属性抽取项目实现解析:对Zero-shot与In-Context Learning的若干思考...

来自&#xff1a;老刘说NLP 进NLP群—>加入NLP交流群 Zero-shot、One-shot以及Few-shot让人傻傻分不清&#xff0c;读了很多文章&#xff0c;也没搞清楚他们的差别&#xff0c;究竟什么叫zero-shot&#xff0c;其在应用过程中的no gradient update是什么含义&#xff0c;zer…

在疯狂三月之后,深入浅出分析AIGC的核心价值 (下篇)|【AI行研商业价值分析】

Rocky Ding 公众号&#xff1a;WeThinkIn 写在前面 【AI行研&商业价值分析】栏目专注于分享AI行业中最新热点/风口的思考与判断。也欢迎大家提出宝贵的优化建议&#xff0c;一起交流学习&#x1f4aa; 大家好&#xff0c;我是Rocky。 本文是《在疯狂三月之后&#xff0c;深…

软件开发最难的不是编码,而是需求,你认同吗?

【编者按】文章主要讨论了在软件开发过程中&#xff0c;编码并不是最困难的部分&#xff0c;而是需求的定义。作者通过自己的经验和例子&#xff0c;强调了需求的不明确、不一致或错误是导致软件问题的主要原因。文章还讨论了人工智能在软件开发中的应用&#xff0c;指出虽然 A…

ChatGPT-5发布时间已定!又要炸了!

文 / 高扬&#xff08;微信公众号&#xff1a;量子论&#xff09; 今天轻松一下&#xff0c;不写干货了&#xff0c;扯点ChatGPT最新进展。 刚在reddit上看到一则消息&#xff0c;说OpenAI今年12月份完成GPT-5的训练&#xff0c;这预示着可能将在2024年某个时候正式发布。 预计…

10、InstructGPT:Training language models to follow instructions with human feedback

简介 GPT的发展历程 GPT-1用的是无监督预训练有监督微调。GPT-2用的是纯无监督预训练。GPT-3沿用了GPT-2的纯无监督预训练&#xff0c;但是数据大了好几个量级。InstructGPT在GPT-3上用强化学习做微调&#xff0c;内核模型为PPO-ptx GPT-1比BERT诞生略早几个月。它们都是采用…

5个不可不知的Python自动化脚本利器

用这5个Python自动化脚本&#xff0c;提升你的Python变成效率。 微信搜索关注《Python学研大本营》&#xff0c;加入读者群&#xff0c;分享更多精彩 为了提升Python编程的效率&#xff0c;我总结了一份Python脚本的独家秘籍&#xff0c;并对一些Python的功能进行了提升。 简介…

ChatGPT相关指令使用大全之一

1.写报告 1)选定切入角度 产生数字个具有说服力和描述性的文章主题想法&#xff0c;主题为「某个主题」 例&#xff1a;产生3个具有说服力和描述性的文章主题想法&#xff0c;主题为「社交媒体如何影响青少年」 2)报告开头 我现在正在报告的情境与目的。我的简报主题是某个…

AI周报-一周发生两次Ai事件;DragGAN 问世

&#x1f680; AI 图像编辑技术 DragGAN 问世&#xff0c;用户可以通过拖拽改变汽车大小或人物表情等 近日&#xff0c;马克斯・普朗克计算机科学研究所研究者们推出了一种控制GAN的新方法DragGAN&#xff0c;用户可以通过拖拽改变汽车大小或人物表情等。 DragGAN类似于Photo…

家用洗地机哪种好?怎么选购家用洗地机

在这个高度关注环境、健康和安全的时代&#xff0c;洗地机已成为多种设施不可或缺的清洁工具。它不仅可以提高清洁速度和质量&#xff0c;还可以协助您提高生产效率和管理流程。洗地机的优点在于它易于使用&#xff0c;具有多种高效能力和灵活性&#xff0c;是一个为现代清洁服…

北京科技大学 工科物理实验 大二下

前言 本文由20级学生整理&#xff0c;包括实验目的和仪器、实验原理、实验步骤三个部分。主要是想节约一下大家手机拍照扫描、语音输入或手打的时间。&#xff08;可能有些任课老师要求手写&#xff0c;那就爱莫能助了&#xff09; 【5.4 实验原理部分缺失】 使用方法 点击“…

美创科技四个行业数据安全治理实践案例

自《数据安全法》、《个人信息保护法》等法律法规出台以来&#xff0c;数据安全治理&#xff0c;作为体系化提升数据安全保障能力的重要抓手&#xff0c;得到越来越多的重视&#xff0c;“具体该如何有效落地”也成为不少单位组织普遍关注的话题。 从率先推出数据安全治理咨询…