aws(学习笔记第三十一课) aws cdk深入学习（batch-arm64-instance-type）

aws(学习笔记第三十一课)

  • aws cdk深入学习

学习内容：

  • 深入练习aws cdk下部署batch-arm64-instance-type

1. 深入练习aws cdk下部署batch-arm64-instance-type

  1. 代码链接

    • 代码链接
      代码链接 -> batch-arm64-instance-type
    • 之前代码学习
      之前学习代码链接 -> aws(学习笔记第十八课) 使用aws cdk(python)进行部署

  2. batch-arm64-instance-type代码测试

    • setup环境
      • setup virtual environment
        python3 -m venv .venv
      • 激活python virtual environment
        source .venv/Scripts/activate #这里使用的是git bash
      • 安装python的依赖包
         pip install -r requirements.txt
      • 代码中cdk.json的python3进行替换
        这里的phthon3没有配置，所以不能执行python3，讲这里改成了python。
        在这里插入图片描述

  3. 代码执行

    • 预先执行cdk bootstrap
      cdk提供了bootstrap命令来创建cdk执行需要的前提条件。

      CDKToolkit: creating CloudFormation changeset...
CDKToolkit |  0/12 | 21:22:46 | REVIEW_IN_PROGRESS   | AWS::CloudFormation::Stack | CDKToolkit User Initiated
CDKToolkit |  0/12 | 21:22:52 | CREATE_IN_PROGRESS   | AWS::CloudFormation::Stack | CDKToolkit User Initiated
CDKToolkit |  0/12 | 21:22:56 | CREATE_IN_PROGRESS   | AWS::IAM::Role          | FilePublishingRole
CDKToolkit |  0/12 | 21:22:56 | CREATE_IN_PROGRESS   | AWS::IAM::Role          | CloudFormationExecutionRole
CDKToolkit |  0/12 | 21:22:56 | CREATE_IN_PROGRESS   | AWS::ECR::Repository    | ContainerAssetsRepository
CDKToolkit |  0/12 | 21:22:56 | CREATE_IN_PROGRESS   | AWS::S3::Bucket         | StagingBucket
CDKToolkit |  0/12 | 21:22:56 | CREATE_IN_PROGRESS   | AWS::IAM::Role          | ImagePublishingRole
CDKToolkit |  0/12 | 21:22:56 | CREATE_IN_PROGRESS   | AWS::IAM::Role          | LookupRole
CDKToolkit |  0/12 | 21:22:56 | CREATE_IN_PROGRESS   | AWS::SSM::Parameter     | CdkBootstrapVersion
CDKToolkit |  0/12 | 21:22:57 | CREATE_IN_PROGRESS   | AWS::SSM::Parameter     | CdkBootstrapVersion Resource creation Initiated
CDKToolkit |  0/12 | 21:22:57 | CREATE_IN_PROGRESS   | AWS::IAM::Role          | FilePublishingRole Resource creation Initiated
CDKToolkit |  0/12 | 21:22:57 | CREATE_IN_PROGRESS   | AWS::ECR::Repository    | ContainerAssetsRepository Resource creation Initiated
CDKToolkit |  0/12 | 21:22:57 | CREATE_IN_PROGRESS   | AWS::IAM::Role          | CloudFormationExecutionRole Resource creation Initiated
CDKToolkit |  0/12 | 21:22:57 | CREATE_IN_PROGRESS   | AWS::IAM::Role          | ImagePublishingRole Resource creation Initiated
CDKToolkit |  0/12 | 21:22:57 | CREATE_IN_PROGRESS   | AWS::S3::Bucket         | StagingBucket Resource creation Initiated
CDKToolkit |  0/12 | 21:22:57 | CREATE_IN_PROGRESS   | AWS::IAM::Role          | LookupRole Resource creation Initiated
CDKToolkit |  1/12 | 21:22:57 | CREATE_COMPLETE      | AWS::SSM::Parameter     | CdkBootstrapVersion
CDKToolkit |  2/12 | 21:22:58 | CREATE_COMPLETE      | AWS::ECR::Repository    | ContainerAssetsRepository
CDKToolkit |  3/12 | 21:23:12 | CREATE_COMPLETE      | AWS::S3::Bucket         | StagingBucket
CDKToolkit |  3/12 | 21:23:14 | CREATE_IN_PROGRESS   | AWS::S3::BucketPolicy   | StagingBucketPolicy
CDKToolkit |  3/12 | 21:23:15 | CREATE_IN_PROGRESS   | AWS::S3::BucketPolicy   | StagingBucketPolicy Resource creation Initiated
CDKToolkit |  4/12 | 21:23:15 | CREATE_COMPLETE      | AWS::S3::BucketPolicy   | StagingBucketPolicy
CDKToolkit |  5/12 | 21:23:16 | CREATE_COMPLETE      | AWS::IAM::Role          | ImagePublishingRole
CDKToolkit |  6/12 | 21:23:16 | CREATE_COMPLETE      | AWS::IAM::Role          | FilePublishingRole
CDKToolkit |  7/12 | 21:23:16 | CREATE_COMPLETE      | AWS::IAM::Role          | CloudFormationExecutionRole
CDKToolkit |  7/12 | 21:23:16 | CREATE_IN_PROGRESS   | AWS::IAM::Policy        | FilePublishingRoleDefaultPolicy
CDKToolkit |  8/12 | 21:23:16 | CREATE_COMPLETE      | AWS::IAM::Role          | LookupRole
CDKToolkit |  8/12 | 21:23:17 | CREATE_IN_PROGRESS   | AWS::IAM::Policy        | ImagePublishingRoleDefaultPolicy
CDKToolkit |  8/12 | 21:23:17 | CREATE_IN_PROGRESS   | AWS::IAM::Role          | DeploymentActionRole
CDKToolkit |  8/12 | 21:23:18 | CREATE_IN_PROGRESS   | AWS::IAM::Policy        | FilePublishingRoleDefaultPolicy Resource creation Initiated
CDKToolkit |  8/12 | 21:23:18 | CREATE_IN_PROGRESS   | AWS::IAM::Policy        | ImagePublishingRoleDefaultPolicy Resource creation Initiated
CDKToolkit |  8/12 | 21:23:19 | CREATE_IN_PROGRESS   | AWS::IAM::Role          | DeploymentActionRole Resource creation Initiated
CDKToolkit |  9/12 | 21:23:34 | CREATE_COMPLETE      | AWS::IAM::Policy        | FilePublishingRoleDefaultPolicy
CDKToolkit | 10/12 | 21:23:34 | CREATE_COMPLETE      | AWS::IAM::Policy        | ImagePublishingRoleDefaultPolicy
CDKToolkit | 11/12 | 21:23:38 | CREATE_COMPLETE      | AWS::IAM::Role          | DeploymentActionRole
CDKToolkit | 12/12 | 21:23:39 | CREATE_COMPLETE      | AWS::CloudFormation::Stack | CDKToolkit✅  Environment aws://081353481087/ap-northeast-1 bootstrapped.

      这里，cdk bootstrap命令执行完之后，会生成一个CDKToolkit名字的cloudformation。
      在这里插入图片描述
      如果由于平时的误删除之类的操作，会使CDKToolkit的创建的cdk deploy需要的前提条件遭到破坏。这时如果重新执行cdk bootstrap会导致没有差分执行出来。这时候需要将CDKToolkit这个cloudformation删除掉，之后执行cdk bootstrap命令，这样就会重新生成cdk deploy执行的所有条件。

    • 执行cdk --require-approval never deploy
      如果执行不加上--require-approval never，会导致错误，所以这里加上该选项。

    • Trouble Shouting
      如果存在默认的vpc，这里会出现如下错误。在这里插入图片描述
      原因在于:
      Fn:GetAZs这个函数调用的话，会只返回default VPC的Available Zone的数量，从而影响cdk的执行。
      对策：
      所以要删除default VPC，不过不用担心，default VPC可以重新创建，大可放心。

  4. 代码解析

    • 全体架构
      在这里插入图片描述
    • 作成VPC
       # This resource alone will create a private/public subnet in each AZ as well as nat/internet gateway(s)
vpc = ec2.Vpc(self, "VPC")
      创建一下service组件：
      • 一个VPC
      • 一个public subnet
      • 一个private subnet
      • 一个Internet Gateway
      • 一个NAT Gateway Compute Environment通过这个NAT Gateway访问internet
        在这里插入图片描述
    • 创建Job Queue
      # Create AWS Batch Job Queue
self.batch_queue = batch.JobQueue(self, "JobQueueArm64")
```![在这里插入图片描述](https://i-blog.csdnimg.cn/direct/176bc23f45574046aa99e801861c9014.png)
    • 创建Compute Environment，并将每个Compute Environment分配给JobQueue
              # For loop to create Batch Compute Environmentsfor i in range(count):name = "MyBatchARM64Env" + str(i)batch_environment = batch.ManagedEc2EcsComputeEnvironment(self, name,spot=True,spot_bid_percentage=75,instance_types=[ec2.InstanceType("c7g.medium"),ec2.InstanceType("c7g.large")],use_optimal_instance_classes=False,vpc_subnets=ec2.SubnetSelection(subnet_type=ec2.SubnetType.PRIVATE_WITH_NAT),vpc=vpc)self.batch_queue.add_compute_environment(batch_environment, i)
      在这里插入图片描述
    • 创建Job Defintion
             # Create ECS Job Definition to submit job in batch job queue.batch_jobDef = batch.EcsJobDefinition(self, "MyJobDefArm64",container=batch.EcsEc2ContainerDefinition(self, "CDKJobDefArm64",image=ecs.ContainerImage.from_registry("public.ecr.aws/amazonlinux/amazonlinux:latest"),command=["sleep", "60"],memory=Size.mebibytes(512),cpu=1))
      在这里插入图片描述

  5. 执行job

    • 投入新的Job
      在这里插入图片描述
    • Job执行成功
      在这里插入图片描述

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.rhkb.cn/news/29189.html

如若内容造成侵权/违法违规/事实不符，请联系长河编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

C语言基础之【指针】（下）

C语言基础之【指针】（下）

C语言基础之【指针】（下） 指针和字符串字符指针字符指针做函数参数const修饰的指针变量指针数组做为main函数的形参项目开发常用字符串应用模型while和do-while模型两头堵模型字符串反转模型 字符串处理函数strchr()strrchr()strstr()strtok()strcpy()st…
阅读更多...
【够用就好006】如何从零开发游戏上架steam面向AI编程的godot独立游戏制作实录001流程

【够用就好006】如何从零开发游戏上架steam面向AI编程的godot独立游戏制作实录001流程

记录工作实践 这是全新的系列，一直有个游戏制作梦 感谢AI时代，让这一切变得可行 长欢迎共同见证，期更新，欢迎保持关注，待到游戏上架那一天，一起玩 面向AI编程的godot独立游戏制作流程实录001 本期是第…
阅读更多...
java 重点知识 — JVM存储模块与类加载器

java 重点知识 — JVM存储模块与类加载器

1 jvm主要模块 方法区 存储了由类加载器从.class文件中解析的类的元数据（类型信息、域信息、方法信息）及运行时常量池（引用符号及字面量）。 所有线程共享；内存不要求连续，可扩展，可能发生垃圾回…
阅读更多...
Docker基础篇——什么是Docker与Docker的仓库、镜像、容器三大概念

Docker基础篇——什么是Docker与Docker的仓库、镜像、容器三大概念

大家好我是木木，在当今快速发展的云计算与云原生时代，容器化技术蓬勃兴起，Docker 作为实现容器化的主流工具之一，为开发者和运维人员带来了极大的便捷 。下面我们一起了解下什么是Docker与与Docker的仓库、镜像、容器三大概念。 …
阅读更多...
网页制作11-html,css,javascript初认识のCCS样式列表（下）

网页制作11-html,css,javascript初认识のCCS样式列表（下）

六、外边距，内边距，边框属性 盒子模型： 1、外边距：margin img{ margin:40px 30px 10px 20px; }/*外边距复合属性:上右下左*/ 2、内边距 body{ padding:10px 20px 40px 30px; }/*内边距复合属性:上右下左*/ 3、边框 1）边框样式 取…
阅读更多...
爬虫Incapsula reese84加密案例：Etihad航空

爬虫Incapsula reese84加密案例：Etihad航空

声明： 该文章为学习使用，严禁用于商业用途和非法用途，违者后果自负，由此产生的一切后果均与作者无关 一、找出需要加密的参数 1.js运行 atob(‘aHR0cHM6Ly93d3cuZXRpaGFkLmNvbS96aC1jbi8=’) 拿到网址，F12打开调试工具，随便搜索航班，切换到network搜索一个时间点可以找…
阅读更多...
Unity 适用Canvas 为任一渲染模式的UI 拖拽

Unity 适用Canvas 为任一渲染模式的UI 拖拽

RectTransformUtility-ScreenPointToWorldPointInRectangle - Unity 脚本 API 将一个屏幕空间点转换为世界空间中位于给定RectTransform 平面上的一个位置。 实现 获取平面位置。 parentRT transform.parent as RectTransform; 继承IPointerDownHandler 和IDragHandler …
阅读更多...
【HDLbits--FSM续(二)】

【HDLbits--FSM续(二)】

HDLbits--FSM-2 本篇文章接续介绍Verilog中FSM典型案例； 题目：Lemmings3 module top_module(input clk,input areset, // Freshly brainwashed Lemmings walk left.input bump_left,input bump_right,input ground,input dig,output walk_left,outpu…
阅读更多...
安装与配置 STK-MATLAB 接口

安装与配置 STK-MATLAB 接口

STK版本为11.6 Matlab版本为R2018a STK 提供 Connect 和 Object Model (COM) 两种接口与 MATLAB 交互，推荐使用 COM接口进行二次开发。 确保安装了 STK，并且 MATLAB 可以访问 STK Object Model。 在 MATLAB 中运行： % 添加 STK COM 库&#…
阅读更多...
docker-compose Install reranker(fastgpt支持) GPU模式

docker-compose Install reranker(fastgpt支持) GPU模式

前言BGE-重新排名器 与 embedding 模型不同，reranker 或 cross-encoder 使用 question 和 document 作为输入，直接输出相似性而不是 embedding。 为了平衡准确性和时间成本，cross-encoder 被广泛用于对其他简单模型检索到的前 k 个文档进行重…
阅读更多...
计算机网络（1） 网络通信基础，协议介绍，通信框架

计算机网络（1） 网络通信基础，协议介绍，通信框架

网络结构模式 C/S-----客户端和服务器 B/S -----浏览器服务器 MAC地址 每一个网卡都拥有独一无二的48位串行号，也即MAC地址，也叫做物理地址、硬件地址或者是局域网地址 MAC地址表示为12个16进制数 如00-16-EA-AE-3C-40 （每一个数可以用四个…
阅读更多...
OpenCV计算摄影学（16）调整图像光照效果函数illuminationChange()

OpenCV计算摄影学（16）调整图像光照效果函数illuminationChange()

操作系统：ubuntu22.04 OpenCV版本：OpenCV4.9 IDE:Visual Studio Code 编程语言：C11 算法描述 对选定区域内的梯度场应用适当的非线性变换，然后通过泊松求解器重新积分，可以局部修改图像的表观照明。 cv::illuminati…
阅读更多...
Arcgis中添加脚本工具箱

Arcgis中添加脚本工具箱

文章目录 准备资料1、打开arcmap2、找到目录窗口3、复制粘贴工具箱的路径4、添加或者确认python脚本路径准备资料 （1）工具箱 （2）python脚本 1、打开arcmap 2、找到目录窗口 3、复制粘贴工具箱的路径 4、添加或者确认python脚本路径 脚本上右键属性(注意：脚本内容和路径…
阅读更多...
贪心算法一

贪心算法一

> 作者：დ旧言~ > 座右铭：松树千年终是朽，槿花一日自为荣。 > 目标：了解什么是贪心算法，并且掌握贪心算法。 > 毒鸡汤：有些事情，总是不明白，所以我不会坚持。早安! >…
阅读更多...
专业工具，杜绝一切垃圾残留！

专业工具，杜绝一切垃圾残留！

在安装大多数软件时均会在系统注册表中创建相应的条目。如果卸载后仍然存在注册表残留，可能会导致再次安装时出现失败，同时也会对系统性能和存储空间产生负面影响。常见的卸载残留包括注册表项、程序文件夹、用户数据文件夹、临时文件以及相关插件等。 …
阅读更多...
【音视频】ffplay常用命令

【音视频】ffplay常用命令

一、 ffplay常用命令 -x width：强制显示宽度-y height：强制显示高度 强制以 640*360的宽高显示 ffplay 2.mp4 -x 640 -y 360 效果如下 -fs 全屏显示 ffplay -fs 2.mp4效果如下： -an 禁用音频（不播放声音）-vn 禁…
阅读更多...
【STM32】STM32系列产品以及新手入门的STM32F103

【STM32】STM32系列产品以及新手入门的STM32F103

📢 STM32F103xC/D/E 系列是一款高性能、低功耗的 32 位 MCU，适用于工业、汽车、消费电子等领域；基于 ARM Cortex-M3，主频最高 72MHz，支持 512KB Flash、64KB SRAM，适合复杂嵌入式应用，提供丰富的…
阅读更多...
防火墙虚拟系统实验

防火墙虚拟系统实验

拓扑图 需求一 安全策略要求： 1、只存在一个公网IP地址，公司内网所有部门都需要借用同一个接口访问外网 2、财务部禁止访问Internet，研发部门只有部分员工可以访问Internet，行政部门全部可以访问互联网 3、为三个部门的虚拟系统分…
阅读更多...
K8s 1.27.1 实战系列（四）验证集群及应用部署测试

K8s 1.27.1 实战系列（四）验证集群及应用部署测试

一、验证集群可用性 1、检查节点 kubectl get nodes ------------------------------------------------------ NAME STATUS ROLES AGE VERSION k8s-master Ready control-plane 3h48m v1.27.1 k8s-node1 Ready <none> …
阅读更多...
IDC权威认证！永洪科技入选 IDC「GBI图谱」，点亮生成式 BI 价值灯塔

IDC权威认证！永洪科技入选 IDC「GBI图谱」，点亮生成式 BI 价值灯塔

大数据市场正在稳步前进&#xff0c;生成式AI已成为厂商服务的重点方向&#xff0c;其发展离不开数据底座建设和数据工程管理&#xff0c;反过来AI也会帮助开发运维人员、业务人员和管理层更好地使用、查询数据。IDC调研数据显示&#xff0c;在生成式AI的驱动下&#xff0c;未来…
阅读更多...
最新文章
推荐文章

Copyright @ 2022~2023