S3: 不用于数据库功能
分类:
S3 Standard :以便频繁访问
S3 Standard-IA 或 S3 One Zone-IA : 不经常访问的数据
Glacier: 最低的成本归档数据
S3 Intelligent-Tiering智能分层 :存储具有不断变化或未知访问模式的数据
S3 存储 也可用于静态网站托管 bucket名::amazonaws.com
S3 存储Lens: S3存储分析,查看不再被访问或很少被访问的S3 bucket
可以直接配置静态网站,需要打开S3 bucket的公共访问权限
s3对象锁
合规模式:任何用户都不能覆盖或删除受保护的对象版本,包括 AWS 账户 中的根用户,其保留期限也不能缩短。合规性模式可帮助确保在保留期限内无法覆盖或删除对象版本
保留/监管模式:除非用户具有特殊权限,否则用户不能覆盖或删除对象版本,或更改其锁定设置。使用监管模式,您可以保护对象以免被大多数用户删除,但您仍可向部分用户授予在必要时更改保留设置或删除对象的权限。
策略上使用“aws:SecureTransport”条件可以确保S3 bucket的所有连接在传输过程中都经过加密.
用途:存储数据 SSE-S3自动加密(但不能单独自动轮换)
S3 的服务端加密有三种方式:
SSE-S3 - S3 自管理的密钥,使用 AES-256 加密算法。每个对象的密钥不同,并且它还被定期更换的主密钥同时加密。
SSE-KMS - 密钥存放在 KMS(软硬件结合的密钥管理系统)。
SSE-C - 在请求时自己提供密钥,S3 只管加解密逻辑和存储。S3 不保存密钥,只保存随机加盐的 HMAC 值来验证今后请求的合法性。
EFS: 也有生命周期 POSIX 为Linux提供文件共享,本身不支持Windows 本身提供跨区域复制
Auto Scaling: 自动伸缩 有自己的生命周期钩子 可以自定义一些操作在指定的生命周期状态下运行 (启动、中止时接收通知)
IAM Policy: 指定策略语句在什么条件condition下生效 新用户最小权限 更适用于用户和组
IAM ROLE适用场景:为第三方身份提供商提供访问权限(避免共享访问密钥);暂时获得对特定任务的权限;允许不同账户中的某个人访问资源(跨账号访问);某些AWS服务使用其他AWS服务时;更适用于AWS服务
Lambda: 结合lambda脚本将S3中的数据进行一些处理再给别的应用程序用 权限是用IAM ROLE角色 可以配置并发性减少所有用户的响应延迟 900秒 10GB 计算密集型机器学习
CloudFront: 即CDN,可用于托管视频资源 如果在CDN中没有资源,再去S3中请求 可以通过添加地理位置限制访问 可以强制使用HTTPS
CloudTrail: 监听S3事件活动 记录AWS账户中所有资源的所有更改(用户活动 API调用 审计)
RDS: 数据库服务器 数据库引擎为mysql postgres etc. 数据库有主副 还有multi az用来故障转移,副不可读不可写 作为托管服务(无法访问它的EC2实例),多个az之间传输流量是不要钱的
与多AZ数据库实例部署相比,多AZ DB集群通常具有更低的写入延迟.它们还允许只读工作负载在读取器数据库实例上运行
只读+近实时=可读备用. 读取副本是异步的,而可读备用是同步的
访问连接到RDS PROXY上再访问rds 让rds上的连接数更少 更有效率
oracle 和 sql server是RDS服务中可以管理ec2底层实例的特殊定制custom
Aurora: 完全托管的数据库引擎 相当于多az的rds 每个az 2个副本 稍贵但是性能更好 每个区域1个master节点➕最多15个只读节点Aurora Replicas
自动故障转移 Aurora主数据库出现故障的时候,Aurora Replicas可以自动变成主数据库,而MySQL Replica不可以
Aurora全局数据库: 允许单个数据库集群跨越多个AWS区域,在不影响性能的情况下复制数据,每个区域实现低延迟(小于1秒),提供灾难恢复
Aurora自动备份不可禁止 RDS可以禁止 两者加密需要在创建的时候 否则只能通过快照恢复的时候加密
DynamoDB: 完全托管的nosql数据库服务 全托管db服务 可以查看scheme
DAX高速对象缓存 提供低延迟
item最大400kb 按需读写模式适用于流量突增情况,收费比供应读写模式贵很多
连续备份不影响可用性 也不影响读取RCU
全局表提供一致性 跨区域双向复制
数据过期时间TTL(web会话自动过期,过期数据自动删除 减少存储量)
时间点恢复PITR: 数据恢复到窗口中的任何时间点
DynamoDB Streams 用于捕获 DynamoDB 表中的数据增删改事件 创建触发器自动通知
ElastiCache: 类似Redis 用于缓存的话需要一些代码修改 将常用数据存储在内存中,实现微秒级响应时间和高吞吐量 使用场景:相同数据库调用 存储客户会话信息
BeanStalk: 快速部署和管理应用程序,而不必了解运行这些应用程序的基础设施 您只需上传应用程序,Elastic Beanstalk 将自动处理有关容量预配置、负载均衡等 支持java和Apache tomcat平台
CloudFormation: 使用模板和堆栈批量创建或复制Amazon资源(自动伸缩组、负载均衡、数据库等基础设施)
LackFormation: 构建、保护、管理数据湖;将不同的数据集中存储 ,统一管理数据的权限
Transit Gateway: 中转网关 将 Amazon VPC、AWS 账户和本地网络连接到一个网关中 VPC 连接到其他 VPC 和其他账户或本地网络
EMR 集群:题库翻译为电子病历集群 实际为大数据框架Hadoop托管集群,用来处理和分析海量数据
Kinesis Data Streams只保留7天数据 保持了记录的顺序
Inspector 漏洞修复 patch
GuardDuty 威胁检测
防火墙: 创建有状态的出站规则允许下载第三方URL软件 拒绝其他所有流量
一个 VPC 可以跨越多个可用区,子网必须驻留在单个可用区内
ALB不支持静态IP地址,而NLB支持静态IP地址。要将静态IP分配给ALB,有两种解决方案。1. 在 ALB 前面使用NLB和lambda 2.使用全球加速器
AWS Config: 有特定规则来检查过期证书
AWS Step Functions是一项无服务器协调服务,可让您与AWS Lambda功能和其他功能集成AWS 服务以构建业务关键型应用程序。通过 Step Functions 的图形控制台,您可以将应用程序的工作流程视为一系列事件驱动的步骤。
Step Functions 基于状态机和任务。在 Step Functions 中,工作流程称为状态机,它是一系列事件驱动的步骤。工作流程中的每个步骤都称为状态。可用于Lambda编排,按特定顺序运行一组lambda;或者并行运行多个lambda
Compute 节省计划(适用EC2可以调整实例系列类型、 Lambda Fargate); EC2实例节省计划(只适用EC2 调整实例大小)
您可以配置CloudWatch Logs可以近实时传输日志到Amazon OpenSearch服务
账单控制台:管理账户;整合成员账单;
成本管理控制台:预测成本,提供优化成本的建议
budget: 固定金额的月度成本预算 可变金额的月度成本计算(每个月固定增加多少);
cost explorer成本资源管理器:查看和分析成本和使用情况的趋势 提供API可编程用于预测成本
ECS: 弹性容器服务 可以将多个docker自行运行在EC2上,或者直接由Fagate管理(不用创建EC2实例)
Fargate: 运行容器时不用运行在EC2实例上,成本较低 选择操作系统 性能后直接配置应用程序到容器中
卷类型:
SSD: 固态硬盘(io2 io1 gp3 gp2) HDD: 普通硬盘(st1 sc1)
吞吐量经过优化的HDD(st1)卷提供了低成本的磁存储,该磁存储根据吞吐量而不是IOPS定义了性能。此卷类型非常适合大型连续工作负载,例如Amazon EMR,ETL,数据仓库和日志处理
冷HDD(sc1)卷提供了低成本的磁存储,该磁存储通过吞吐量而不是IOPS来定义性能。sc1具有比st1低的吞吐量限制,非常适合大型连续的冷数据工作负载
EBS卷:
SSD类型
高性能io2(500IOPS 1000MB/s吞吐量 低于10ms延迟)
io2 block express(亚毫秒延迟 4000MB/s吞吐量 1000IOPS )
io1(50IOPS 10ms延迟 1000MB/s吞吐量)
通用形(低成本 高性能)
gp3(1000 IOPS 1000MB/s吞吐量 16TB)
gp2(1000 IOPS 250mb/s吞吐量 1TB)
NLB一般用于TCP协议 题目中会有UDP关键字
ALB一般用于HTTP/HTPPS协议,但是功能性和性能不如NLB
网关LB (在第3层转发IP数 据 包 )
Secrets Manager:管理秘密/凭据secret,可以配置自动轮换计划(是在凭据提供者上轮换 secret manager中自己不能直接轮换)
Key Management Service(KMS): 加密数据库 EBC卷
Secrets Manager是管理/储存secret的地方;KMS是管理加密(key)的地方。而Secrets Manager新增secrets时需要将secret加密(encrypt),后续要使用secret时需要解密(decrypt),而加解密secrets使用的key则是由KMS来管理。所以Secrets Manager与KMS经常搭配使用。AWS KMS删除强制执行等待期7-30天
ACM证书:加密传输中的数据
Direct Connect 通过专用网络连接(专线)在本地数据中心和AWS云之间传输数据 ,安全 可靠 但建立需要约几个月 用不完可找合作伙伴
数据同步服务DataSync:Aws之间同步不需要agent,从本地或其他云同步需要agent。需要制定计划同步,不能连续即时同步。在同步的时候可以保留文件元数据。
存储网关: 本地数据复制在云端 用于灾难恢复 备份 低延迟访问等等
在存储卷网关模式下,您的主要数据存储在本地,且您的整个数据集便于在本地进行低延迟访问,并会异步备份到 Amazon S3 中。使用 iSCSI
在存储卷网关缓存模式下,您的主要数据会存储在 Amazon S3 中,同时您可以将其中需要经常访问的那部分数据保留在本地缓存中,以实现低延迟访问
存储文件网关: 支持NFS 可以通过标准的文件协议将文件作为对象直接存储在Amazon S3, 最近使用的文件可以缓存到文件网关中,用于低延迟访问。不支持冰川存储。 混合云
卷volume文件网关:备份本地卷
磁带网关:备份磁带
fsx文件网关:缓存文件用于低延迟访问 高性能lustre
FSx for windows主要用于Windows系统,提供了Server Message Block(SMB)的协议。该系统在Windows Server上实现,并实现了 Microsoft Active Directory(AD)的集成,文件数据恢复和数据重删的功能 文件共享驱动也能挂载到Linux实例上
FSx for Lustre 可以提供亚毫秒的延迟, 上百万的IOPS,上百G的带宽 分布式文件系统用于机器学习,高性能计算 和大规模的数据处理
Amazon FSx for NetApp ONTAP 提供NFS,SMB,iSCSC存储协议 网络托管 可以在指定时间做即时复制。
Amazon FSx for OpenZFS 实现了即时到快照和克隆的功能,对开发测试环境比较合适 实际是单机文件服务器
文件网关可以用ec2 也可以申请硬件
FSx和EFS最大的区别是:EFS是多租户共享的文件系统,FSx是一个统一的分布式文件系统基础设施。
网关端点:仅支持dynamodb和S3服务,是一个网关,用来发送受支持的AWS服务的流量,他是VPC级别的,也就是说需要为每个VPC创建一个网关终端节点。
接口端点:支持大部分其他aws服务,有子网内的一个私有IP地址,作为流量入口点用作连接VPC和AWS服务 额外收费
NAT实例:使用脚本管理实例之间的故障转移, 需要管理实例软件和OS 安全组直接关联 用作堡垒机 比NAT网关多支持TCP ICMP协议
NAT网关支持多AZ的高可用性,并自动故障转移,以确保服务的可用性 配置在公用子网中 让私有子网中的实例可以连接外部服务 但外部服务无法启动与这些实例的连接.
比NAT实例提供了更好的可用性和带宽,减少了管理工作 安全组不能直接关联 需要关联网关后的资源
雪球/冰川(Amazon S3 Glacier)是亚马逊提供的一种低成本的长期数据存储服务。它适用于需要长期保存但几乎不会被访问的数据。例如,企业可以使用学球来存储备份数据、合规性数据、存档数据等。雪球的存储成本相对较低,但需要一定的时间来恢复存储的数据。雪球是传输时候用,冰川是存储时候用
雪锥/红移(Amazon Redshift)是亚马逊提供的一种高性能的数据仓库服务。它专注于处理大规模数据的分析和查询。企业可以使用雪锥来处理海量的结构化和半结构化数据,进行复杂的数据分析、报告和可视化。雪锥具有可扩展性、高速查询和灵活的数据模型,适用于各种行业和应用场景。雪锥是传输时候用,红移是存储时候用
雪地车(AWS Snowmobile)是一项用于大规模数据迁移的物理设备服务。它是一个巨大的移动存储设备,可提供容量高达100PB(1PB = 1000TB)的存储空间。企业可以使用雪地车来迁移大量数据,如数据中心迁移、数据归档和备份。雪地车通过物理方式将数据传输到云端,比通过网络传输更快、更安全、更实用。
雪球适用于长期保存但很少访问的数据(80TB),雪锥适用于大规模数据分析和查询(8~14TB),而雪地车则为大规模数据迁移提供了高效、安全的解决方案(100PB)。
Lambda函数URL | API gateway |
单一函数微服务 | 创建、发布API |
用于webhook | 支持AWF |
都可以https | 都可以https 比左侧操作更少 |
金丝雀canary发布:原版本可用的同时部署一个新版本 分布一些流量到新版本 应用同时可用 如果新版本没有问题就切换 |
长轮询long polling可以一直等待sqs中的消息,一旦有消息的话就会发送出去,可以低延迟,降低sqs api的使用次数
sqs使用场景:加载超时 激增 确保可以快速扩展 使用sqs可以保证写入sqs中的消息不会丢失
sns:很多订阅者订阅主题,生产者只要发送消息到主题,消费者通过订阅主题获取消息
kinesis:收集,处理,分析,实时数据流,比如log 视频
kinesis data firehose:数据消防管 往s3 redshift elasticsearch 或者第三方合作伙伴 或者自定义api写数据 近乎实时服务 全托管服务 serverless
NLB更适合高吞吐或者高性能的情况或者和aws私有链接一起使用。
ECR:弹性容器注册 用来管理和存储容器镜像
EKS:每个节点中会运行一个pods 豆荚
lambda使用限制:
ram:128mb~10gb
最大执行时间900秒(15分钟)
环境变量4kb
占用容量:512mb~10gb
部署zip 50mb
非zip 520mb
只能连接公有云使用
如果要连接私有数据库之类的 lambda需要部署在vpc私有子网 如果lambda有很多的连接到数据库的话需要使用
CloudFront function 和lambda@edge 用于边缘计算
neptune:图数据库
Athena分析s3中数据的serverless服务+Quicksight 数据展示:柱数据用来节省成本 可以压缩数据 可以使用区分类快速查询 支持sql查 json查
redshift:红移 数据仓库 在线数据分析和存储 柱数据存储 PB级数量
datalake: 细粒度
opensearch:可以搜索任何field 有分析功能 数据源还是dynamodb
Comprehend:是一项自然语言处理 (NLP) 服务,使用机器学习来发现文本中的洞察信息
recognition:机器学习 直接用来识别文字 人脸之类的
transcribe:转录功能 语音转文字 可以删除个人敏感信息PII 多语言语种
Polly:文字转语音 支持特定的语言风格
translate:翻译功能
lex:自动语音识别 聊天机器人
sagemaker: 通过完全托管的基础设施、工具和工作流程为任何用例构建、训练和部署机器学习 (ML) 模型。
Cognito: 用户池:为应用提供身份验证和授权 身份池:将用户联合到AWS并提供AWS凭证 如果不需要AWS资源 则只需要用户池即可
亚马逊连接 connect:虚拟联络中心
堡垒机 bastion host 放在公共子网中,用来访问私有子网。
AWS Firewall: 防火墙 精细化控制流量进出(检查/过滤流量) 指定仅访问第三方软件URL
Event Bridge: 可以通知多个目标 支持sagemaker 并且可以正则匹配
Amplify:
BATCH: 批处理,底层运行在容器上,自动可扩展 使用EventBridge 来检查作业进度、构建AWS Batch自定义工作流程、生成使用情况报告或指标,或者构建自己的仪表板
TLS: 传输中加密数据
AppFlow: 用于加密安全传输数据(在其他SaaS应用和AWS服务之间) serverless 支持使用SSL/TLS传输加密
专用主机 :物理服务器 用于公司有某商用软件许可要求 或者非常严格的安全要求
SCP: 服务控制策略 为所有账户(组织)提供权限集中控制 可以限制root用户
OU: 组织单元 将账户分组为单元进行管理 SCP附加到OU 则OU中的所有账户自动继承权限控制
System Manage Inventory: 为EC2收集软件清单
Workload Discovery是一种可对 AWS Cloud 工作负载进行可视化的工具。
Backup: 备份, 创建备份计划,自动开启备份,跨区域备份 备份EC2时自动备份了EBS
Transfer Family: 使用第三方身份提供商提供的验证
AWS Transfer for SFTP是一种完全管理.高度可用的SFTP服务.创建一个服务器,设置用户帐户,并将服务器与一个或多个Amazon S3存储桶相关联.
按需型实例(不可预测 突增)的定价相比,Amazon EC2 预留实例(稳定增加)可提供大幅折扣
游戏公司 排名 : NLB 全球加速器
WAF: 可以部署在Amazon CloudFront、应用程序负载平衡器(ALB)和Amazon API网关 和防火墙一起使用
证书必须和API在同一个Region
Amazon Macie 是一项数据安全和数据隐私服务,它利用机器学习(ML)和模式匹配来发现和保护敏感数据。
Athena 是一种交互式查询服务,让您能够轻松使用标准 SQL JSON查询直接分析 Amazon S3 中的数据
Glue: 可以跨不同的数据源发现整理数据;转换数据用于分析;使用数据目录来存储元数据 关键字:作业书签 ETL
SNS+SQS组合:SQS将消息排队不遗漏消息,SNS将它们推送到它们需要去的任何地方。可以防止瓶颈和单点故障
S3CRR 跨区域复制 SRR 同区域复制 复制的时候,如果删除资源,资源会有一个删除版本号码,会被复制;如果是把删除版本号删除的话,就不会复制
route53的路由政策有好几种 weighted加权 geo分发给不同地理位置 latency延迟 failover故障转移 multivalue返回多个值 不支持elb
s3 桶--lambda方法--接入点--应用程序
unicast IP对指定ip进行访问 anycast IP对最近的IP进行访问 用于aws 全球加速器 可以快速故障转移
SQS:简单排队服务 消息数量没有限制 最少1分钟 默认4-14天的消息保存机制 过期删除 每条数据量都很小,256 kb 有消息可见性超时设置,一个消息被接收后会有一段时间不可见,如果把它重新放回队列中,它会被第二个消费者读取到
- SSE-S3 - S3 自管理的密钥,使用 AES-256 加密算法。每个对象的密钥不同,并且它还被定期更换的主密钥同时加密。
- SSE-KMS - 密钥存放在 KMS(软硬件结合的密钥管理系统)。
- SSE-C - 在请求时自己提供密钥,S3 只管加解密逻辑和存储。S3 不保存密钥,只保存随机加盐的 HMAC 值来验证今后请求的合法性。