使用 S3 生命周期精确管理对象生命周期

在亚马逊工作这些年,我发现 S3 的生命周期配置是管理对象生命周期的重要但复杂的工具。在这篇文章中,我将利用实战经验,深入剖析生命周期,从核心概念到实际应用。

亚马逊云科技开发者社区为开发者们提供全球的开发技术资源。这里有技术文档、开发案例、技术专栏、培训视频、活动与竞赛等。帮助中国开发者对接世界最前沿技术,观点,和项目,并将中国优秀开发者或技术推荐给全球云社区。如果你还没有关注/收藏,看到这里请一定不要匆匆划过,点这里让它成为你的技术宝库!

导言

在云存储中管理数据生命周期至关重要却很复杂。随着大量数据快速累积,不受控制的增长会导致成本指数上升。S3 生命周期让我们可以建立自动化策略,在存储类型之间转变对象或删除对象。

本文将详细剖析生命周期,从基础逻辑到实际配置。您将学习如何精确控制对象生命周期的同时优化存储成本。本文将提供示例并辅以流程图和图解进行步骤详解。我的目标是提供可直接实施的见解,应用于您的云架构中。

背景知识

首先简述几个关键概念:

S3 生命周期策略对满足特定条件的对象应用规则。每个规则定义在对象生命周期的某些点上满足标准时要执行的操作

常见条件包括:

  • 对象键名称前缀或标签
  • 对象创建日期
  • 总生命周期天数

典型操作包括:

  • 转变存储类型
  • 终止未完成的多部分上传
  • 永久删除对象

实际上,生命周期基于定义的规则,自动在 S3 存储类型之间转变对象,或完全删除对象。

问题所在

生命周期为什么有用且复杂?

不受控制的数据累积会迅速增加云存储成本。临时手动干预操作既费力又容易出错。生命周期提供自动化,但制定有效精确的规则需要深入理解。

错误配置可能导致意外转变或删除。复杂访问模式,比如每天数百万次上传/访问,进一步增加了策略设计的难度。

因此,掌握生命周期的逻辑和复杂度是必须的。

S3 生命周期的工作原理

让我们逐步看一下生命周期配置:

2-1. lifecycle-transitions-v3.png

1. 定义生命周期规则

根据名称、标签或创建日期为对象制定规则过滤器。

2. 指定操作

选择在匹配对象上执行的操作,比如转变存储类型或删除。

3. 评估对象

S3 定期根据规则评估对象。匹配的对象进入指定操作的队列。

4. 执行操作

对于等待操作的对象,在达到下一个计划间隔时,S3 会执行指定的操作。

总之,生命周期基于细致的规则自动转变或删除对象。但是设计高效可预测的策略需要考虑周全.

关键优势与应用

生命周期的强大之处在哪里?

成本优化:极少访问的数据转变到低频或冷存储,可节省高达 90% 的存储成本。直接删除不需要的数据。

存储分层:根据访问模式自动在存储类型之间迁移数据。例如,30天后访问日志转变到低频存储。

清理工作:在指定天数后终止未完成的多部分上传,以节省成本。

合规性:根据数据保留政策,在达到规定保存期限后,永久删除敏感数据。

简而言之,生命周期实现从创建到删除的细致自动化数据控制,有效管理存储增长。

实际应用示例

下面我们看一些演示实际使用的生命周期示例:

优化存储成本

30天后日志转变到低频存储,365天后删除:

<LifecycleConfiguration><Rule><Filter><Prefix>logs/</Prefix></Filter><Transitions><Transition><Days>30</Days><StorageClass>STANDARD_IA</StorageClass></Transition></Transitions><Expiration><Days>365</Days></Expiration></Rule>
</LifecycleConfiguration>

自动数据分层

90天后 tax/ 开头的对象转变到冷存储以归档:

<Rule><Filter><Prefix>tax/</Prefix></Filter><Transitions><Transition><Days>90</Days><StorageClass>GLACIER</StorageClass></Transition></Transitions>
</Rule>

删除未完成的多部分上传

7天内未完成的上传过期以节省成本:

<Rule><Filter><And><Prefix>uploads/</Prefix><ObjectState>Multipart</ObjectState></And></Filter><Expiration><Days>7</Days></Expiration>
</Rule>

主要精髓

让我们总结学习要点:

  • 生命周期通过细致规则自动转变和删除对象
  • 匹配访问模式实现成本优化,避免不受控制的增长
  • 精确的策略设计需要深入理解,以防意外后果
  • 实际示例演示了常见应用,比如分层、清理和保留

希望这些见解有助于您掌握生命周期的复杂度,并有效实施,也欢迎您可以分享您的问题和应用经验。我们社区的集体智慧将加深我们所有人的理解。

参考资料

  • S3 生命周期配置元素
  • 使用 S3 生命周期自动化存储分层
  • 管理存储生命周期

 文章来源:https://dev.amazoncloud.cn/column/article/64e5cb3384d23218430681eb?sc_medium=regulartraffic&sc_campaign=crossplatform&sc_channel=CSDN

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/107226.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Redis初始以及安装

"梦却了无影踪&#xff0c;梦仍不曾改动" 初始Redis (1) Redis是什么&#xff1f; 要认识、学习一个软件&#xff0c;最重要的途径无一是去该软件的官方文档里瞅瞅、转悠转悠。 从官方文档的介绍中得知&#xff0c;Redis是一种工作于内存&#xff0c;…

文件上传漏洞-upload靶场1-2关 通过笔记(如何区分前段验证和后端验证)

文件上传漏洞-upload靶场1-2关 通过笔记&#xff08;区分前段验证和后端验证&#xff09; 前言 upload是一个文件上传的专用靶场&#xff0c;搭设也非常简单&#xff0c;只需要把相关源码文件放到apache的网站目录下即可使用&#xff0c;或者去github下载一键绿化包进行安装链…

基于SSM+vue框架的校园代购服务订单管理系统源码和论文

基于SSMvue框架的校园代购服务订单管理系统源码和论文070 开发工具&#xff1a;idea 数据库mysql5.7 数据库链接工具&#xff1a;navcat,小海豚等 技术&#xff1a;ssm 摘 要 在新发展的时代&#xff0c;众多的软件被开发出来&#xff0c;给用户带来了很大的选择余地&am…

git及GitHub的使用

文章目录 git在本地仓库的使用github使用创建仓库https协议连接(不推荐&#xff0c;现在用起来比较麻烦)ssh连接&#xff08;推荐&#xff09;git分支操作冲突处理忽略文件 git在本地仓库的使用 1.在目标目录下右键打开git bash here 2.创建用户名和邮箱(注&#xff1a; 下载完…

网络编程套接字(2): 简单的UDP网络程序

文章目录 网络编程套接字(2): 简单的UDP网络程序3. 简单的UDP网络程序3.1 服务端创建(1) 创建套接字(2) 绑定端口号(3) sockaddr_in结构体(4) 数据的接收与发送接收发送 3.2 客户端创建3.3 代码编写(1) v1_简单发送消息(2) v2_小写转大写(3) v3_模拟命令行解释器(4) v4_多线程版…

[论文阅读笔记26]Tracking Everything Everywhere All at Once

论文地址: 论文 代码地址: 代码 这是一篇效果极好的像素级跟踪的文章, 发表在ICCV2023, 可以非常好的应对遮挡等情形, 其根本的方法在于将2D点投影到一个伪3D(quasi-3D)空间, 然后再映射回去, 就可以在其他帧中得到稳定跟踪. 这篇文章的方法不是很好理解, 代码也刚开源, 做一…

兵力集中更容易进攻获胜

我兵力集中&#xff0c;敌兵力分散&#xff0c;进攻可胜 【安志强趣讲《孙子兵法》第21讲】 【原文】 进而不可御者&#xff0c;冲其虚也&#xff1b;退而不可追者&#xff0c;速而不可及也。 【趣讲白话】 进攻时&#xff0c;敌人无法抵御&#xff0c;那是攻击了敌人空虚的地方…

小程序input的placeholder不垂直居中的问题解决

input的placeholder不垂直居中&#xff0c;input设置高度后&#xff0c;使用line-height只能使输入的文字垂直居中&#xff0c;但是placeholder不会居中&#xff0c;反而会偏上。 首先placeholder样式自定义 有两种方法&#xff0c;第一种行内样式&#xff1a; <input ty…

大彩串口屏使用记录

写在最前面 屏幕型号 DC10600M070 IDE VisualTFT&#xff08;官方&#xff09; VSCode&#xff08;lua编程&#xff09; 用之前看一下官方那个1小时的视频教程就大概懂控件怎么用了&#xff0c;用官方的软件VisualTFT很简单 本文只是简单记录遇到的一些坑 lua编辑器 VisualTF…

uview ui 查看版号

版本查询2种方式 有两种方式可以查询到正在使用的uView的版本&#xff1a; // 通过console.log打印的形式 console.log(uni.$u.config.v);// 可以查阅uView的配置文件得知当前版本号&#xff0c;具体位置为&#xff1a; /uview-ui/libs/config/config.js

Linux centos7 bash编程(小练习)

一、打印九九乘法口诀 这一个for循环嵌套的小练习&#xff0c;难度不大。提供一种写法&#xff0c;供参考&#xff1a; #!/bin/bash # 文件名&#xff1a;99table.sh # 打印输出九九乘法口诀表 for i in {1..9} do for ((j1;j<$i;j)) do …

R-Meta分析核心技术教程

详情点击链接&#xff1a;全流程R-Meta分析核心技术教程 一&#xff0c;Meta分析的选题与检索 1、Meta分析的选题与文献检索 1)什么是Meta分析 2)Meta分析的选题策略 3)精确检索策略&#xff0c;如何检索全、检索准 4)文献的管理与清洗&#xff0c;如何制定文献纳入排除标准 …

【Git】测试持续集成——Git+Gitee+PyCharm

文章目录 概述一、使用Gitee1. 注册账号2. 绑定邮箱3. 新建仓库4. 查看项目地址 二、安装配置Git1. 下载安装包2. 校验是否安装成功。3. 配置Git4. Git命令5. Git实操 三、PyCharmGit1. 配置Git2. Clone项目3. 提交文件到服务器4. 从服务器拉取文件 概述 持续集成&#xff08;…

开源在物联网(IoT)中的应用

&#x1f337;&#x1f341; 博主猫头虎 带您 Go to New World.✨&#x1f341; &#x1f984; 博客首页——猫头虎的博客&#x1f390; &#x1f433;《面试题大全专栏》 文章图文并茂&#x1f995;生动形象&#x1f996;简单易学&#xff01;欢迎大家来踩踩~&#x1f33a; &a…

react解决死循环方法?

使用useeffect&#xff08;副作用&#xff09;方法结束这个操作 1、导入useeffect、useState 2、把下方代码写入&#xff1a;里面填写的是你要终止某个东西的代码 注意&#xff1a;不可不写&#xff0c;也可以写依赖或不写

基于Python+djangoAI 农作物病虫害预警系统智能识别系统设计与实现(源码&教程)

1.背景 随着科技的发展&#xff0c;机器学习技术在各个领域中的应用越来越广泛。在农业领域&#xff0c;机器学习技术的应用有助于提高农作物的产量和质量&#xff0c;降低农业生产的成本。本文针对农作物健康识别问题&#xff0c;提出一种基于机器学习方法的农作健康识别系统&…

Spring Boot整合RabbitMQ之路由模式(Direct)

RabbitMQ中的路由模式&#xff08;Direct模式&#xff09;应该是在实际工作中运用的比较多的一种模式了&#xff0c;这个模式和发布与订阅模式的区别在于路由模式需要有一个routingKey&#xff0c;在配置上&#xff0c;交换机类型需要注入DirectExchange类型的交换机bean对象。…

JMeter性能测试(上)

一、基础简介 界面 打开方式 双击 jmeter.bat双击 ApacheJMeter.jsr命令行输入 java -jar ApacheJMeter.jar 目录 BIN 目录&#xff1a;存放可执行文件和配置文件 docs目录&#xff1a;api文档&#xff0c;用于开发扩展组件 printable-docs目录&#xff1a;用户帮助手册 li…

docker harbor私有库

目录 一.Harbor介绍 二.Harbor的特性 三.Harbor的构成 四.Harbor构建Docker私有仓库 4.2在Server主机上部署Harbor服务&#xff08;192.168.158.25&#xff09; 4.2.1 这时候这边就可以去查看192.168.158.25网页 4.3此时可真机访问serverIP 4.4通过127.0.0.1来登陆和推送镜…

vue 中 axios 的安装及使用

vue 中 axios 的安装及使用 1. axios 安装2. axios使用 1. axios 安装 首先&#xff0c;打开当前的项目终端&#xff0c;输入 npm install axios --save-dev验证是否安装成功&#xff0c;检查项目根目录下的 package.json,其中的 devDependencies 里面会多出一个axios及其版本…