[ 云计算 | AWS ] Java 应用中使用 Amazon S3 进行存储桶和对象操作完全指南

在这里插入图片描述

文章目录

    • 一、前言
    • 二、所需 Maven 依赖
    • 三、先决必要的几个条件信息
    • 四、创建客户端连接
    • 五、Amazon S3 存储桶操作
      • 5.1. 创建桶
      • 5.2. 列出桶
    • 六、Amazon S3 对象操作
      • 6.1. 上传对象
      • 6.2. 列出对象
      • 6.3. 下载对象
      • 6.4. 复制、重命名和移动对象
      • 6.5. 删除对象
      • 6.6. 删除多个对象
    • 七、文末总结

一、前言

在本文中,我们将探索如何利用 Java 编程与 Amazon S3(即简单存储服务)存储系统进行互动。

需要牢记,S3 的结构异常简单:每个存储桶能够容纳大量的对象,这些对象可以通过 SOAP 接口或 REST 风格的 API 进行访问。

接下来,我们将使用适用于Java的AWS开发工具包来实现S3存储桶的创建、列举以及删除。同时,我们还将学会如何上传、列举、下载、复制、移动、重命名以及删除这些存储桶内的各个对象。

二、所需 Maven 依赖

在开始之前,我们需要在项目中声明 AWS SDK 依赖项:

<dependency><groupId>software.amazon.awssdk</groupId><artifactId>s3</artifactId><version>2.20.52</version>
</dependency>

要查看最新版本,我们可以检查 Maven Central,或者其他的国内 Maven 仓库。

三、先决必要的几个条件信息

要使用AWS SDK,我们需要一些东西:

  1. AWS 帐户:我们需要一个 Amazon Web Services 帐户。如果我们没有,我们可以直接在 AWS 控制台创建一个帐户。
  2. AWS 安全凭证:这些是我们的访问密钥,允许我们以编程方式调用 AWS API 操作。我们可以通过两种方式获取这些凭证:使用“安全凭证”页面的访问密钥部分中的 AWS 根账户凭证,或者使用IAM控制台中的 IAM 用户凭证。
  3. 选择 AWS 区域(Region):我们还必须选择要存储 Amazon S3 数据的 AWS 区域。请记住,S3 存储价格因地区而异。有关更多详细信息,请参阅官方文档。

四、创建客户端连接

首先,我们需要创建一个客户端连接来访问 Amazon S3 Web 服务。为此,我们将使用 Amazon S3 接口:

AWSCredentials credentials = new BasicAWSCredentials("<AWS accesskey>", "<AWS secretkey>"
);

然后我们将配置客户端:

AmazonS3 s3client = AmazonS3ClientBuilder.standard().withCredentials(new AWSStaticCredentialsProvider(credentials)).withRegion(Regions.US_EAST_2).build();

五、Amazon S3 存储桶操作

5.1. 创建桶

需要注意的是,存储桶命名空间是由系统的所有用户共享的。因此,我们的存储桶名称在 Amazon S3 中的所有现有存储桶名称中必须是唯一的(稍后我们将了解如何检查这一点)。

另外,根据官方文档规定,Bucket 名称必须符合以下要求:

  • 名称不应包含下划线
  • 名称长度应介于 3 到 63 个字符之间
  • 名称不应以破折号结尾
  • 名称不能包含相邻的句点
  • 名称后面不能包含破折号(例如,“my-.bucket.com”和“my.-bucket”无效)
  • 名称不能包含大写字符

现在让我们创建一个存储桶:

String bucketName = "baeldung-bucket";if(s3client.doesBucketExist(bucketName)) {LOG.info("Bucket name is not available."+ " Try again with a different Bucket name.");return;
}
CreateBucketRequest bucketRequest = CreateBucketRequest.builder().bucket(bucketName).build();s3Client.createBucket(bucketRequest);

在创建存储桶之前,我们必须使用doesBucketExist()方法检查存储桶名称是否可用。如果名称可用,那么我们将构建一个CreateBucketRequest 并提供存储桶名称。最后一步是将bucketRequest传递给 S3Client 的CreateBucketRequest createBucketRequestcreateBucket

5.2. 列出桶

现在我们已经创建了一些存储桶,让我们使用listBuckets ()方法打印 S3 环境中可用的所有存储桶的列表。此方法将返回一个ListBucketsResponse, 其中包含有关存储桶的信息。

ListBucketsResponse listBucketsResponse = s3Client.listBuckets();// Display the bucket names
List<Bucket> buckets = listBucketsResponse.buckets();
System.out.println("Buckets:");
for (Bucket bucket : buckets) {System.out.println(bucket.name());
}

这将列出 S3 环境中存在的所有存储桶:

baeldung-bucket
baeldung-bucket-test2
elasticbeanstalk-us-east-2

5.3. 删除桶

**在删除存储桶之前,确保存储桶是空的非常重要。**否则,将会抛出异常。

首先,我们需要构建一个DeleBucketRequest实例并向其传递存储桶名称。然后,我们调用 s3Client 对象上的deleteBucket方法,并将请求作为参数传递。

另请注意,只有存储桶的所有者才能删除它,无论其权限如何(访问控制策略):

try {DeleteBucketRequest deleteBucketRequest = DeleteBucketRequest.builder().bucket(bucketName).build();s3Client.deleteBucket(deleteBucketRequest);System.out.println("Successfully deleted bucket : " + bucketName);
} catch (S3Exception e) {System.err.println(e.getMessage());System.exit(1);
}

六、Amazon S3 对象操作

Amazon S3 存储桶内的文件或数据集合称为对象。我们可以对对象执行多种操作,例如上传、列出、下载、复制、移动、重命名和删除。

6.1. 上传对象

上传对象是一个非常简单的过程。首先,我们将构建一个PutObjectRequest实例,指定存储桶名称和密钥。然后,我们将该请求和包含数据的文件的路径传递给 s3Client 的putObject方法:

PutObjectRequest request = PutObjectRequest.builder().bucket(bucketName).key(key).build();return s3Client.putObject(request, Path.of(file.toURI()) );

6.2. 列出对象

我们将使用listObjects()方法列出 S3 存储桶中的所有可用对象:

ListObjectsV2Request listObjectsV2Request = ListObjectsV2Request.builder().bucket(bucketName).build();
ListObjectsV2Response listObjectsV2Response = s3Client.listObjectsV2(listObjectsV2Request);List<S3Object> contents = listObjectsV2Response.contents();System.out.println("Number of objects in the bucket: " + contents.stream().count());
contents.stream().forEach(System.out::println);

要列出 AWS S3 存储桶中的对象,我们需要创建一个ListObjectsV2Request实例并指定存储桶名称。然后,我们在 s3Client 对象上调用 listObjectsV2方法,并将请求作为参数传递。此方法返回一个ListObjectsV2Response,其中包含有关存储桶中对象的信息。

6.3. 下载对象

要下载对象,我们首先创建一个GetObjectRequest实例并将存储桶名称和密钥作为输入参数传递给它。然后,我们将其提供给 getObjectAsBytes()方法并获取响应。一旦我们得到响应,我们就可以提取字节数组。最后一步是处理字节数组:

GetObjectRequest objectRequest = GetObjectRequest.builder().bucket(bucketName).key(objectKey).build();ResponseBytes<GetObjectResponse> responseResponseBytes = s3Client.getObjectAsBytes(objectRequest);byte[] data = responseResponseBytes.asByteArray();// Write the data to a local file.
java.io.File myFile = new java.io.File("/Users/user/Desktop/hello.txt" );
OutputStream os = new FileOutputStream(myFile);
os.write(data);
System.out.println("Successfully obtained bytes from an S3 object");
os.close();

6.4. 复制、重命名和移动对象

我们可以通过调用 s3client 上的copyObject()方法来复制对象,该方法接受CopyObjectRequest实例。因此,CopyObjectRequest接受四个参数:

  1. 源存储桶名称
  2. 源存储桶中的对象键
  3. 目标存储桶名称(可以与源存储桶名称相同)
  4. 目标存储桶中的对象键
CopyObjectRequest copyObjectRequest = CopyObjectRequest.builder().sourceBucket(sourceBucketName).sourceKey(sourceKey).destinationBucket(destinationBucketName).destinationKey(destinationKey).build();return s3Client.copyObject(copyObjectRequest);

注意:我们可以结合使用copyObject()方法和deleteObject()来执行移动和重命名任务。这将涉及首先复制对象,然后将其从旧位置删除。

6.5. 删除对象

要删除对象,我们将在s3client上调用deleteObject()方法并传递DeleteObjectRequest实例。为了创建DeleteObjectRequest实例,我们需要传递要删除的对象的键和存储桶名称:

DeleteObjectRequest deleteObjectRequest = DeleteObjectRequest.builder().bucket(bucketName).key(objectKey).build();s3Client.deleteObject(deleteObjectRequest);

6.6. 删除多个对象

要一次删除多个对象,我们首先创建DeleteObjectsRequest对象并传递存储桶。然后我们将传递一个包含所有要删除的对象键的 ArrayList。

一旦我们有了这个DeleteObjectsRequest对象,我们就可以将它作为参数传递给我们的 s3client 的deleteObjects()方法。如果成功,它将删除我们提供的所有对象:

ArrayList<ObjectIdentifier> toDelete = new ArrayList<>();
for(String objKey : keys) {toDelete.add(ObjectIdentifier.builder().key(objKey).build());
}DeleteObjectsRequest deleteObjectRequest = DeleteObjectsRequest.builder().bucket(bucketName).delete(Delete.builder().objects(toDelete).build()).build();s3Client.deleteObjects(deleteObjectRequest);

七、文末总结

在本文中,我们重点介绍了在存储桶级别和对象级别与 Amazon S3 Web 服务交互的基础知识。重点在 Java 应用中使用 Amazon S3(Simple Storage Service)进行存储桶和对象操作的方法、详细说明了如何进行存储桶操作,包括创建桶和列出桶。在对象操作部分,我们涵盖了上传、列出和下载对象的过程,还介绍了复制、重命名、移动对象以及删除对象的方法。此外,我们还提供了删除多个对象的操作步骤。通过本文,小伙伴们可以了解如何通过 Java 代码有效地与 Amazon S3 进行交互,实现对存储桶和对象的各种操作。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/111793.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

学习pytorch6 torchvision中的数据集使用

torchvision中的数据集使用 1. torchvision中的数据集使用官网文档注意点1 totensor实例化不要忘记加括号注意点2 download可以一直保持为True代码执行结果 2. DataLoader的使用 1. torchvision中的数据集使用 官网文档 注意左上角的版本 https://pytorch.org/vision/0.9/ 注…

深度学习10:Attention 机制

目录 Attention 的本质是什么 Attention 的3大优点 Attention 的原理 Attention 的 N 种类型 Attention 的本质是什么 Attention&#xff08;注意力&#xff09;机制如果浅层的理解&#xff0c;跟他的名字非常匹配。他的核心逻辑就是「从关注全部到关注重点」。 Attention…

冠达管理:火爆!拼多多飙涨15%,中概股沸腾!这些外资巨头唱多中国资产

当地时间8月29日&#xff0c;美国三大股指团体收涨&#xff0c;道指涨0.85%&#xff0c;标普500指数涨1.45%&#xff0c;纳指涨1.74%。科技股大涨&#xff0c;特斯拉涨7.69%&#xff0c;英伟达涨4.16%。纳斯达克我国金龙指数收涨3.7%&#xff0c;拼多多涨超15%。 广东研山私募…

解析经典面试题:for 循环中的 let var

更多文章可以看看我的博客&#xff1a;https://icheng.github.io/ 题目 for循环中&#xff0c;使用 var 或 let 声明 i 变量&#xff0c;会得到不同的结果 var arr []; for (var i 0; i < 2; i) {arr[i] function () {console.log(i);} } arr[0](); arr[1]();输出&…

6.Redis-hash

hash 哈希类型中的映射关系通常称为field-value&#xff0c;⽤于区分 Redis 整体的键值对&#xff08;key-value&#xff09;&#xff0c;注意这⾥的value是指field对应的值&#xff0c;不是键&#xff08;key&#xff09;对应的值&#xff0c;请注意 value 在不同上下⽂的作⽤…

Codeforces Round 888 (Div. 3)

Codeforces Round 888 (Div. 3) A. Escalator Conversations 思路&#xff1a;暴力枚举 我们可以发现要让他们能相同高度首先你们之间的差值必须是k的倍数并且这个倍数必须小于m并且不能存在相同高度 #include<bits/stdc.h> using namespace std; #define int long lo…

重磅!OpenAI突然发布企业版ChatGPT:没有限制、更快、更强、更安全的GPT-4

这是由【小瑶智能体】 AI创作的第 4 篇科技文章 大模型研究测试传送门 GPT-4传送门&#xff08;免墙&#xff0c;可直接测试&#xff0c;遇浏览器警告点高级/继续访问即可&#xff09;&#xff1a;Hello, GPT4! 大家好&#xff0c;我是小瑶智能体&#xff0c;一个喜欢分享人…

二叉搜索树(C++)

二叉搜索树 概念二叉搜索树的应用二叉搜索树的实现K模型基本结构和函数声明接口实现①find——查找关键码②Insert——插入关键码③Erase——删除关键码&#xff08;重点&#xff09;时间复杂度 源码&#xff08;整体&#xff09;非递归递归 KV模型 在使用C语言写数据结构阶段时…

安防监控/视频汇聚平台EasyCVR调用rtsp地址返回的IP不正确是什么原因?

安防监控/云存储/磁盘阵列存储/视频汇聚平台EasyCVR可拓展性强、视频能力灵活、部署轻快&#xff0c;可支持的主流标准协议有GB28181、RTSP/Onvif、RTMP等&#xff0c;以及厂家私有协议与SDK接入&#xff0c;包括海康Ehome、海大宇等设备的SDK等&#xff0c;能对外分发RTSP、RT…

Linux系统下vim常用命令

一、基础命令&#xff1a; v:可视模式 i:插入模式 esc:命令模式下 :q &#xff1a;退出 :wq &#xff1a;保存并退出 ZZ&#xff1a;保存并退出 :q! &#xff1a;不保存并强制退出二、在Esc下&#xff1a; dd : 删除当前行 yy:复制当前行 p:复制已粘贴的文本 u:撤销上一步 U:…

【【萌新的STM32-22中断概念的简单补充】】

萌新的STM32学习22-中断概念的简单补充 我们需要注意的是这句话 从上面可以看出&#xff0c;STM32F1 供给 IO 口使用的中断线只有 16 个&#xff0c;但是 STM32F1 的 IO 口却远远不止 16 个&#xff0c;所以 STM32 把 GPIO 管脚 GPIOx.0~GPIOx.15(xA,B,C,D,E,F,G)分别对应中断…

Pillow:Python的图像处理库(安装与使用教程)

在Python中&#xff0c;Pillow库是一个非常强大的图像处理库。它提供了广泛的图像处理功能&#xff0c;让我们可以轻松地操作图像&#xff0c;实现图像的转换、裁剪、缩放、旋转等操作。此外&#xff0c;Pillow还支持多种图像格式的读取和保存&#xff0c;包括JPEG、PNG、BMP、…

【已解决】ZooKeeper配置中出现Error contacting service. It is probably not running

ZooKeeper配置中出现Error contacting service. It is probably not running 问题 安装zookeeper&#xff0c;启动报错了 Error contacting service. It is probably not running 思路 tail -100f logs/zookeeper-root-server-node1.itcast.cn.out 查看日志报错 zoo.cfg没…

FPGA VR摄像机-拍摄和拼接立体 360 度视频

本文介绍的是 FPGA VR 相机的第二个版本&#xff0c;第一个版本是下面这样&#xff1a; 第一版地址&#xff1a; ❝ https://hackaday.io/project/26974-vr-camera-fpga-stereoscopic-3d-360-camera ❞ 本文主要介绍第二版本&#xff0c;第二版本的 VR 摄像机&#xff0c;能够以…

使用 Privoxy 在 Linux 上配置本地代理服务器详细教程

Privoxy 是一个功能强大的开源网络代理软件&#xff0c;它可以帮助我们在 Linux 系统上搭建本地代理服务器。通过配置和使用 Privoxy&#xff0c;您可以实现更安全、匿名以及自定义过滤规则等高级特性。本文将详细介绍如何在 Linux 环境下利用 Privoxy 配置并运行本地代理服务器…

递归算法学习——子集

目录 一&#xff0c;题目解析 二&#xff0c;例子 三&#xff0c;题目接口 四&#xff0c;解题思路以及代码 1.完全深度搜索 2.广度搜索加上深度优先搜索 五&#xff0c;相似题 1.题目 2.题目接口 3.解题代码 一&#xff0c;题目解析 给你一个整数数组 nums &#xff0c…

拼多多anti-token分析

前言&#xff1a;拼多多charles抓包分析发现跟商品相关的请求头里都带了一个anti-token的字段且每次都不一样,那么下面的操作就从分析anti-token开始了 1.jadx反编译直接搜索 选中跟http相关的类对这个方法进行打印堆栈 结合堆栈方法调用的情况找到具体anti-token是由拦截器类f…

C语言每日一练------Day(5)

本专栏为c语言练习专栏&#xff0c;适合刚刚学完c语言的初学者。本专栏每天会不定时更新&#xff0c;通过每天练习&#xff0c;进一步对c语言的重难点知识进行更深入的学习。 今日练习题关键字&#xff1a;错误的集合 密码检查 &#x1f493;博主csdn个人主页&#xff1a;小小u…

系统架构:软件工程

文章目录 资源知识点自顶向下与自底向上形式化方法结构化方法敏捷方法净室软件工程面向服务的方法面向对象的方法快速应用开发螺旋模型软件过程和活动开放式源码开发方法功用驱动开发方法统一过程模型RUP基于构件的软件开发UML 资源 信息系统开发方法 知识点 自顶向下与自底…

QtConcurrent和QFuture的使用

在Qt中&#xff0c;有时候我们会遇到这样一种情况&#xff0c;需要执行一个很长时间的操作&#xff0c;这时候我们的主界面就会卡住。我们的通常做法就是把这个很长时间的操作扔到线程里去处理&#xff0c;可以使用标准库中的线程也可以使用QThread。 如果我们要在这个很长时间…