Linux安装配置awscli命令行接口工具及其从aws上传下载数据

官网技术文档有全面介绍:安装或更新 AWS CLI 的最新版本 - AWS Command Line Interface在系统上安装 AWS CLI。icon-default.png?t=N7T8https://docs.aws.amazon.com/zh_cn/cli/latest/userguide/getting-started-install.html#getting-started-install-instructionsawscli常用命令参考:

aws s3常用命令、hdfs dfs/hadoop fs常用命令 - 知乎QInzhengk/Math-Model-and-Machine-Learning (github.com)一、aws s3常用命令1、查看目录下所有文件夹(|head查看前10个):aws s3 ls s3://mleang/qk/data/ aws s3 ls s3://dfiee/06/|head查看文件夹大小: aws s3 …icon-default.png?t=N7T8https://zhuanlan.zhihu.com/p/450037966以下介绍下我走完的步骤:

准备环节

  1. 安装好的 Linux 系统
  2. 具有管理员权限的 sudo 账户
  3. 能够联网(若是某机构单独内网或局域网,后续要重新设置全局的访问aws的端口而不是使用默认的亚马逊官方的路径)
  4. 现在让我们开始安装:

1、下载安装文件

打开终端使用 ​​curl​​ 命令下载 AWS CLI 的安装文件:

$ curl "https://awscli.amazonaws.com/awscli-exe-linux-x86_64.zip" -o "awscliv2.zip"


以上命令会在当前工作目录下载一个 ​​awscliv2.zip​​ 的文件。
使用 ​​ls 命令​​ 确认当前下载下来的文件:

$ ls -l awscliv2.zip

(若是机构内网,则在外网用https://awscli.amazonaws.com/awscli-exe-linux-x86_64.zip下载压缩文件后摆渡到内网的磁盘里)

2、解压缩下载的文件

使用 ​​unzip 命令​​ 解压安装包:

$ unzip awscliv2.zip

它会在当前目录创建一个 ​​aws​​ 文件夹,把解压好的文件放进去

3、运行安装脚本

使用以下命令运行安装脚本:

$ sudo ./aws/install


脚本会把所有安装的文件放到 ​​/usr/local/aws-cli​​​ 目录下,然后创建一个链接文件到 ​​/usr/local/bin​​ 目录。

4、检查 AWS CLI 的版本

运行以下脚本检查版本:

$ aws --version

为了验证 AWS CLI 是否安装正确,开始配置 AWS CLI:
登录你的 AWS 管理控制台,取得 AWS 访问密钥 IDAccess Key ID 和 安全访问密钥Secret Access Key。
如果还没完成创建,请先创建,并把它们
到安全的地方。
然后回到命令行,运行以下命令:

$ aws configure
AWS Access Key ID [None]: xxxxxxxxxxxxxxxxxxxAWS 
Secret Access Key [None]: xxxxxxxxxxxxxxxxxxx
Default region name [None]: us-west-2
Default output format [None]: json
以上的证书会被保存到这个文件:
$ cat  ~/.aws/credentials 
[default]
aws_access_key_id = *****************
aws_secret_access_key = *******************************
$ cat  ~/.aws/config
[default]
output = json
region = us-west-2
若再次运行aws configure命令,不需改动的项直接回车即可。

还有一步很重要,我就踩了坑:若是在机构内网环境中进行的以上操作,需要设置终端访问的aws服务器的连接地址和端口号设置为全局变量:

$export AWS_ENDPOINT_URL=http://XXX.XX.XXX.XX:端口号    (访问链接需要先拿到)

运行 ​​aws​​ 命令列出你账户中的 s3 储存桶和 VPC:

$ aws s3 ls
$ aws ec2 describe-vpcs

输出如下:
<a">

成功输出内容,说明你的 AWS CLI 已经安装和配置完成,可进入下一步的查看、上传、下载和同步、删除等操作。

插曲:linux 命令指令不熟悉的参考https://www.linuxcool.com/curlcurl命令来自英文词组“CommandLine URL”的缩写,其功能是用于在Shell终端界面中基于URL规则进行的文件传输工作。curl是一款综合的传输工具,可以上传也可以下载,支持HTTP、HTTPS、FTP等三十余种常见协议。语法格式icon-default.png?t=N7T8https://www.linuxcool.com/curl

        实在Linux是0基础小白,可学习:Linux 教程 | 菜鸟教程

awscli 下载数据:

以下示例将文件从 Amazon S3 存储桶复制到当前工作目录,其中 ./ 指定当前的工作目录。

$ aws s3 cp s3://bucket-name/filename.txt ./

以下示例使用 s3 cp 命令,将本地文件从当前工作目录复制到 Amazon S3 存储桶。

$ aws s3 cp filename.txt s3://bucket-name

删除本地文件:

// Delete local file

$ rm ./MyFile1.txt

以下示例删除 s3://my-bucket/path 及其所有内容。

$ aws s3 rm s3://my-bucket/path --recursive

同步本地的文件到aws服务器:s3 sync 和 s3 cp 可以使用 --acl 选项。这样您能够为复制到 Amazon S3 的文件设置访问权限。--acl 选项接受 privatepublic-read 和 public-read-write 值。有关更多信息,请参阅 Amazon Simple Storage Service 用户指南中的标准 ACL。

$ aws s3 sync . s3://my-bucket/path --acl public-read

退出linux终端界面重新使用aws时需要再次设置aws连接地址和端口号设置为全局变量:

$export AWS_ENDPOINT_URL=http://XXX.XX.XXX.XX:端口号    (访问链接需要先拿到)

后用:$aws s3 ls     $aws s3 ls s3://桶名//文件名

(2023-11-3更)

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/181910.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

深度学习之基于Tensorflow卷积神经网络花卉识别系统

欢迎大家点赞、收藏、关注、评论啦 &#xff0c;由于篇幅有限&#xff0c;只展示了部分核心代码。 文章目录 一项目简介 二、功能三、系统四. 总结 一项目简介 深度学习是一种机器学习方法&#xff0c;它通过模拟人脑神经网络的结构和功能来实现对数据的自动分析和学习。卷积神…

ClickHouse 学习之基础入门(一)

第 1 章 ClickHouse 入 门 ClickHouse 是俄罗斯的 Yandex 于 2016 年开源的列式存储数据库&#xff08;DBMS&#xff09;&#xff0c;使用 C 语言编写&#xff0c;主要用于在线分析处理查询&#xff08;OLAP&#xff09;&#xff0c;能够使用 SQL 查询实时生成分析数据报告。 …

Linux环境基础开发工具使用(二)

&#x1f4d8;北尘_&#xff1a;个人主页 &#x1f30e;个人专栏:《Linux操作系统》《经典算法试题 》《C》 《数据结构与算法》 ☀️走在路上&#xff0c;不忘来时的初心 文章目录 一、Linux项目自动化构建工具-make/Makefile1、背景2、实例代码3、依赖关系4、依赖方法5、原理…

【Head First 设计模式】-- 策略模式

一、背景 Head First 设计模式第一章设计模式入门–策略模式 二、工具箱的工具&#xff08;本章&#xff09; 1、OO基础 封装 继承 多态 抽象 2、OO原则 封装变化 面向接口编程&#xff0c;而非面向实现编程 组合优于继承 3、OO模式 策略模式&#xff0c;所谓策略模式就是定义…

spring-boot中实现分片上传文件

一、上传文件基本实现 1、前端效果图展示&#xff0c;这里使用element-ui plus来展示样式效果 2、基础代码如下 <template><div><el-uploadref"uploadRef"class"upload-demo":limit"1":on-change"handleExceed":auto-…

【算法】单调栈 每日温度 接雨水

文章目录 例题739. 每日温度42. 接雨水 相关练习1475. 商品折扣后的最终价格901. 股票价格跨度1019. 链表中的下一个更大节点84. 柱状图中最大的矩形 单调栈【基础算法精讲 26】 例题 739. 每日温度 https://leetcode.cn/problems/daily-temperatures/description/ 提示&a…

Git 的基本操作 ——命令行

Git 的工作流程 详解如下&#xff1a; 本地仓库&#xff1a;是在开发人员自己电脑上的Git仓库,存放我们的代码(.git 隐藏文件夹就是我们的本地仓库) 远程仓库&#xff1a;是在远程服务器上的Git仓库,存放代码(可以是github.com或者gitee.com 上的仓库,或者自己该公司的服务器…

php去除字符串两边空格空字符串换行方法

在PHP中&#xff0c;可以使用以下几种方法去除字符串两边的空格、空字符串和换行符&#xff1a; 使用trim()函数去除字符串两边的空格和空字符串&#xff0c;例如&#xff1a; $str " Hello World! "; $trimmed trim($str); echo $trimmed; 使用preg_replace(…

Angular-07:组件生命周期

三个阶段&#xff1a; ① 挂载阶段1.1 constructor1.2 ngOnInit ② 更新阶段2.1 ngOnChanges2.2 ngAfterViewInit2.3 ngAfterContentInit2.4 ngDoCheck ③ 卸载阶段3.1 onOnDestroy ④ 在组件中添加所有方法并打印 该表按照执行顺序编写 编号函数名实现名说明1constructorcons…

Java 开发常用的 Linux 命令

基本操作 Linux关机,重启 # 关机 shutdown -h now# 重启 shutdown -r now查看系统,CPU信息 # 查看系统内核信息 uname -a# 查看系统内核版本 cat /proc/version# 查看当前用户环境变量 envcat /proc/cpuinfo# 查看有几个逻辑cpu, 包括cpu型号 cat /proc/cpuinfo | grep name …

【Spring Boot 源码学习】JedisConnectionConfiguration 详解

Spring Boot 源码学习系列 JedisConnectionConfiguration 详解 引言往期内容主要内容1. RedisConnectionFactory1.1 单机连接1.2 集群连接1.3 哨兵连接 2. JedisConnectionConfiguration2.1 RedisConnectionConfiguration2.2 导入自动配置2.3 相关注解介绍2.4 redisConnectionF…

FreeRTOS笔记【一】 任务的创建(动态方法和静态方法)

一、任务创建和删除API函数 函数描述xTaskCreate()使用动态的方法创建一个任务xTaskCreateStatic()使用静态的方法创建一个任务xTaskCreateRestricted()创建一个使用MPU进行限制的任务&#xff0c;相关内存使用动态内存分配vTaskDelete()删除一个任务 二、动态创建任务 2.1 …

C语言——选择排序

完整代码&#xff1a; //选择排序 // 选择排序是一种简单直观的排序算法。它的工作原理如下:首先在未排序序列中找到最小&#xff08;大&#xff09;元素&#xff0c;存放到排序序列的起始位置&#xff0c;然后&#xff0c;再从剩余未排序元素中继续寻找最小&#xff08;大&am…

已完结,给小白的《50讲Python自动化办公》

大家好&#xff0c;这里是程序员晚枫&#xff0c;小红薯也叫这个名。 写在前面 上个周末去成都参加了第8届中国开源年会&#xff0c;认识了很多行业前辈和优秀的同龄人。 我发现在工作之外还能有一番事业的人&#xff0c;都有一个让我羡慕的共同点&#xff1a;有一个拿得出手…

Ubantu安装教程(其实和之前CentOS差不多)

文章目录 VM安装见下方参考链接Ubuntu安装我的是Ubuntu22.04.3官网下载我下载的桌面版LTS代表长期支持-这意味着五年的免费安全和维护更新选好版本点击下载就好&#xff08;注意桌面版和服务器版&#xff09; 搭建虚拟机个性化名字自定义安装位置不知道就先默认就好&#xff0c…

Java与Redis的集成

目录 Java连接Redis 导入依赖 Redis服务器准备 建立连接 Java操作Redis常用类型数据 Redis字符串(String) Redis哈希(Hash) Redis列表&#xff08;List&#xff09; Redis集合&#xff08;Set&#xff09; Redis有序集合&#xff08;Sorted Set&#xff09; Redis在项目应用…

类和对象解析

导言&#xff1a; Java是一门纯面向对象的语言&#xff0c;在面对对象的世界里&#xff0c;一切皆为对象。而对象的创建又和类的定义息息相关。本文主要阐述了类和对象的使用与理解。解释类的定义方式以及对象的实例化&#xff0c;类中的成员变量和成员方法的使用&#xff0c;…

Python基础入门例程45-NP45 禁止重复注册(条件语句)

最近的博文&#xff1a; Python基础入门例程44-NP44 判断列表是否为空&#xff08;条件语句&#xff09;-CSDN博客 Python基础入门例程43-NP43 判断布尔值&#xff08;条件语句&#xff09;-CSDN博客 Python基础入门例程42-NP42 公式计算器&#xff08;运算符&#xff09;-C…

吴恩达《机器学习》6-1->6-3:分类问题、假设陈述、决策界限

一、什么是分类问题&#xff1f; 在分类问题中&#xff0c;我们试图预测的变量&#x1d466;是离散的值&#xff0c;通常表示某种类别或标签。这些类别可以是二元的&#xff0c;也可以是多元的。分类问题的示例包括&#xff1a; 判断一封电子邮件是否是垃圾邮件&#xff08;二…

基于鹰栖息算法的无人机航迹规划-附代码

基于鹰栖息算法的无人机航迹规划 文章目录 基于鹰栖息算法的无人机航迹规划1.鹰栖息搜索算法2.无人机飞行环境建模3.无人机航迹规划建模4.实验结果4.1地图创建4.2 航迹规划 5.参考文献6.Matlab代码 摘要&#xff1a;本文主要介绍利用鹰栖息算法来优化无人机航迹规划。 1.鹰栖息…