官网技术文档有全面介绍:安装或更新 AWS CLI 的最新版本 - AWS Command Line Interface在系统上安装 AWS CLI。https://docs.aws.amazon.com/zh_cn/cli/latest/userguide/getting-started-install.html#getting-started-install-instructionsawscli常用命令参考:
aws s3常用命令、hdfs dfs/hadoop fs常用命令 - 知乎QInzhengk/Math-Model-and-Machine-Learning (github.com)一、aws s3常用命令1、查看目录下所有文件夹(|head查看前10个):aws s3 ls s3://mleang/qk/data/ aws s3 ls s3://dfiee/06/|head查看文件夹大小: aws s3 …https://zhuanlan.zhihu.com/p/450037966以下介绍下我走完的步骤:
准备环节
- 安装好的 Linux 系统
- 具有管理员权限的 sudo 账户
- 能够联网(若是某机构单独内网或局域网,后续要重新设置全局的访问aws的端口而不是使用默认的亚马逊官方的路径)
- 现在让我们开始安装:
1、下载安装文件
打开终端使用 curl 命令下载 AWS CLI 的安装文件:
$ curl "https://awscli.amazonaws.com/awscli-exe-linux-x86_64.zip" -o "awscliv2.zip"
以上命令会在当前工作目录下载一个 awscliv2.zip 的文件。
使用 ls 命令 确认当前下载下来的文件:
$ ls -l awscliv2.zip
(若是机构内网,则在外网用https://awscli.amazonaws.com/awscli-exe-linux-x86_64.zip下载压缩文件后摆渡到内网的磁盘里)
2、解压缩下载的文件
使用 unzip 命令 解压安装包:
$ unzip awscliv2.zip
它会在当前目录创建一个 aws 文件夹,把解压好的文件放进去
3、运行安装脚本
使用以下命令运行安装脚本:
$ sudo ./aws/install
脚本会把所有安装的文件放到 /usr/local/aws-cli 目录下,然后创建一个链接文件到 /usr/local/bin 目录。
4、检查 AWS CLI 的版本
运行以下脚本检查版本:
$ aws --version
为了验证 AWS CLI 是否安装正确,开始配置 AWS CLI:
登录你的 AWS 管理控制台,取得 AWS 访问密钥 IDAccess Key ID 和 安全访问密钥Secret Access Key。
如果还没完成创建,请先创建,并把它们
到安全的地方。
然后回到命令行,运行以下命令:
$ aws configure AWS Access Key ID [None]: xxxxxxxxxxxxxxxxxxxAWS Secret Access Key [None]: xxxxxxxxxxxxxxxxxxx Default region name [None]: us-west-2 Default output format [None]: json 以上的证书会被保存到这个文件: $ cat ~/.aws/credentials [default] aws_access_key_id = ***************** aws_secret_access_key = ******************************* $ cat ~/.aws/config [default] output = json region = us-west-2 若再次运行aws configure命令,不需改动的项直接回车即可。
还有一步很重要,我就踩了坑:若是在机构内网环境中进行的以上操作,需要设置终端访问的aws服务器的连接地址和端口号设置为全局变量:
$export AWS_ENDPOINT_URL=http://XXX.XX.XXX.XX:端口号 (访问链接需要先拿到)
运行 aws 命令列出你账户中的 s3 储存桶和 VPC:
$ aws s3 ls $ aws ec2 describe-vpcs
输出如下:
<a">
成功输出内容,说明你的 AWS CLI 已经安装和配置完成,可进入下一步的查看、上传、下载和同步、删除等操作。
插曲:linux 命令指令不熟悉的参考https://www.linuxcool.com/curlcurl命令来自英文词组“CommandLine URL”的缩写,其功能是用于在Shell终端界面中基于URL规则进行的文件传输工作。curl是一款综合的传输工具,可以上传也可以下载,支持HTTP、HTTPS、FTP等三十余种常见协议。语法格式https://www.linuxcool.com/curl
实在Linux是0基础小白,可学习:Linux 教程 | 菜鸟教程
awscli 下载数据:
以下示例将文件从 Amazon S3 存储桶复制到当前工作目录,其中 ./
指定当前的工作目录。
$ aws s3 cp s3://bucket-name/filename.txt ./
以下示例使用 s3 cp
命令,将本地文件从当前工作目录复制到 Amazon S3 存储桶。
$ aws s3 cp filename.txt s3://bucket-name
删除本地文件:
// Delete local file
$ rm ./MyFile1.txt
以下示例删除 s3://my-bucket/path
及其所有内容。
$ aws s3 rm s3://my-bucket/path --recursive
同步本地的文件到aws服务器:s3 sync
和 s3 cp
可以使用 --acl
选项。这样您能够为复制到 Amazon S3 的文件设置访问权限。--acl
选项接受 private
、public-read
和 public-read-write
值。有关更多信息,请参阅 Amazon Simple Storage Service 用户指南中的标准 ACL。
$ aws s3 sync . s3://my-bucket/path --acl public-read
aws连接地址和端口号设置为全局变量:退出linux终端界面重新使用aws时需要再次设置
$export AWS_ENDPOINT_URL=http://XXX.XX.XXX.XX:端口号 (访问链接需要先拿到)
后用:$aws s3 ls $aws s3 ls s3://桶名//文件名
(2023-11-3更)