一、HDSF shell命令行解释说明
1、介绍
- 命令行界面(英语: command-line interface,缩写: CLl),是指用户通过键盘输入指令,计算机接收到指令后,予以执行一种人际交互方式。
- Hadoop提供了文件系统的shell命令行客户端: hadoop fs [generic options]
2、文件系统协议
- HDFS Shell CLI支持操作多种文件系统,包括本地文件系统(file:/l/)、分布式文件系统(hdfs:/nn:8020)等具体操作的是什么文件系统取决于命令中文件路径URL中的前缀协议。
- 如果没有指定前缀,则将会读取环境变量中的fs.defaultFS属性,以该属性值作为默认文件系统。
hadoop fs -ls file:ll#操作本地文件系统
hadoop fs -ls hdfs://node1:8020/#操作HDFS分布式文件系统
hadoop fs -ls/#直接根目录,没有指定协议将加载读取fs.defaultFS值
区别
- hadoop dfs只能操作HDFS文件系统(包括与Local FS间的操作),不过已经Deprecated;
- 目前版本来看,官方最终推荐使用的是hadoop fs。
3、参数说明
- HDFS文件系统的操作命令很多和Linux类似,因此学习成本相对较低。
- 可以通过hadoop fs -help命令来查看每个命令的详细用法。
Usage: hadoop fs [generic options][-appendToFile <localsrc> ... <dst>][-cat [-ignoreCrc] <src> ...]
-appendToFile <localsrc> ... <dst> :
Appends the contents of all the given local files to the given dst file. The dstfile will be created if it does not exist. lf <localSrc> is -, then the input isread from stdin.
-cat [-ignoreCrc] <src> ...:
-CAT<src>.
Fetch all files that match the file pattern <src> and display their content onstdout.
二、HDFS命令行常用操作
1、创建文件夹
hadoop fs -mkdir [-p] <path> ... 。
path为待创建的目录 路径为待创建的目录
-p选项的行为与Unix mkdir -p非常相似,它会沿着路径创建父目录。