HDFS概述及常用shell操作

HDFS

  • 一、HDFS概述
    • 1.1 HDFS适用场景
    • 1.2 HDFS优缺点
    • 1.3 HDFS文件块大小
  • 二、HDFS的shell操作
    • 2.1 上传
    • 2.2 下载
    • 2.3 HDFS直接操作

一、HDFS概述

1.1 HDFS适用场景

因为HDFS里所有的文件都是维护在磁盘里的
在磁盘中对文件的历史内容进行修改 效率极其低(但是追加可以)
在这里插入图片描述

1.2 HDFS优缺点

  • 优点
    -

  • 缺点
    因为数据量太大 且磁盘IO操作很多 所以不适合低延时的要求
    那HDFS为什么怕小文件呢-因为不管是大文件 还是小文件 他们对应的元数据信息大小都是一样的(大概150字节) 而元数据都是存在服务器的内存中 这是有限的
    在这里插入图片描述

1.3 HDFS文件块大小

在这里插入图片描述
在这里插入图片描述

二、HDFS的shell操作

2.1 上传

  • -moveFromLocal:从本地剪切粘贴到HDFS(本地就没了)
    hadoop fs -moveFromLocal ./test.txt /test

  • -copyFromLocal:从本地文件系统中拷贝文件到HDFS(本地还有)
    hadoop fs -copyFromLocal README.txt /test

  • -appendToFile:追加一个文件到已经存在的文件末尾
    hadoop fs -appendToFile liubei.txt /shuguo/kongming.txt

  • -put:等同于copyFromLocal
    hadoop fs -put ./test2.txt /test/

2.2 下载

  • -copyToLocal:从HDFS拷贝到本地
    hadoop fs -copyToLocal /sanguo/shuguo/kongming.txt ./
  • -get:等同于copyToLocal
    hadoop fs -get /sanguo/shuguo/kongming.txt ./
  • -getmerge:合并下载多个文件(把多个文件的内容合并放在一个文件)
    hadoop fs -getmerge /user/atguigu/test/* ./zaiyiqi.txt

2.3 HDFS直接操作

  • -ls: 显示目录信息
    hadoop fs -ls /

  • -mkdir:在HDFS上创建目录(-p创建多级目录)
    hadoop fs -mkdir -p /sanguo/shuguo

  • -cat:显示文件内容
    hadoop fs -cat /sanguo/shuguo/kongming.txt

  • -chgrp -chmod -chown:Linux文件系统中的用法一样 修改权限(Web可以直接改)

  • -cp :从HDFS的一个路径拷贝到HDFS的另一个路径
    hadoop fs -cp /sanguo/shuguo/kongming.txt /zhuge.txt

  • -mv:在HDFS目录中移动(重命名)文件
    hadoop fs -mv /zhuge.txt /sanguo/shuguo/

  • -tail:显示一个文件的末尾1kb的数据
    hadoop fs -tail /sanguo/kongming.txt

  • -rm:删除文件或文件夹
    hadoop fs -rm /user/atguigu/test/jinlian2.txt
    hadoop fs -rm -r 删文件夹

  • -rmdir:只能删除空目录
    hadoop fs -rmdir /test

  • -setrep:设置HDFS中文件的副本数量(这里设置的副本数只是记录在NameNode的元数据中 是否真的会有这么多副本 还得看DataNode的数量 因为目前只有3台设备 最多也就3个副本 只有节点数的增加到10台时 副本数才能达到10)
    hadoop fs -setrep 10 /sanguo/kongming.txt

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/282484.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

电力柜智能蓝牙锁控解决方案

一、行业背景 随着智能电网的快速发展,电力柜作为电网的重要组成部分,其安全性和可靠性对于保障电力供应至关重要。传统的电力柜锁控系统多依赖于物理钥匙,存在管理不便、安全隐患大、难以实时监控等问题,为了提高电力柜的安全管…

品牌方年度抖音店铺打造流量运营孵化方案

【干货资料持续更新,以防走丢】 品牌方年度抖音店铺打造流量运营孵化方案 部分资料预览 资料部分是网络整理,仅供学习参考。 PDF共120页(完整资料包含以下内容) 目录 抖音年度短视频直播运营规划方案 1. 帐号视频发布规划 问…

Java微服务轻松部署服务器

我们在日常开发微服务之后需要再服务器上面部署,那么如何进行部署呢,先把微服务的各个服务和中间件以及对应的端口列举出来,都打包成镜像,以及前端代码部署的nginx,使用docker-compose启动,访问服务器nginx…

C++关键字:const

文章目录 一、const的四大作用1.修饰 变量、数组2.修饰 函数的形参、修饰 引用 (最常用)3.修饰 指针:常量指针、指针常量 、只读指针4.修饰 类的成员函数、修饰 类的对象 一、const的四大作用 1.修饰 变量、数组 1.const修饰变量: 被const修…

[LLM]大语言模型文本生成—解码策略(Top-k Top-p Temperature)

{"top_k": 5,"temperature": 0.8,"num_beams": 1,"top_p": 0.75,"repetition_penalty": 1.5,"max_tokens": 30000,"message": [{"content": "你好","role": "user&…

C语言学习过程总结(18)——指针(6)

一、数组指针变量 在上一节中我们提到了,指针数组的存放指针的数组,那数组指针变量是什么呢? 显而易见,数组指针变量是指针 同样类比整型指针变量和字符指针变量里面分别存放的是整型变量地址和字符变量地址,我们可以…

元宇宙VR数字化艺术展降低办展成本

元宇宙AI时代已经来临,越来越多人期待在元宇宙数字空间搭建一个属于自己的虚拟展厅,元宇宙虚拟展厅搭建平台是VR公司深圳华锐视点为企业研发的可编辑工具,那么元宇宙虚拟展厅搭建平台有哪些新突破? 元宇宙虚拟展厅搭建平台采用了先进的web3D…

Navicat:设置mysql数据库表的主键为uuid

文章目录 1 问题描述2 解决方案3 其他方法 1 问题描述 当我使用Navicat新建表test_table之后,想通过导入向导将excel表中的数据导入到表test_tab中,由于没有excel表中没有主键对应的字段,导致导入失败,提示Field id doesnt have …

利用二分法求方程在某个范围内的根

问题描述: 利用二分法求方程在(-10,10)的根。 方法:先求出两端点的中点,然后将中点带入方程中检查是否等于0,如果等于0说明找到了根,如果大于0,说明根在左半部分,将rig…

自学rabbitmq入门到精通

交换机的fault (发布与订阅模式) 因为消息是由生产者发送给excahnge,exchange发送给队列, 然后由队列发送给消费者的。 展示使用图形化界面使用fanout模式。 创建交换机 然后创建三个队列,绑定对应的交换机&#xff…

速通Markdown基础写法(含安装Typora)

什么是Markdown Markdown是一种轻量级标记语言,它允许人们使用易读易写的纯文本格式来编写文档,然后转换成格式丰富的HTML页面。这种语言吸收了很多在电子邮件中已有的纯文本标记的特性。 Markdown的语法简洁明了、学习容易,而且功能比纯文…

学成在线_视频处理_视频转码不成功

问题 当我们用xxljob进行视频处理中的转码操作时会发现视频转码不成功。即程序会进入下图所示的if语句内。 问题原因 在进行视频转码时程序会调用Mp4VideoUtil类下的 generateMp4方法,而result接收的正是该方法的返回值。那么什么时候generateMp4方法的返回值会…

【3D reconstruction 学习笔记 第二部】

三维重建 3D reconstruction 4. 三维重建与极几何三角化(线性解法)三角化(非线性解法)多视图几何极几何极几何约束基础矩阵估计 5. 双目立体视觉重建6. 多视图重建7. SFM 系统设计8. SLAM系统设计 4. 三维重建与极几何 三角化&…

机器人路径规划:基于霸王龙优化算法(Tyrannosaurus optimization,TROA)的机器人路径规划(提供MATLAB代码)

一、机器人路径规划介绍 移动机器人(Mobile robot,MR)的路径规划是 移动机器人研究的重要分支之,是对其进行控制的基础。根据环境信息的已知程度不同,路径规划分为基于环境信息已知的全局路径规划和基于环境信息未知或…

蓝桥杯单片机快速开发笔记——特训2 按键的长按与短按

一、题目要求 在CT107D单片机综合训练平台上,通过I/O模式编写代码,实现以下功能: 系统上电后,关闭蜂鸣器、继电器和全部指示灯,数码管显示初始值为28,仅显示数码管最右边两位。利用定时器0实现10ms间隔定…

美摄科技剪同款SDK解决方案全面升级

视频内容已成为企业宣传、品牌塑造和市场营销的重要载体。然而,如何快速、高效地制作出高质量的视频内容,成为摆在众多企业面前的一大难题。针对这一挑战,美摄科技凭借深厚的技术积累和创新能力,推出了全新的剪同款SDK解决方案&am…

如何注册 onlyFans? onlyFans 如何订阅教程

一、onlyFans 介绍 OnlyFans 是一个在线平台,允许创作者为他们的内容提供订阅服务,通常是成人内容或独家内容。该平台于2016年成立,起初被认为是一个用于演员、模特、艺术家和其他创意行业从业者分享内容的地方。随着时间的推移,O…

21 OpenCV 直方图均衡化

文章目录 直方图概念均衡的目的equalizeHist 均衡化算子示例 直方图概念 图像直方图,是指对整个图像像在灰度范围内的像素值(0~255)统计出现频率次数,据此生成的直方图,称为图像直方图-直方图。直方图反映了图像灰度的分布情况。 均衡的目的…

全国农产品价格分析预测可视化系统设计与实现

全国农产品价格分析预测可视化系统设计与实现 【摘要】在当今信息化社会,数据的可视化已成为决策和分析的重要工具。尤其是在农业领域,了解和预测农产品价格趋势对于农民、政府和相关企业都至关重要。为了满足这一需求,设计并实现了全国农产…

摘录笔记——2024年3月20日

这位大佬介绍的技术PM方面心得,有一定的启发意义(虽说我现在只是搬砖的,跟PM还有一定差距),现在摘录出来作为记录: 一文聊聊我理解的技术PM作为技术同学,不仅要写好自己的代码,做好…