大数据技术之Hadoop：HDFS集群安装篇（三）

目录

分布式文件系统HDFS安装篇

一、为什么海量数据需要分布式存储

二、 分布式的基础架构分析

三、 HDFS的基础架构

四 HDFS集群环境部署

4.1 下载安装包

4.2 集群规划

4.3 上传解压

4.4 配置HDFS集群

4.5 准备数据目录

4.6 分发hadoop到其他服务器

4.7 配置环境变量

4.8 为普通用户授权

4.9 对整个文件系统进行格式化

4.10 启动、停止hdfs集群

4.11 查看HDFS webUI

五、虚拟机快照

此为个人学习笔记，包含个人归纳总结以及结合了对网络资源的整理，初衷是为了自己复习巩固。如果能帮到各位是我的荣幸！

该总结参考了黑马教程，感兴趣的也可以去观看相关视频。第二章-01-[理解]为什么需要分布式存储_哔哩哔哩_bilibili

分布式文件系统HDFS安装篇

一、为什么海量数据需要分布式存储

假如某个文件有100TB,试想哪台服务器能存下这么大的文件？

所以我们会搭建分布式服务集群，将这100TB的文件分成几份，分别发送到不同的服务器上。

当然，分布式不仅仅是解决了能存的问题， 多台服务器协同工作带来的也是性能的横向扩展。

也相当于是磁盘写入效率、传输效率的大大增加。

总结：

数据量太大，单机存储能力有上限，需要靠数量来解决问题。

数量的提升带来的是网络传输、磁盘读写、CPU、内存等各方面的综合提升。 分布式组合在一起可以达到1+1>2的效果。

二、 分布式的基础架构分析

数量多，在现实生活中往往带来的不是提升，而是：混乱。

众多的服务器一起工作，是如何高效、不出问题呢？

大数据体系中，分布式的调度主要有2类架构模式：去中心化模式和中心化模式。

  • 大数据框架，大多数的基础架构上，都是符合：中心化模式的。

    即：有一个中心节点（服务器）来统筹其它服务器的工作，统一指挥，统一调派，避免混乱。

    这种模式，也被称之为：一主多从模式，简称主从模式（Master And Slaves）

  • 三、 HDFS的基础架构

什么是HDFS?

  • HDFS是Hadoop三大组件(HDFS、MapReduce、YARN)之一。

  • 全称是：Hadoop Distributed File System（Hadoop分布式文件系统）。

  • 它是Hadoop技术栈内提供的分布式数据存储解决方案。

  • 可以在多台服务器上构建存储集群，存储海量的数据。

  • HDFS是一个典型的主从模式架构

  • HDFS中的架构角色有哪些？

  • NameNode：主角色，管理HDFS集群和DataNode角色

  • DataNode：从角色，负责数据的存储

  • SecondaryNameNode：辅助角色，协助NameNode整理元数据

  • 四 HDFS集群环境部署

  • 4.1 下载安装包

  • 官方网址：https://hadoop.apache.org，课程使用当前最新的发行版：3.3.4版。

  • 4.2 集群规划

    4.3 上传解压

  • 请确认已经完成前置准备中的服务器创建、固定IP、防火墙关闭、Hadoop用户创建、SSH免密、JDK部署等操作。

  • 1. 上传Hadoop安装包到centos100节点中

  • 2. 解压缩安装包到/opt/software/hadoop/中

  • tar -zxvf hadoop-3.3.4.tar.gz -C /opt/software/hadoop/

  • 3. 进入hadoop-3.3.4内

    各个文件夹含义如下

  • bin，存放Hadoop的各类程序（命令）

  • etc，存放Hadoop的配置文件

  • include，C语言的一些头文件

  • lib，存放Linux系统的动态链接库（.so文件）

  • libexec，存放配置Hadoop系统的脚本文件（.sh和.cmd）

  • licenses-binary，存放许可证文件

  • sbin，管理员程序（super bin）

  • share，存放二进制源码（Java jar包）

4.4 配置HDFS集群

配置HDFS集群，我们主要涉及到如下文件的修改：

  • workers：  配置从节点（DataNode）有哪些
  • hadoop-env.sh：  配置Hadoop的相关环境变量
  • core-site.xml：  Hadoop核心配置文件
  • hdfs-site.xml：  HDFS核心配置文件

这些文件均存在与$HADOOP_HOME/etc/hadoop文件夹中。

ps：$HADOOP_HOME是后续我们要设置的环境变量，其指代Hadoop安装文件夹即/export/server/hadoop

配置workers文件

进入安装目录下的etc/hadoop目录。这里面存放了Hadoop的配置。编辑workers文件。

 设置为我们的服务器名称，表示集群记录了这三个节点。

 配置hadoop-env.sh文件

这个文件是Hadoop在运行时需要使用到的一些环境变量

# 填入如下内容
export JAVA_HOME=/opt/software/jdk
export HADOOP_HOME=/opt/software/hadoop/hadoop-3.3.4
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export HADOOP_LOG_DIR=$HADOOP_HOME/logs

  •  

     配置core-site.xml文件

    Hadoop的核心配置文件，主要配置HDFS文件系统的网络通讯地址和io操作文件缓冲区大小。

  • 端口号一般大家都是用的8020，一般不建议更改。

<configuration><property><name>fs.defaultFS</name><value>hdfs://centos100:8020</value></property><property><name>io.file.buffer.size</name><value>131072</value></property>
</configuration>

配置hdfs-site.xml文件

<configuration><property><name>dfs.datanode.data.dir.perm</name><value>700</value></property><property><name>dfs.namenode.name.dir</name><value>/data/nn</value></property><property><name>dfs.namenode.hosts</name><value>centos100,centos101,centos102</value></property><property><name>dfs.blocksize</name><value>268435456</value></property><property><name>dfs.namenode.handler.count</name><value>100</value></property><property><name>dfs.datanode.data.dir</name><value>/data/dn</value></property>
</configuration>

  •  

  • 4.5 准备数据目录

  • 刚刚配置文件种规定了namenode和datanode的文件存储位置，但是还没有创建该目录。所以接下来我们需要创建目录。

  • 在centos100节点：

  • mkdir -p /data/nn
mkdir /data/dn

     在centos101节点和centos102节点：

  • mkdir -p /data/dn

  • 4.6 分发hadoop到其他服务器

    刚才我们安装、配置都是在centos100这台服务器上的，但是centos101和centos102这两台都还没有安装过hadoop，显然是不行的。

    所以，我们可以通过分发的方式，将Hadoop分发到centos101和centos102这两台服务器上。

    执行的时间可能比较长，要耐心等待。

    执行完毕后，我们去centos101和centos102这两台服务器看看，分发过来没。

    4.7 配置环境变量

    我们操作Hadoop的可执行命令，需要进入到它的bin目录下，然后执行对应的命令。

    但是我们觉得这样太麻烦了，能不能在任何地方都可以直接执行命令呢，当然可以。

    这需要我们配置环境变量。

    修改/etc/profile文件

    vim /etc/profile

    export HADOOP_HOME=/opt/software/hadoop/hadoop-3.3.4
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

    让环境变量生效

    source /etc/profile

     然后在另外两台服务器中都同样配置一下。

    4.8 为普通用户授权

    hadoop部署的准备工作基本完成

    为了确保安全，hadoop系统不以root用户启动，我们以普通用户hadoop来启动整个Hadoop服务

    所以，现在需要对文件权限进行授权。

    ps：请确保已经提前创建好了hadoop用户（前置准备章节中有讲述），并配置好了hadoop用户之间的免密登录

    以root身份，在centos100、centos101、centos102三台服务器上均执行如下命令:

    # 以root身份，在三台服务器上均执行
chown -R hadoop:hadoop /data
chown -R hadoop:hadoop /opt

    -R 表示对子文件夹全部执行更改

    前一个hadoop表示账号，冒号后的hadoop表示hadoop账户组

    最后是要授权的路径

  •  

    4.9 对整个文件系统进行格式化

  • 前期准备全部完成，现在对整个文件系统执行初始化。

格式化namenode

# 确保以hadoop用户执行
su - hadoop
# 格式化namenode
hadoop namenode -format

  • 可以发现执行完成后，这个文件中就有数据了。

  • 至于这些文件是什么，后续再说。

  • 4.10 启动、停止hdfs集群

  • 下面我们以hadoop用户，在centos100上通过命令可以一键启动停止整个hdfs集群。
  • # 一键启动hdfs集群
start-dfs.sh
# 一键关闭hdfs集群
stop-dfs.sh# 如果遇到命令未找到的错误，表明环境变量未配置好，可以以绝对路径执行
/opt/oftware/hadoop/hadoop-3.3.4/sbin/start-dfs.sh
/opt/oftware/hadoop/hadoop-3.3.4/sbin/stop-dfs.sh

  • 通过jps去另外两台服务器查看一下，也启动成功了。

  •  停止hdfs集群试试。

  • 4.11 查看HDFS webUI

  • 我们先不要关闭集群。然后通过web访问centos100这台服务器的9870端口，即可查看HDFS的web可视化页面。

     当然了，如果windows系统配置了host文件，将这几个ip地址映射了服务名，也可以直接用域名:9870的方式打开。


  •  

  • 五、虚拟机快照

  • 为了避免服务器出问题，导致我们辛辛苦苦搭建的集群崩溃掉。我们最好做一下快照保存。这样即使后面我们误操作，导致服务器崩溃掉，也可以恢复到我们当前这个阶段。
  • 好了，这部分内容暂时就梳理到这里。我们下个阶段见！

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.rhkb.cn/news/82977.html

如若内容造成侵权/违法违规/事实不符，请联系长河编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

实例033 制作闪烁的窗体

实例033 制作闪烁的窗体

实例说明 Windows系统中&#xff0c;当程序在后台运行时&#xff0c;如果某个窗口的提示信息需要用户浏览&#xff0c;该窗口就会不停的闪烁&#xff0c;这样就会吸引用户的注意。同样&#xff0c;如果在自己的程序中使某个窗口不停的闪烁就会吸引用户的注意。本例设计了一个闪…
阅读更多...
设计模式之工厂模式

设计模式之工厂模式

简单工厂 由一个工厂生产多个产品。 一般工厂 每个产品都有一个单独的工厂专门生产。 抽象工厂 不同工厂生产不同种类的产品&#xff0c;每个工厂生产的同类产品又可以再次分类。比如一个鼠标工厂和一个键盘工厂&#xff0c;他们可以为不同的品牌生产鼠标和键盘。
阅读更多...
手写SpringCloud系列-一分钟理解微服务注册中心（Nacos）原理。

手写SpringCloud系列-一分钟理解微服务注册中心（Nacos）原理。

手写SpringCLoud项目地址&#xff0c;求个star github:https://github.com/huangjianguo2000/spring-cloud-lightweight gitee:https://gitee.com/huangjianguo2000/spring-cloud-lightweigh 一&#xff1a;什么是注册中心 1. 总结服务注册中心 我们可以理解注册中心就是一个…
阅读更多...
Mermaid语法使用

Mermaid语法使用

Mermaid语法使用 1. 基础类1.1 流程图1.2 时序图 2. 工程图2.1 类图2.2 Git图 1. 基础类 1.1 流程图 graph TBid1(圆角矩形)--普通线-->id2[矩形];subgraph 子图id2粗线>id3{菱形}id3-. 虚线.->id4>右向旗帜]id3--无箭头---id5((圆形))end方向定义 用词含义TB从…
阅读更多...
[OnWork.Tools]系列 05-系统工具

[OnWork.Tools]系列 05-系统工具

简介 系统工具主要是将Window常用工具的快捷启动的集合 双击快速启动 计算器,记事本,截图,画图工具 控制面板,服务管理,关闭显示器,关机 启动文件夹,我的电脑,管理工具 右键菜单 添加快捷方式到桌面
阅读更多...
通过anvt X6和vue3实现图编辑

通过anvt X6和vue3实现图编辑

通过anvt X6 X6地址&#xff1a;https://x6.antv.antgroup.com/tutorial/about&#xff1b; 由于节点比较复杂&#xff0c;使用vue实现的节点&#xff1b; x6提供了一个独立的包 antv/x6-vue-shape 来使用 Vue 组件渲染节点。 VUE3的案例&#xff1a; <template><div…
阅读更多...
基于Python 简易实现接口测试自动化

基于Python 简易实现接口测试自动化

目录 实现思路 统筹脚本 请求封装 日志封装 结果比对 结果邮件 用例获取及数据格式化 请求url转换 测试用例excel结构 测试报告 邮件接收结果 资料获取方法 实现思路 使用excel管理用例用例信息&#xff0c;requests模块发送http请求&#xff0c;实现了记录日志&…
阅读更多...
数据挖掘具体步骤

数据挖掘具体步骤

数据挖掘具体步骤 1、理解业务与数据 2、准备数据 数据清洗&#xff1a; 缺失值处理&#xff1a; 异常值: 数据标准化&#xff1a; 特征选择&#xff1a; 数据采样处理&#xff1a; 3、数据建模 分类问题&#xff1a; 聚类问题&#xff1a; 回归问题 关联分析 集成学习 image B…
阅读更多...
ESP8266_RTOS_SDK AP和Station功能实现

ESP8266_RTOS_SDK AP和Station功能实现

一、开发环境搭建 SDK开发工具集选择乐鑫配置&#xff1a;VirtualBox Linux 交叉编译工具 使用的是以下这块开发板 VirtualBox下载地址 Lubuntu 镜像下载地址Lubuntu是一个轻量级系统&#xff08;由乐鑫官方提供&#xff09; source insight 编辑代码 为了便于我们开发&…
阅读更多...
CSS的引入方式有哪些？

CSS的引入方式有哪些？

聚沙成塔每天进步一点点 ⭐ 专栏简介⭐ 内联样式&#xff08;Inline Styles&#xff09;⭐ 内部样式表&#xff08;Internal Stylesheet&#xff09;⭐ 外部样式表&#xff08;External Stylesheet&#xff09;⭐ 导入样式表&#xff08;Import Stylesheet&#xff09;⭐ 写在最…
阅读更多...
Wlan——射频和天线基础知识

Wlan——射频和天线基础知识

目录 射频的介绍 射频和Wifi 射频的相关基础概念 射频的传输 信号功率的单位 射频信号传输行为 天线的介绍 天线的分类 天线的基本原理 天线的参数 射频的介绍 射频和Wifi 什么是射频 从射频发射器产生一个变化的电流&#xff08;交流电&#xff09;&#xff0c;通过…
阅读更多...
目前Java后端就业前景怎么样？

目前Java后端就业前景怎么样？

前言 并不乐观&#xff0c;看看现在的就业形式就知道了&#xff0c;基本上是僧多粥少的情况&#xff0c;你可能会看到很多编程语言排行榜或者流行榜中Java的排名很高&#xff0c;如同下面这种&#xff1a; 看排名确实可以粗略的得知语言当下的流行度、使用率&#xff0c;但是它…
阅读更多...
ArcGIS制作带蒙版的遥感影像地图

ArcGIS制作带蒙版的遥感影像地图

这次文章我们来介绍一下&#xff0c;如何通过一个系统的步骤完成ArcGIS制作带蒙版的遥感影像地图。 主要的步骤包括&#xff1a; 1 添加行政区划数据 2 导出兴趣去乡镇矢量范围 3 添加遥感影像底图 4 制作蒙版 5 利用自动完成面制作蒙版 6 标注乡镇带晕渲文字 7 …
阅读更多...
QGIS二次开发四：实现图层列表

QGIS二次开发四：实现图层列表

在实际开发中我们通常会遇到同时显示多个图层&#xff0c;并且还要实时显示和隐藏各图层的需求&#xff0c;如同 ArcGIS 的图层列表那样&#xff0c;界面左侧显示图层列表&#xff0c;列出当前已加载的所有图层&#xff0c;同时每个图层前面有复选框可以控制图层的显示/隐藏&am…
阅读更多...
边写代码边学习之numpy

边写代码边学习之numpy

1. numpy.matmul() 用法 matmul() 用于计算两个数组的矩阵乘积。示例如下 def matmul_test():array1 np.array([[[1.0, 3], [1, 1], [2, 3]]])array2 np.array([[2, 1, 1, 0, 0, 0, 0, 1, 1, 0, 1, 0],[1, 1, 0, 1, 1, 0, 0, 1, 1, 0, 0, 0], ])result np.matmul(array1, …
阅读更多...
浅谈什么是 Spring Cloud，快速学习与使用案例（文末送书福利3.0）

浅谈什么是 Spring Cloud，快速学习与使用案例（文末送书福利3.0）

文章目录 &#x1f4cb;前言&#x1f3af;什么是 Spring Cloud&#x1f3af;快速入门 Spring Cloud&#x1f9e9;使用 Eureka 进行服务注册和发现 &#x1f4dd;最后&#x1f3af;文末送书&#x1f4da;内容介绍&#x1f4da;作者介绍 &#x1f525;参与方式 &#x1f4cb;前言…
阅读更多...
nginx负载均衡（nginx结束）

nginx负载均衡（nginx结束）

本节主要内容 1、四层&#xff0c;七层代理的配置方法 2、负载均衡的算法 nginx负载均衡&#xff1a;反向代理来实现 反向代理有两种转发方式&#xff1a;1、四层代理 2、七层代理 Nginx的七层代理和四层代理 七层是最常见的反向代理方式&#xff0c;只能配置在nginx配置文…
阅读更多...
[保研/考研机试] KY129 简单计算器 浙江大学复试上机题 C++实现

[保研/考研机试] KY129 简单计算器 浙江大学复试上机题 C++实现

描述 读入一个只包含 , -, *, / 的非负整数计算表达式&#xff0c;计算该表达式的值。 输入描述&#xff1a; 测试输入包含若干测试用例&#xff0c;每个测试用例占一行&#xff0c;每行不超过200个字符&#xff0c;整数和运算符之间用一个空格分隔。没有非法表达式。当一行中…
阅读更多...
设计模式——单例模式（懒汉和饿汉）

设计模式——单例模式（懒汉和饿汉）

单例模式 一、概念 单例模式是一种对象创建型模式&#xff0c;使用单例模式&#xff0c;可以保证为一个类只生成唯一的实例对象。也就是说&#xff0c;在整个程序空间中&#xff0c;该类只存在一个实例对象。一个类只能有一个实例在生活中是很常见的&#xff0c;比如打印机程…
阅读更多...
Clickhouse 数据存储

Clickhouse 数据存储

一、数据分区 数据是以分区目录的形式组织的&#xff0c;每个分区独立分开存储.这种形式&#xff0c;查询数据时&#xff0c;可以有效的跳过无用的数据文件。 1.1 数据分区的规则 分区键的取值&#xff0c;生成分区ID&#xff0c;分区根据ID决定。根据分区键的数据类型不同&am…
阅读更多...
最新文章
推荐文章

Copyright @ 2022~2023