CentOS7 Hadoop3.3.0 安装与配置

一、安装JDK

1、创建文件夹tools和training用于存放压缩包和解压使用,tools存放压缩包,training用于解压后安装jdk和hadoop的路径。

1)回到路径为 / 的位置
cd /

在这里插入图片描述

2) 创建 tools 和 training
mkdir tools
mkdir training
3) 进入tools文件夹
cd tools

在这里插入图片描述

4) 左边mobaxterm里面点击进入/tools文件夹,将发给大家的压缩包直接鼠标拖入进去,拖的是tar.gz压缩包,不要在电脑里面解压过了!,拖的时候有进度条,上传完后如图所示

在这里插入图片描述

2、JDK解压

1) 在控制台输入以下命令,将文件解压至training文件夹,如图所示,路径在tools里面,会有一堆进度条,等他运行停止以后进行下一步
tar -zvxf jdk-8u144-linux-x64.tar.gz  -C /training/

在这里插入图片描述

2) 查看mobaxterm左边,点击文件夹进到training里面查看解压情况,有这个文件夹了就说明解压成功了。

在这里插入图片描述

3、JDK安装

1)控制台输入此命令回车进行环境配置
 vi ~/.bash_profile

在这里插入图片描述

2) 进入文件后是不可编辑的阅读状态,使用键盘上下左右键将光标移动到蓝色的export PATH 的H上面,按一下电脑的 i 键盘,进入编辑模式,按右键挪到H的后面,然后回车两次,在进行下一步

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

3) 在文件中添加此配置,直接复制粘贴,若java版本不是从我这下的,和我不同,请自行在配置里更改版本编号144,具体如图
#java
export JAVA_HOME=/training/jdk1.8.0_144
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib:$JRE_HOME/lib
export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin

在这里插入图片描述

4) 按一下esc退出编辑模式

在这里插入图片描述

5) 输入 冒号wq,然后回车, 不可复制,直接键盘自己输,此操作是保存文件并退出,w是保存,q是退出,后面不会讲这么细,忘记可以翻回来看,如果不下心改错了,不想保存退出,则使用 :wq! ,就是不保存退出。
:wq

在这里插入图片描述
在这里插入图片描述

6) 环境变量更改以后,需要让他生效,所以输入一下命令让环境变量生效。
source ~/.bash_profile

在这里插入图片描述

7) 输入此命令,检查java是否安装完毕,如果弹出对应版本信息则成功安装java。
 java -version

在这里插入图片描述

二、安装Hadoop

1、关闭centos的防火墙,不然影响后面hadoop远程连接

systemctl stop firewalld.service

在这里插入图片描述

systemctl disable firewalld.service

在这里插入图片描述

2、更改主机名为niit和我一样,方便后续文件直接复制粘贴不用更改,更改后不会马上显示,关掉mobaxterm重新连接一下就好了。

 hostnamectl --static set-hostname niit

3、配置映射关系

1)进入centos的hosts映射文件
 vi /etc/hosts
2)添加ip编号 空格 主机名

(每个人ip都不一样,自己用自己的)
具体怎么添加的参考上面的详细环境变量文件更改和保存操作,一样的。

192.168.163.137 niit

在这里插入图片描述

3):wq保存退出
:wq

4、配置另一个映射文件

1)进入文件
vi /etc/sysconfig/network
2)添加主机名在这个文件里
niit

在这里插入图片描述

3) :wq 保存退出
:wq

5、进入/tools文件夹

cd /tools

6、解压hadoop压缩包到training文件夹

tar -zvxf /tools/hadoop-3.3.0.tar.gz -C /training/

在这里插入图片描述
在这里插入图片描述

7、Hadoop环境配置

1)再次进入环境变量配置文件
vi ~/.bash_profile
2)添加如下配置,别动到之前的java,在后面换行添加就行
#hadoop
export HADOOP_HOME=/training/hadoop-3.3.0
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

在这里插入图片描述

3):wq保存退出
4)生效环境变量
source ~/.bash_profile

在这里插入图片描述

5)输入hdfs检查hadoop是否安装成功,如果有这些东西出来了,说明成功安装,接下来去进行hadoop配置文件的配置。
hdfs

在这里插入图片描述

三、Hadoop免密登录配置

1、创建免密登录数据存放文件

1)在hadoop安装路径下创建一个tmp文件夹用于存放配置数据
mkdir /training/hadoop-3.3.0/tmp 

在这里插入图片描述

2、免密配置

1)进行hadoop ssh免密配置

a输入以下代码,回车四次什么都不要输入快速回车4次,然后你会得到一个密码图形,每个人不一样,不用看我的图,有图形就好了

ssh-keygen -t rsa

在这里插入图片描述
在这里插入图片描述

b输入以下命令

cd ~/.ssh/

在这里插入图片描述
c输入以下命令(niit是主机名,和我不一样得换自己的)

具体如图所示

 ssh-copy-id -i id_rsa.pub root@niit

在这里插入图片描述

四、Hadoop5个配置文件设置

1、进入Hadoop配置文件地址

cd /training/hadoop-3.3.0/etc/hadoop/

2、第一个配置文件:hadoop-env.sh,用于设置jdk的

1)输入命令进入编辑
vi hadoop-env.sh

在这里插入图片描述

2)进去后长这样

在这里插入图片描述

3)往下滑动鼠标找到

在这里插入图片描述

4)进入编辑模式,在这一行下面一行添加此内容
export JAVA_HOME=/training/jdk1.8.0_144
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root

在这里插入图片描述

5):wq保存退出

3、第二个配置文件:hdfs-site.xml,用于设置权限和数据块备份数量

1)进入文件
vi hdfs-site.xml

在这里插入图片描述

2)进去长这样,在两个configuration中间添加配置

在这里插入图片描述

3)进入编辑模式添加内容
<property><name>dfs.replication</name><value>1</value>
</property>
<property><name>dfs.permissions</name><value>false</value>
</property>

在这里插入图片描述

4):wq保存退出

4、第三个配置文件:core-site.xml,用于设置主节点和临时文件夹

1)进入文件
vi core-site.xml

在这里插入图片描述

2)进去长这样,在configuration中间加

在这里插入图片描述

3)添加内容,niit是主机名,不一样记得改,8020不用动
<property><name>fs.defaultFS</name><value>hdfs://niit:8020</value>
</property>			
<property><name>hadoop.tmp.dir</name><value>/training/hadoop-3.3.0/tmp</value>
</property>

在这里插入图片描述

4):wq保存退出

5、第四个配置文件:mapred-site.xml,用于设置mapreduce的运行环境

1)进入文件
vi mapred-site.xml

在这里插入图片描述

2)进去长这样,在configuration中间加

在这里插入图片描述

3)添加内容
<property>	<name>mapreduce.framework.name</name><value>yarn</value>
</property>

在这里插入图片描述

6、第五个配置文件:yarn-site.xml,用于设置yarn

1)进入文件
vi yarn-site.xml

在这里插入图片描述

2)进入长这样,在箭头处添加

在这里插入图片描述

3)添加内容
<property><name>yarn.resourcemanager.hostname</name><value>niit</value>
</property>
<property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value>
</property>

在这里插入图片描述

4):wq保存退出

五、Hadoop格式化主节点

hdfs namenode -format

#注意: 如果格式化成功,你可以看到如下信息:
common.Storage: Storage directory /training/hadoop-3.3.0/tmp/dfs/name has been successfully formatted.

在这里插入图片描述

六、Hadoop启动与关闭

1、启动Hadoop

1)启动命令
start-all.sh

在这里插入图片描述

2)是否启动成功进程检查
jps

成功会有5个进程,1个jps进程
在这里插入图片描述
如果成功看到5个hadoop进程恭喜你成功了,只要少了任何一个进程说明上述所有步骤一点点小问题都会有影响,从头检查一遍。

2、关闭Hadoop

stop-all.sh

在这里插入图片描述
在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/120389.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

RHCA之路---EX280(4)

RHCA之路—EX280(4) 1. 题目 Use the S2I functionality of your OpenShift instance to build an application in the rome project Use the Git repository at http://services.lab.example.com/php-helloworld for the application source Use the Docker image labeled re…

Three.js开发中遇到的常见问题总结和性能优化

关于Three.js开发中遇到的一些问题总结 1.加载外部模型文件无法在场景中显示: (1) 确保当前文件内容是否能被读取&#xff0c;在Javascript的console中查找错误&#xff0c;并确定当你调用.load()的时候&#xff0c;使用了onError回调函数来输出结果, 如果err 输出则表示当前…

一加11/Ace2/10Pro手机如何实现全局120HZ高刷-游戏超级流畅效果

已经成功root啦。安卓13目前也一样支持LSPosed框架&#xff0c;如果你对LSP框架有需求&#xff0c;也可以使 自测120HZ刷新率诞生以后&#xff0c;很多小伙伴用上了就很难回来啦&#xff0c;一加11/Ace2/10Pro/9pro手 机厂商也对新机做了很多的适配&#xff0c;让我们日常使用起…

工业4G路由器的户外组网与无人值守场景应用

工业4G路由器是专为不便电缆布线的工业或日晒雨淋网络不畅的户外环境所设计的网络设备。它能够在没有光纤宽带的情况下使用插卡的方式提供4G或无线WiFi的网络支持。具备工业级防水功能&#xff0c;能够在户外环境下进行网络部署&#xff0c;并实现无人值守运行。工业4G路由器还…

SpringMVC使用

文章目录 一.MVC基础概念1.MVC定义2.SpringMVC和MVC的关系 二.SpringMVC的使用1.RequestMapping2.获取参数1.获取单个参数2.传递对象3.后端参数重命名&#xff08;后端参数映射&#xff09;4.获取URL中参数PathVariable5.上传文件RequestPart6.获取Cookie/Session/header 3.返回…

聚焦!智慧燃气使用体验到底怎么样?

文章来源&#xff1a;网络 关键词&#xff1a;智慧燃气、智能管网、智能气网、智慧燃气系统、智慧燃气平台 随着科技的发展&#xff0c;物联网技术不断进步&#xff0c;智能燃气也时常出现在我们的生活中。但大多数人仍然对智慧燃气知之甚少。究竟何为智慧燃气&#xff1f;能…

如何将Word转成PDF?试一下这个转换方法

Word转成PDF是现代办公中常见的需求&#xff0c;它可以确保文件的格式和内容在不同平台上保持一致&#xff0c;并且更加方便共享和打印。在这个数字化时代&#xff0c;我们经常需要将Word文档转换为PDF格式&#xff0c;无论是个人用户还是商务用户都会遇到这样的需求。那么如何…

IP地址、网关、网络/主机号、子网掩码关系

一、IP地址 IP地址组成 IP地址分为两个部分&#xff1a;网络号和主机号 &#xff08;1&#xff09;网络号:标识网段&#xff0c;保证相互连接的两个网段具有不同的标识。 &#xff08;2&#xff09;主机号:标识主机&#xff0c;同一网段内&#xff0c;主机之间具有相同的网…

介绍几个搜索引擎

Google&#xff1a;全球最大的搜索引擎&#xff0c;提供全面的搜索服务&#xff0c;包括网页、图片、视频、新闻、地图等。 Baidu&#xff1a;中国最大的搜索引擎&#xff0c;提供类似于Google的全面搜索服务&#xff0c;同时也有网盘、知道等功能。 Bing&#xff1a;微软公司…

一种编程语言,

前言&#xff1a;相信看到这篇文章的小伙伴都或多或少有一些编程基础&#xff0c;懂得一些linux的基本命令了吧&#xff0c;本篇文章将带领大家服务器如何部署一个使用django框架开发的一个网站进行云服务器端的部署。 文章使用到的的工具 Python&#xff1a;一种编程语言&…

初识Maven(一)命令行操作和idea创建maven工程

Maven 是 Apache 软件基金会组织维护的一款专门为 Java 项目提供**构建**和**依赖**管理支持的工具。 构建过程包含的主要的环节&#xff1a;- 清理&#xff1a;删除上一次构建的结果&#xff0c;为下一次构建做好准备 - 编译&#xff1a;Java 源程序编译成 *.class 字节码文件…

【AI】机器学习——绪论

文章目录 1.1 机器学习概念1.1.1 定义统计机器学习与数据挖掘区别机器学习前提 1.1.2 术语1.1.3 特点以数据为研究对象目标方法——基于数据构建模型SML三要素SML步骤 1.2 分类1.2.1 参数化/非参数化方法1.2.2 按算法分类1.2.3 按模型分类概率模型非概率模型逻辑斯蒂回归 1.2.4…

力扣刷题49 字母 异位词分组

目录 题目描述代码实现基本实现优化代码 基础知识回溯集合 参考 题目描述 给你一个字符串数组&#xff0c;请你将 字母异位词 组合在一起。可以按任意顺序返回结果列表。 字母异位词 是由重新排列源单词的所有字母得到的一个新单词。 示例 1: 输入: strs [“eat”, “tea”…

桌面应用小程序,一种创新的跨端开发方案

Qt Group在提及2023年有桌面端应用程序开发热门趋势时&#xff0c;曾经提及三点&#xff1a; 关注用户体验&#xff1a;无论您是为桌面端、移动端&#xff0c;还是为两者一起开发应用程序&#xff0c;有一点是可以确定的&#xff1a;随着市场竞争日益激烈&#xff0c;对产品的期…

Vue框架--Vue中的属性监听

1.侦听属性概述 Vue提供了对属性变化的侦听操作,使用watch关键字实现。当被监视的属性变化时, 回调函数自动调用, 进行相关操作。这里需要注意的是你所侦听的属性必须存在。 2.代码实现 可以使用两种方式实现属性的侦听。 第一种:我们把侦听属性作为一个配置项目,放入Vue实…

ctfhub ssrf(3关)

文章目录 内网访问伪协议读取文件扫描端口 内网访问 根据该题目&#xff0c;是让我们访问127.0.0.1/falg.php&#xff0c;访问给出的链接后用bp抓包&#xff0c;修改URL&#xff0c;发送后得到flag&#xff1a; 伪协议读取文件 这题的让我们用伪协议&#xff0c;而网站的目录…

用WebGPU实现基于物理的渲染

推荐&#xff1a;用 NSDT编辑器 快速搭建可编程3D场景 最近&#xff0c;我花了相当多的时间在 WebGPU 中使用 IBL&#xff08;基于图像的照明&#xff09;编写 PBR&#xff08;基于物理的渲染&#xff09;渲染器。 PBR 本身并没有什么新奇之处。 这是一项自 2014 年以来就存在的…

GeoServe Web 管理界面 实现远程访问

文章目录 前言1.安装GeoServer2. windows 安装 cpolar3. 创建公网访问地址4. 公网访问Geo Servcer服务5. 固定公网HTTP地址 前言 GeoServer是OGC Web服务器规范的J2EE实现&#xff0c;利用GeoServer可以方便地发布地图数据&#xff0c;允许用户对要素数据进行更新、删除、插入…

tkinter控件样式

文章目录 以按钮为例共有参数动态属性 tkinter系列&#xff1a; GUI初步&#x1f48e;布局&#x1f48e;绑定变量&#x1f48e;绑定事件&#x1f48e;消息框&#x1f48e;文件对话框&#x1f48e;控件样式扫雷小游戏&#x1f48e;强行表白神器 以按钮为例 tkinter对控件的诸…

47、TCP的流量控制

从这一节开始&#xff0c;我们学习通信双方应用进程建立TCP连接之后&#xff0c;数据传输过程中&#xff0c;TCP有哪些机制保证传输可靠性的。本节先学习第一种机制&#xff1a;流量控制。 窗口与流量控制 首先&#xff0c;我们要知道的是&#xff1a;什么是流量控制&#xff…