Linux安装Hadoop(单机版)详细教程

目录

一、JDK安装

1、下载JDK安装包

2、解压下载的JDK安装包

3、移动并重命名JDK包

4、配置Java环境变量

5、验证安装是否成功

二、Hadoop安装

1、下载Hadoop安装包

2、解压Hadoop安装包

3、配置Hadoop环境变量

4、修改配置文件

5、验证Hadoop是否安装成功

三:配置Hadoop

1. 修改配置文件core-site.xml

2、修改配置文件 hdfs-site.xml

四、配置SSH免密登录

1、创建公钥和私钥

2、将公钥添加到authorized_keys文件中

五、启动Hadoop

1、初始化namenode

2、启动HDFS

3、启动YARN

4、查看启动进程


一、JDK安装

JDK也被称为Java Development Kit,JDK1.8是Java编程语言的一个重要版本。Hadoop是一个开源的分布式计算框架,主要用于处理大规模数据集。它主要由Java语言编写,因此安装Hadoop之前需要先安装Java开发工具包(JDK)。

1、下载JDK安装包

wget --no-check-certificate https://repo.huaweicloud.com/java/jdk/8u151-b12/jdk-8u151-linux-x64.tar.gz

2、解压下载的JDK安装包

tar -zxvf jdk-8u151-linux-x64.tar.gz

3、移动并重命名JDK包

mv jdk1.8.0_151/ /usr/java8

4、配置Java环境变量

echo 'export JAVA_HOME=/usr/java8' >> /etc/profile
echo 'export PATH=$PATH:$JAVA_HOME/bin' >> /etc/profile
source /etc/profile

5、验证安装是否成功

java -version

二、Hadoop安装

1、下载Hadoop安装包

wget --no-check-certificate https://repo.huaweicloud.com/apache/hadoop/common/hadoop-3.1.3/hadoop-3.1.3.tar.gz

2、解压Hadoop安装包

tar -zxvf hadoop-3.1.3.tar.gz -C /opt/
mv /opt/hadoop-3.1.3 /opt/hadoop

3、配置Hadoop环境变量

echo 'export HADOOP_HOME=/opt/hadoop/' >> /etc/profile
echo 'export PATH=$PATH:$HADOOP_HOME/bin' >> /etc/profile
echo 'export PATH=$PATH:$HADOOP_HOME/sbin' >> /etc/profile
source /etc/profile

4、修改配置文件

echo "export JAVA_HOME=/usr/java8" >> /opt/hadoop/etc/hadoop/yarn-env.sh
echo "export JAVA_HOME=/usr/java8" >> /opt/hadoop/etc/hadoop/hadoop-env.sh

5、验证Hadoop是否安装成功

hadoop version

出现以下信息,表示安装成功。

三:配置Hadoop

1. 修改配置文件core-site.xml

①进入编辑模式

vim /opt/hadoop/etc/hadoop/core-site.xml

②在<configuration></configuration>节点内插入如下内容

 <property><name>hadoop.tmp.dir</name><value>file:/opt/hadoop/tmp</value><description>location to store temporary files</description></property><property><name>fs.defaultFS</name><value>hdfs://localhost:9000</value></property>

如下图所示:

③保存并退出编辑模式

2、修改配置文件 hdfs-site.xml

①进入编辑模式

vim /opt/hadoop/etc/hadoop/hdfs-site.xml

②在<configuration></configuration>节点内插入如下内容

 <property><name>dfs.replication</name><value>1</value></property><property><name>dfs.namenode.name.dir</name><value>file:/opt/hadoop/tmp/dfs/name</value></property><property><name>dfs.datanode.data.dir</name><value>file:/opt/hadoop/tmp/dfs/data</value></property>
<property><name>dfs.namenode.http-address</name><value>0.0.0.0:50070</value>
</property>

如下图所示:

③保存并退出编辑模式

四、配置SSH免密登录

1、创建公钥和私钥

ssh-keygen -t rsa

2、将公钥添加到authorized_keys文件中

cd ~
cd .ssh
cat id_rsa.pub >> authorized_keys

五、启动Hadoop

1、初始化namenode

hadoop namenode -format

2、启动HDFS

start-dfs.sh

start-dfs.sh是 Hadoop 分布式文件系统(HDFS)的一个脚本,用于启动HDFS集群中的所有守护进程,包括NameNode、DataNode 和 Secondary NameNode。

若出现如下报错:

则进行以下操作:

①编辑/etc/profile

vi /etc/profile

②在文件末尾加入以下内容

export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root

③激活配置文件

source /etc/profile

④再次执行

start-dfs.sh

3、启动YARN

start-yarn.sh

4、查看启动进程

jps

若有以下6个进程,说明Hadoop启动成功

ResourceManager
DataNode
Jps
NodeManager
NameNode
SecondaryNameNode

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/413029.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

使用3D数字人做视频

用3D数字人做视频 漂亮精致 3D数字人定制4 动作流畅、音乐上的表现 thatgirl 支持私人定制模型 你愿意捐献所有的财产吗 想搭建这样的数字人的请和我们联系 使用3D数字人做视频https://www.jinshuangshi.com/forum.php?modviewthread&tid248 (出处: 金双石科技)

力扣经典题目之->二叉树的前序遍历(中序后序同理)

一&#xff1a;题目 解释&#xff1a; 1&#xff1a; 题目的要求就是我们return 一个数组&#xff0c;该数组里面的元素及其顺序就是 前序遍历二叉树 的元素及其顺序 比如&#xff1a;示例1的树&#xff0c;前序遍历的顺序应该是1 2 3&#xff0c;那么return 的数组里面的元素…

智慧高校迎新服务平台的设计与实现---附源码92489

摘要 随着高校规模的不断扩大和新生人数的增加&#xff0c;传统的手工登记和管理方式已经无法满足高效、准确的需求。为了提升高校新生报到迎新工作的效率和质量&#xff0c;本研究设计开发了一套基于SSM框架的智慧高校迎新服务平台的设计与实现。系统通过信息技术的应用&#…

12-使用gateway作为微服务网关

本文介绍spring gateway的使用&#xff0c;包括配置文件的使用和调试跟踪&#xff0c;让大家了解spring gateway的基本用法。如果不了解什么是微服务网关&#xff0c;就先查查资料&#xff0c;网关相对来说是比较重要的微服务组件。 0、环境 springboot 2.4.2springcloud gat…

Minkowski分形电路生成工具[程序附后]

此工具用于生成Minkowski分形电路&#xff0c;应用领域可参考分形电路的纪录片或CNKI论文。运行环境在Altium Designer中&#xff0c;可用于Altium Designer全系列的版本中。 程序界面如下图所示&#xff0c;可以支持外框和迭代次数的更改。 程序下载链接&#xff1a; Minkows…

图片拼图怎么做?4个方法打造具有高级感的拼图作品

被阿勒泰的日落治愈了&#xff0c;旅行中的每一刻都值得珍藏。 这次的阿勒泰之行&#xff0c;我不仅带回了一堆美好的回忆&#xff0c;还有手机里满满的精彩瞬间。从壮丽的山川到静谧的湖泊&#xff0c;从晨曦初现到夜幕降临&#xff0c;每一帧都是大自然的馈赠。但是&#xf…

三天速成数学建模国赛国奖全攻略

这里写目录标题 国赛考点&#x1f5d2;️&#x1f5d2;️01 国赛是如何评奖的&#xff1f;02 国赛历年题型和模型算法1&#xff09;国赛赛题特点2&#xff09;历年国赛赛题类型 建模手三天快速提升计划✨✨01 第一天&#xff1a;模型分类及国赛常见模型的用法了解1&#xff09;…

图形化编程/Scratch/编程猫角色素材免费分享1-10期合集

今天给大家带来一些业余整理的scratch等图形化编程软件可以使用的角色素材图片分享&#xff0c;都是PNG格式的透明图片&#xff0c;scratch软件可直接上传角色使用&#xff08;也支持编程猫等软件&#xff0c;因为素材是PNG格式&#xff0c;所有支持png格式的软件都可以使用&am…

【 OpenHarmony 系统应用源码解析 】-- Launcher 初体验

前言 最近因为业务需要&#xff0c;需要做一款 UI 定制的鸿蒙 Launcher&#xff0c;于是就开始了「找到代码」、「研究代码」、「魔改代码」的套路流程&#xff0c;仅以此文章作为知识备份和技术探讨所用&#xff0c;也希望能给其他小伙伴提供一些源码的解析思路&#xff0c;方…

uniapp小程序怎么判断滑动的方向

项目场景&#xff1a; 获取手机上手指滑动的距离超过一定距离 来操作一些逻辑 解决方案&#xff1a; 在uniapp中&#xff0c;可以通过监听触摸事件来判断滑动的方向。常用的触摸事件包括touchstart, touchmove, 和 touchend。通过这些事件的参数&#xff0c;可以计算出用户的滑…

【Android】最好用的网络库:Retrofit

最好用的网络库&#xff1a;Retrofit 文章目录 最好用的网络库&#xff1a;RetrofitRetrofit的基本用法Retrofit的使用逻辑Retrofit的基本操作处理复杂的接口地址类型进阶删除提交header中指定参数 Retrofit构建器的最佳写法Retrofit的使用封装 Retrofit的基本用法 Retrofit是一…

html2Canvas和jspdf导出长pdf

续使用html2canvas和jspdf导出pdf包含跨页以及页脚_jspdf.umd.min.js-CSDN博客我的这篇文章再写一种情况因为最近我也使用到了 具体的html2Canvas和jspdf的我就不说了&#xff0c;直接开始了&#xff0c; 在公共方法的文件夹中建立一个新的文件htmlToPdf.js用来写咱们得方法然…

SpringBoot SSM vue在线作业考试系统

SpringBoot SSM vue在线作业考试系统 首页 图片轮播 作业信息 通知公告 登录注册 留言板 个人中心 我的收藏 后台管理 登录注册 个人中心 教师信息管理 学生信息管理 学院信息管理 专业信息管理 班级信息管理 作业信息管理 作业提交管理 通知公告管理 试卷管理 试题管理 系统…

关于LLC知识14

1、LLC必须工作在感性区 2、为了降低LLC进入容性区后MOS管的电流应力&#xff0c;必须要选择快管&#xff0c;对体二极管的反向恢复参数有要求&#xff1a;trr<200ns 3、对于上下管的死区时间不能太短&#xff0c;否则电容无法充放电完成&#xff0c;就无法实现ZVS导通 如…

Nginx简单的安全性配置

文章目录 引言I Nginx简单的安全性配置禁止特定的HTTP方法限制URL长度禁止某些用户代理限制请求速率连接限制禁止访问某些文件类型II 常见的安全规则防御CC攻击User-Agent过滤GET-URL过滤GET-参数过滤POST过滤(sql注入、xss攻击 )引言 Nginx本身并不具备复杂的防火墙规则定制…

LeetCode题集-1- 两数之和

这个题目是什么意思呢&#xff1f;简单来说就是在一个数组中找出两个元素&#xff0c;使其和为我们设定的值&#xff0c;并且每个元素只能用一次。 如下图具体示例&#xff1a; 到这里不知道你是否已经有解题思路了呢&#xff1f; 解法一&#xff1a;双层循环 我第一反应就是…

2024了,Neo4j能显示节点图片吗?

经过一番调研&#xff0c;答案是官方的是不能的.但有一个中文版可以显示网络图片作为节点背景 如通义千问说说&#xff1a; Neo4j 图数据库本身并不直接支持在节点中存储和显示图片。但是&#xff0c;你可以通过几种方式间接实现这一功能&#xff1a;1. 存储图片URL 最简单的…

【数据结构】关于哈希表内部原理,你到底了解多少???(超详解)

前言&#xff1a; &#x1f31f;&#x1f31f;本期讲解关于哈希表的内部实现原理&#xff0c;希望能帮到屏幕前的你。 &#x1f308;上期博客在这里&#xff1a;http://t.csdnimg.cn/7D225 &#x1f308;感兴趣的小伙伴看一看小编主页&#xff1a;GGBondlctrl-CSDN博客 目录 &a…

6.2K star!推荐一款开源混沌工程测试平台:Chaos Mesh

1、Chaos Mesh 介绍 Chaos Mesh是一个开源的混沌工程平台&#xff0c;旨在帮助用户在生产环境中测试、验证和优化其应用程序的可靠性和稳定性。通过引入故障注入和混沌工程原则&#xff0c;Chaos Mesh可以模拟各种故障场景&#xff0c;如网络延迟、节点故障、磁盘故障等&#…

JavaWeb JavaScript ⑧ DOM编程

在光芒万丈之前&#xff0c;我们都要欣然接受眼下的难堪和不易&#xff0c;接受一个人的孤独和无助&#xff0c;认真做好眼前的每一件事&#xff0c;你想要的都会有 —— 24.8.29 一、什么是DOM编程 简单来说&#xff1a;DOM(Document obiect Model)编程就是使用document对象的…