大数据技术学习笔记（二）—— Hadoop运行环境的搭建

目录

  • 1 模版虚拟机准备
    • 1.1 修改主机名
    • 1.2 修改hosts文件
    • 1.3 修改IP地址
      • 1.3.1 查看网络IP和网关
      • 1.3.2 修改IP地址
    • 1.4 关闭防火墙
    • 1.5 创建普通用户
    • 1.6 创建所需目录
    • 1.7 卸载虚拟机自带的open JDK
    • 1.8 重启虚拟机
  • 2 克隆虚拟机
  • 3 在hadoop101上安装JDK
    • 3.1 传输安装包并解压
    • 3.2 配置JDK环境变量
    • 3.3 测试JDK是否安装成功
  • 4 在hadoop101上安装Hadoop
    • 4.1 解压安装包
    • 4.2 配置Hadoop环境变量
    • 4.3 测试Hadoop是否安装成功
      • 启动HDFS
      • 启动Yarn

笔者使用镜像为：CentOS-7.5-x86_64-DVD-1804.iso

1 模版虚拟机准备


以 CentOS-7.5-x86-1804为例，安装成功后：

1.1 修改主机名


查看当前主机名

hostname

修改当前主机名

vim /etc/hostname

1.2 修改hosts文件


  1. 修改linux的主机映射文件（hosts文件）

编辑 /etc/hosts

vim /etc/hosts

添加如下内容

192.168.10.100 hadoop100
192.168.10.101 hadoop101
192.168.10.102 hadoop102
192.168.10.103 hadoop103
192.168.10.104 hadoop104
192.168.10.105 hadoop105
  1. 修改windows的主机映射文件（hosts文件）

进入C:\Windows\System32\drivers\etc 路径，打开hosts文件并添加如下内容

192.168.10.100 hadoop100
192.168.10.101 hadoop101
192.168.10.102 hadoop102
192.168.10.103 hadoop103
192.168.10.104 hadoop104
192.168.10.105 hadoop105

1.3 修改IP地址

1.3.1 查看网络IP和网关


查看虚拟网络编辑器

在这里插入图片描述

查看windows环境的中VMnet8网络配置

在这里插入图片描述

1.3.2 修改IP地址


vim /etc/sysconfig/network-scripts/ifcfg-ens33

在这里插入图片描述

编辑完后，按键盘esc ，然后输入 :wq 回车即可。

重启网络

systemctl restart network

查看修改后的IP

ifconfig

或者

ip addr

1.4 关闭防火墙


关闭防火墙，并关闭防火墙开机自启

systemctl stop firewalld
systemctl disable firewalld

1.5 创建普通用户


创建普通用户huwei

useradd huwei

修改普通用户huwei的密码

passwd huwei

配置 huwei 用户具有 root 权限，方便后期加 sudo 执行 root 权限的命令

vim /etc/sudoers

esc，键入:set nu显示行号，找到91行，在 root 下面添加一行

在这里插入图片描述

esc，对该只读文件保存强制退出:wq!

1.6 创建所需目录


在 /opt 目录下创建 module、software 文件夹

mkdir /opt/module
mkdir /opt/software

修改 module、software 文件夹的所有者和所属组均为 huwei 用户

chown huwei:huwei /opt/module
chown huwei:huwei /opt/software

查看module、software文件夹的所有者和所属组

cd /opt/
ll

在这里插入图片描述

1.7 卸载虚拟机自带的open JDK


rpm -qa | grep -i java | xargs -n1 rpm -e --nodeps

1.8 重启虚拟机


reboot

2 克隆虚拟机


利用模板机 hadoop100，克隆三台虚拟机：hadoop101 、hadoop102、hadoop103

然后修改克隆机IP，以下以 hadoop101 举例说明。

修改IP地址，只需改 IPADDR=192.168.10.101

vim /etc/sysconfig/network-scripts/ifcfg-ens33

修改主机名为 hadoop101

vim /etc/hostname

重启！

暂时不考虑克隆 hadoop102、hadoop103

3 在hadoop101上安装JDK

3.1 传输安装包并解压


将 hadoop 和 jdk 通过传输工具上传到 /opt/software

在这里插入图片描述

切换到 /opt/software目录下，解压 jdk到 /opt/module目录下

cd /opt/software
tar -zxvf jdk-8u212-linux-x64.tar.gz -C ../module/

3.2 配置JDK环境变量


新建 /etc/profile.d/jdk.sh文件

sudo vim /etc/profile.d/my_env.sh

添加如下内容

# JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_212
export PATH=$PATH:$JAVA_HOME/bin

使环境变量生效

source /etc/profile

3.3 测试JDK是否安装成功


java -version

在这里插入图片描述

如果能看到以上结果，则代表 Java 安装成功！

4 在hadoop101上安装Hadoop

4.1 解压安装包


切换到 /opt/software目录下，解压 jdk到 /opt/module目录下

cd /opt/software
tar -zxvf hadoop-3.1.3.tar.gz -C ../module/

查看Hadoop目录结构

cd /opt/module/hadoop-3.1.3/
ll

在这里插入图片描述

重要目录

  • bin目录：存放对Hadoop相关服务（HDFS,YARN）进行操作的脚本
  • etc目录：Hadoop的配置文件目录，存放Hadoop的配置文件
  • lib目录：存放Hadoop的本地库（对数据进行压缩解压缩功能）
  • sbin目录：存放启动或停止Hadoop相关服务的脚本
  • share目录：存放Hadoop的依赖jar包、文档、和官方案例

4.2 配置Hadoop环境变量


编辑 /etc/profile.d/jdk.sh文件

sudo vim /etc/profile.d/my_env.sh

添加如下内容

#HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-3.1.3
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

使环境变量生效

source /etc/profile

4.3 测试Hadoop是否安装成功


hadoop version

在这里插入图片描述

如果能看到以上结果，则代表 Hadoop 安装成功！

在这里插入图片描述

启动HDFS

（1）集群单点启动

在hadoop101上启动NameNode、DataNode

[huwei@hadoop101 hadoop-2.7.2]$ hadoop-daemon.sh start namenode
[huwei@hadoop101 hadoop-2.7.2]$ hadoop-daemon.sh start datanode
[huwei@hadoop101 hadoop-2.7.2]$ jps
3426 Jps
3222 NameNode
3339 DataNode

在hadoop102上启动DataNode

[huwei@hadoop102 hadoop-2.7.2]$ hadoop-daemon.sh start datanode
[huwei@hadoop102 hadoop-2.7.2]$ jps
3233 DataNode
3319 Jps

在hadoop103上启动DataNode

[huwei@hadoop103 hadoop-2.7.2]$ hadoop-daemon.sh start datanode
[huwei@hadoop103 hadoop-2.7.2]$ jps
3344 Jps
3259 DataNode

（2）群起集群

在hadoop101上启动集群

[huwei@hadoop101 hadoop-2.7.2]$ sbin/start-dfs.sh
[huwei@hadoop101 hadoop-2.7.2]$ jps
3473 DataNode
3720 Jps
3324 NameNode

在hadoop102查看

[huwei@hadoop102 hadoop-2.7.2]$ jps
3380 Jps
3215 DataNode

在hadoop103查看

[huwei@hadoop103 hadoop-2.7.2]$ jps
3204 DataNode
3318 SecondaryNameNode
3464 Jps

web端查看HDFS文件系统

http://hadoop101:50070/dfshealth.html#tab-overview

在这里插入图片描述

启动Yarn

（1）集群单点启动

（2）群起集群

NameNode和ResourceManger如果不是同一台机器，不能在NameNode上启动 YARN，应该在ResouceManager所在的机器上启动YARN。

在hadoop102上启动Yarn

[huwei@hadoop102 hadoop-2.7.2]$ sbin/start-yarn.sh 
[huwei@hadoop102 hadoop-2.7.2]$ jps
3608 NodeManager
3481 ResourceManager
3935 Jps
3215 DataNode

在hadoop101上查看

[huwei@hadoop101 hadoop-2.7.2]$ jps
3824 NodeManager
3473 DataNode
3324 NameNode
3982 Jps

在hadoop103上查看

huwei@hadoop103 hadoop-2.7.2]$ jps
3204 DataNode
3318 SecondaryNameNode
3751 Jps
3579 NodeManage

YARN的浏览器页面查看

http://hadoop102:8088/cluster

在这里插入图片描述

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.rhkb.cn/news/165841.html

如若内容造成侵权/违法违规/事实不符，请联系长河编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

腾讯地图基本使用(撒点位,点位点击,弹框等...功能) 搭配Vue3

腾讯地图基本使用(撒点位,点位点击,弹框等...功能) 搭配Vue3

腾讯地图的基础注册账号 展示地图等基础功能在专栏的上一篇内容 大家有兴趣可以去看一看 今天说的是腾讯地图的在稍微一点的基础操作 话不多说 直接上代码 var marker ref(null) var map var center ref(null) // 地图初始化 const initMap () > {//定义地图中心点坐标…
阅读更多...
不想加班的小伙伴们，请把这四个神器焊在电脑上～

不想加班的小伙伴们，请把这四个神器焊在电脑上～

今天又来给大家分享干货啦，如果你下载视频没渠道，写方案没灵感思路，做表格太慢，做海报太复杂，那你一点要看这一篇，今天分享的四个宝藏网站专门解决以上问题，一起来看看吧！ 一、WeDow…
阅读更多...
SAP-QM-动态检验规则

SAP-QM-动态检验规则

Dynamic Modification Rule （动态修改规则） 1、决定样本大小的方式有3种： 手动输入比例大小采样过程 物料主数据质量视图 2、采样过程的创建方式有2种 跟批量大小有关系：百分比/AQL跟批量大小没有关系：固定值 而当…
阅读更多...
【RNA biology】RNA的多功能性与早期生命进化

【RNA biology】RNA的多功能性与早期生命进化

文章目录 RNARNA plays core functions in Central Dogma of BiologyrRNAsnRNA RNA worldReplication催化作用感知环境变化并作出响应 来自Manolis Kellis教授（MIT计算生物学主任）的课 油管链接：6.047/6.878 Lecture 7 - RNA folding, RNA wo…
阅读更多...
概念解析 | 心脏电活动和机械活动之间的关系

概念解析 | 心脏电活动和机械活动之间的关系

注1：本文系“概念解析”系列之一，致力于简洁清晰地解释、辨析复杂而专业的概念。本次辨析的概念是：心脏电活动和机械活动之间的关系。 心跳的交响乐：心脏电活动与机械活动之间的关联 一、背景介绍 心脏通过不断跳动将血液输送到我们身体的每一个角落。而这个跳动过程，是…
阅读更多...
3D测量之圆孔测量 拟合圆 点云变换

3D测量之圆孔测量 拟合圆 点云变换

0. 效果展示 1. 圆孔测量介绍 此文中的圆孔测量是一项3D视觉技术，旨在精确测量物体表面上的圆孔的直径和中心坐标。通过使用高精度3D相机（线激光轮廓仪或结构体等）采集原始点云数据，通过3D视觉算法能够快速、准确地分析物体上的圆孔特征，为制造和工程领域提供了强大的测量…
阅读更多...
插入排序（学习笔记）

插入排序（学习笔记）

插入排序 每一轮插入排序后的结果与打扑克牌取牌原理相似，将取到的牌插入到合适的位置，但在程序实现方面还是基于交换的算法。 它的基本思想是将一个记录插入到已经排好序的有序表中，从而一个新的、记录数增1的有序表。 import java.util.…
阅读更多...
【（数据结构）—— 基于单链表实现通讯录】

【（数据结构）—— 基于单链表实现通讯录】

（数据结构）—— 基于单链表实现通讯录 一.通讯录的功能介绍1.基于单链表实现通讯录(1). 知识要求(2). 功能要求 二.通讯录的代码实现1.通讯录的底层结构(单链表)(1).思路展示(2).底层代码实现(单链表)1.单链表头文件 —— （函数的定义&#x…
阅读更多...
Hive安装配置 - 内嵌模式

Hive安装配置 - 内嵌模式

文章目录 一、Hive运行模式二、安装配置内嵌模式Hive（一）下载hive安装包（二）上传hive安装包（三）解压缩hive安装包（四）配置hive环境变量（五）关联Hadoop&#x…
阅读更多...
【超详细】CentOS 7安装MySQL 5.7【安装及密码配置、字符集配置、远程连接配置】

【超详细】CentOS 7安装MySQL 5.7【安装及密码配置、字符集配置、远程连接配置】

准备工作：CentOS 7系统，并确保可以联通网络 1、获取MySQL 5.7 Community Repository软件包 注意：这里使用的是root用户身份。 wget https://dev.mysql.com/get/mysql57-community-release-el7-8.noarch.rpm2、安装软件包 rpm -ivh mysql5…
阅读更多...
华为荣耀手机，开启开发者选项，hbuilder调试依然找不到

华为荣耀手机，开启开发者选项，hbuilder调试依然找不到

我的手机是华为荣耀50，其他华为手机不知道是不是这个问题哦 解决办法：usb配置，选择音频来源 然后就可以了
阅读更多...
2020年江西省职业院校技能大赛高职组“信息安全管理与评估”赛项任务书样题

2020年江西省职业院校技能大赛高职组“信息安全管理与评估”赛项任务书样题

2020年江西省职业院校技能大赛高职组 “信息安全管理与评估”赛项任务书 样题 赛项时间 9:00-12:00，共计3小时。 赛项信息 赛项内容 竞赛阶段 任务阶段 竞赛任务 竞赛时间 分值 第一阶段 平台搭建与安全设备配置防护 任务1 网络平台搭建 9:00-12:00 1…
阅读更多...
MS17010(永恒之蓝)漏洞实战

MS17010(永恒之蓝)漏洞实战

曾因苦难多壮志，不教红尘惑坚心。 工具检测 实战过程 使用搜索命令，搜索ms17_010 search ms17_010 搜索网段中主机漏洞 use auxiliary/scanner/smb/smb_ms17_010 照例，show options 看一下配置 设置网段，run运行就行了 使用攻…
阅读更多...
浅谈云原生

浅谈云原生

目录 1. 云原生是什么？ 2. 云原生四要素 2.1 微服务 2.2 容器化 2.3 DevOps 2.4 持续交付 3. 具体的云原生技术有哪些？ 3.1 容器 (Containers) 3.2 微服务 (Microservices) 3.3 服务网格 (Service Meshes) 3.4 不可变基础设施 (Immutable Inf…
阅读更多...
Debian衍生桌面项目SpiralLinux12.231001发布

Debian衍生桌面项目SpiralLinux12.231001发布

导读SpiralLinux 是一个从 Debian 衍生出来的桌面项目，其重点是在所有主要桌面环境中实现简洁性和开箱即用的可用性。 spiral Linux 是为刚接触 Linux 世界的人们量身定制的发行版。这是 GeckoLinux 开发人员的创意，他更喜欢保持匿名。尽管他不愿透露姓…
阅读更多...
网安周报|OpenSSF 推出恶意软件包存储库

网安周报|OpenSSF 推出恶意软件包存储库

1.OpenSSF 推出恶意软件包存储库 为了应对恶意开源软件包日益增长的威胁，开源安全基金会 ( OpenSSF ) 推出了一项名为“恶意软件包存储库”的新计划。该存储库可能会成为打击恶意代码的主要参与者，旨在增强开源软件生态系统的安全性和完整性。该存储库已…
阅读更多...
linux-守护进程daemon

linux-守护进程daemon

linux-守护进程daemon 代码实现 main.c运行结果 代码实现 main.c //pName&#xff1a;程序名 //facility&#xff1a; 守护进程&#xff0c;输出日志类型 302页 #include<signal.h> #include<syslog.h> #include<fcntl.h> static int daemon_proc 0; #defin…
阅读更多...
景联文科技语音数据标注：AUTO-AVSR模型和数据助力视听语音识别

景联文科技语音数据标注：AUTO-AVSR模型和数据助力视听语音识别

ASR、VSR和AV-ASR的性能提高很大程度上归功于更大的模型和训练数据集的使用。 更大的模型具有更多的参数和更强大的表示能力&#xff0c;能够捕获到更多的语言特征和上下文信息&#xff0c;从而提高识别准确性&#xff1b;更大的训练集也能带来更好的性能&#xff0c;更多的数据…
阅读更多...
数据结构-----图(graph)的储存和创建

数据结构-----图(graph)的储存和创建

目录 前言 图的储存结构 1.邻接矩阵 无向图的邻接矩阵 有向图的邻接矩阵 网&#xff08;赋权图&#xff09;的邻接矩阵 代码表示 2.邻接表 无向图的邻接表 有向图的邻接表 代码表示 3.邻接矩阵和邻接表对比 邻接矩阵 邻接表 图的创建 1.邻接矩阵创建图&#xff0…
阅读更多...
原子核内的相互作用

原子核内的相互作用

原子核内的相互作用 氘核基态 和态的混合 核子-核子散射 低能核子-核子散射 n-p散射&#xff1a;只有核力 p-p散射&#xff1a;较复杂 n-n散射&#xff1a;n-n散射没有直接实验 低能 p-p 散射和核力的电荷无关性 高能核子-核子散射 核力的主要性质 核力主要性质 核力是短程力…
阅读更多...
最新文章
推荐文章

Copyright @ 2022~2023