本博客主要是为了学校课程”大数据与云计算“需要安装Hadoop而写,希望这篇博客对各位阅读这篇博客的人有所帮助。废话不多说,下面直接开始配置教程。
一、获取VMware安装包
VMware获取方法有很多种,这里我准备了官网获取和从我准备的资料中获取。
1、官网获取
1)首先先进入官网,官网首页是下面这样:
2)接着点击产品选项
3)进入后点击查看所有产品,然后在右上角选择排序方式为Z到A,然后向下滑动找到Workstation Pro,然后点击进去
4)然后点击下载试用版进行进入下载页面进行下载
5)点击 DOWNLOAD NOW 进行下载
2、从资料获取
阿里云盘:https://www.aliyundrive.com/s/nVT1oCtk6rC
提取码:4pu8
二、安装VMware
点击下载好的VMware安装包进行安装。
1)点击下一步
2)勾选我接受许可协议中的条款,并点击下一步
3)勾选就按默认的勾选就ok,安装位置选一个自己需要安装的位置,然后点击下一步
4)这里的勾选根据自己的需要进行勾选(我这边是取消全部的勾选),并点击下一步
5)按默认的勾选就行,并点击下一步
6)点击安装,等待安装完成
7)安装完成后,运行VMware
8)输入密钥:MC60H-DWHD5-H80U9-6V85M-8280D,并点击继续
9)点击完成
10)点击完成后的界面如下
三、下载Ubuntu镜像文件
1、官网下载
官网:Download Ubuntu Desktop | Download | Ubuntu
官网界面如下:
1)点击右下角的 Download 22.03.3 进行下载(LTS是长期支持版本,选择这个版本),并等待下载完成
2、从资料获取
阿里云盘:https://www.aliyundrive.com/s/nVT1oCtk6rC
提取码:4pu8
四、开始配置Hadoop环境
1)首先打开安装好的VMware,并点击创建新的虚拟机
2) 出现下面界面,点击下一步(默认勾选的就ok)
3)勾选稍后安装操作系统,并点击下一步
4)然后选择并配置好下图的配置,并点击下一步
5)编辑自己想要的虚拟机名称,并选择位置,然后点击下一步
6)磁盘空间自行分配(本人分配40G),勾选将虚拟磁盘存储为单个文件,然后点击下一步
7)点击自定义硬件
8)内存分配2048MB(内存根据需要自行分配,最少1024MB),然后选择 新 CD/DVD,勾选使用 ISO 映像文件(之前下在好的文件),然后关闭
9)点击完成,之后出现下面界面,点击开启此虚拟机
10)按下Enter键
11)选择自己需要的语言后,并点击安装 Ubuntu
12)选择默认勾选就可以,然后点击继续
13)默认勾选就行,然后点击继续
14)默认勾选就ok,点击现在安装
15)点击继续
16)点击继续
17)输入自己需要的姓名和密码,并勾选自动登录,然后点击继续,会出现以下界面,等待这个过程完成
18)按住 ctrl+alt+t 打开终端窗口,输入如下命令创建新用户 :
sudo useradd –m hadoop –s /bin/bash
19) 输入创建用户时(我创建的是用户black)设置的密码,并按enter
20)使用下面的命令设置密码,可以简单设置为hadoop
sudo passwd hadoop
注:这个密码你输入后是看不见的,直接输入然后按下enter键就ok
如果设置hadoop密码(或其它密码)出现下面问题,不用管,直接再次输入hadoop并按下enter,这样密码就设置成功。
21)为hadoop用户增加管理员权限,方便部署,避免一些对新手来说比较棘手的权限问题:
sudo adduser hadoop sudo
22)安装openssh -server:
sudo apt-get install openssh-server
注:安装过程中,出现 您希望继续执行吗?[Y/n],输入 Y,并按 enter,继续安装
23)执行下面命令
ssh localhost
注:其中出现情况,按上面划红线的部分进行输入,密码是之前我们最开始创建用户的密码
24)执行下面命令退出localhoast登录:
exit
25)依次执行下面两个命令
cd ~/.ssh/
ssh-keygen –t rsa #有提示直接按 Enter 就行
26)执行下面命令
cat ./id_rsa.pub >> ./authorized_keys
27) 安装JAVA环境,首先执行下面命令安装OpenJDK 8
sudo apt-get install openjdk-8-jre openjdk-8-jdk
注:安装过程中,出现 您希望继续执行吗?[Y/n],输入 Y,并按 enter,继续安装
28)打开配置文件
vim ~/.bashrc
执行完命令后的界面如下:
滑到最末端,并按下 insert 键进行插入(进入编辑模式),输入下面内容配置JAVA_HOME
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
输入完成后,按下电脑的 Esc 键退出编辑模式,并执行下面命令保存并退出
:wq
如果出现找不到命令 vim,可以使用下面命令进行安装:
sudo apt-get install vim
29)执行下面命令使配置文件生效
source ~/.bashrc
30)执行下面命令,检查是否配置成功
echo $JAVA_HOME
java -version
如果出下面的界面。说明配置成功
31)安装Hadoop2,Hadoop 2 可以到官网下载,需要下载 hadoop-2.x.y.tar.gz 这个格式的文件,这是编译好的,另一个包含 src 的则是 Hadoop 源代码,需要进行编译才可使用。但官网下载速度比较慢,我们可以打开火狐浏览器,并在镜像网址进行下载。
下载网址:Index of /apache/hadoop (tsinghua.edu.cn)
进入网址后的界面如下:
点击 common/,进入下面界面选择一个版本下载,我这里下载的是版本 hadoop-2.10.2
32)等待下载完成后,用下面命令进行解压
sudo tar -zxf ~/下载/hadoop-2.10.2.tar.gz -C /usr/local
注:其中hadoop-2.10.2 是根据你下载的版本,我这边下载的hadoop-2.10.2,故写这个
可能会遇到的问题:
1.切换输入法
切换中文输入法的按键是 super + space
windows:win + 空格
2.不是 -C/usr/local 而是 -C /usr/local ,中间有空格
33)解压完成后,依次执行下面命令
cd /usr/local/
sudo mv ./hadoop-2.10.2/ ./hadoop # 将文件夹名改为hadoop
# 版本为自己下载的那个版本
sudo chown -R hadoop:hadoop ./hadoop # 修改文件权限
34)输入如下命令来检查 Hadoop 是否可用,成功则会显示 Hadoop 版本信息:
cd /usr/local/hadoop
./bin/hadoop version