Hadoop集群安装配置,spark集群安装配置

前提：准备3台linux服务器，并保证其网络可进行相互通信

假设三台机器IP分别为：
192.168.88.101
192.168.88.102
192.168.88.103

一.配置三台服务器之间SSH免密登录,关闭防火墙，时间同步

三台服务器均执行以下1,2,3,4,5,6,8命令

1.创建用户test 密码test（安全起见，建议不适用root用户免密登录）

adduser test
passwd test

2.切换test用户

su test

3.编辑主机名 – 分别设置对应的主机名例如：node1，node2，node3

vi /etc/hostname

4.配置主机及域名对应关系

vi /etc/hosts

IP  主机名
例如：
192.168.88.101   node1
192.168.88.102   node2
192.168.88.103   node3

执行以下命令，然后连续点三下回车生成SSH密匙对，创建公钥和私钥。

ssh-keygen -t rsa -b 4096

ssh-copy-id  node1
ssh-copy-id  node2
ssh-copy-id  node3

6.关闭防火墙

查看防火墙状态，如果为启动running，则进行关闭

systemctl status firewalld

systemctl stop firewalld
systemctl disable firewalld   //关闭开机自启动

7.这时，就可使用test用户进行三台机器免密登录了

例如：192.168.88.101 这台机器执行

ssh node2

就可登录成功，无需输入密码。

8.修改时区并配置自动时间同步

yum install -y ntp  // 安装ntp软件
rm -f /etc/localtime;sudo ln -s /usr/share/zoneinfo/Asia/Shanghai /etc/localtime //更新时区
ntpdate -u ntp.aliyun.com  //同步时间
systemctl start ntpd  //启动ntp自动同步服务
systemctl enable ntpd //设置开启自启动

二.安装JDK

1.执行以下命令，下载JDK1.8安装包。

wget --no-check-certificate https://repo.huaweicloud.com/java/jdk/8u151-b12/jdk-8u151-linux-x64.tar.gz

2.执行以下命令，解压下载的JDK1.8安装包。

tar -zxvf jdk-8u151-linux-x64.tar.gz

3.移动并重命名JDK包。

mv jdk1.8.0_151/ /usr/java8

4.配置Java环境变量。

echo 'export JAVA_HOME=/usr/java8' >> /etc/profile
echo 'export PATH=$PATH:$JAVA_HOME/bin' >> /etc/profile
source /etc/profile

5.查看Java是否成功安装。

java -version

三.安装Hadoop

注：下载Hadoop安装包可以选择华为源（速度中等，可以接受，重点是版本全）、清华源（3.0.0以上版本下载速度太慢，版本也少）、北京外国语大学源（下载速度特快，但是版本比较少）——本人亲测

执行以下命令，下载Hadoop安装包。

wget --no-check-certificate https://repo.huaweicloud.com/apache/hadoop/common/hadoop-3.1.3/hadoop-3.1.3.tar.gz

执行以下命令，解压Hadoop安装包至/opt/hadoop。

tar -zxvf hadoop-3.1.3.tar.gz -C /opt/
mv /opt/hadoop-3.1.3 /opt/hadoop

执行以下命令，配置Hadoop环境变量。

echo 'export HADOOP_HOME=/opt/hadoop/' >> /etc/profile
echo 'export PATH=$PATH:$HADOOP_HOME/bin' >> /etc/profile
echo 'export PATH=$PATH:$HADOOP_HOME/sbin' >> /etc/profile
source /etc/profile

执行以下命令，修改配置文件yarn-env.sh和hadoop-env.sh。

echo "export JAVA_HOME=/usr/java8" >> /opt/hadoop/etc/hadoop/yarn-env.sh
echo "export JAVA_HOME=/usr/java8" >> /opt/hadoop/etc/hadoop/hadoop-env.sh

执行以下命令，测试Hadoop是否安装成功。

hadoop version

如果返回版本信息，则表示安装成功。

四.配置Hadoop

打开hadoop安装路径下的/etc/hadoop文件夹下相关配置文件

 workers  -- 配置从节点（DataNode）有哪些hadoop-env.sh  -- 配置hadoop的相关环境变量core-site.xml  -- hadoop核心配置文件hdfs-site.xml  -- HDFS核心配置文件

vim workers

在这里插入图片描述

 vim hadoop-env.sh

在这里插入图片描述

修改Hadoop配置文件 core-site.xml。

vim /opt/hadoop/etc/hadoop/core-site.xml

在节点内插入如下内容。

 	<property><name>hadoop.tmp.dir</name><value>file:/opt/hadoop/tmp</value><description>location to store temporary files</description></property><property><name>fs.defaultFS</name> <value>hdfs://node1:8020</value></property><property><name>io.file.buffer.size</name><value>131072</value></property>

1.fs.defaultFS -- HDFS文件系统的网络通信路径
2.hdfs://node1:8020为整个HDFS内部的通讯地址，应用协议为hdfs://(Hadoop内置协议)
3.表明Datanode将和node1的8020端口通讯，node1是namenode所在机器
4.此配置固定了node1必须启动namenode进程

修改Hadoop配置文件 hdfs-site.xml。
a. 执行以下命令开始进入编辑页面。

vim /opt/hadoop/etc/hadoop/hdfs-site.xml

<property><name>dfs.datanode.data.dir.perm</name><value>700</value>               
</property>
<property><name>dfs.namenode.name.dir</name><value>/data/nn</value>
</property>
<property><name>dfs.namenode.hosts</name><value>node1,node2,node3</value>
</property>
<property><name>dfs.blocks</name><value>268435456</value>
</property>
<property><name>dfs.namenode.hadler.count</name><value>100</value>
</property>
<property><name>dfs.datanode.data.dir</name><value>/data/dn</value>
</property>

vi /etc/profile

然后向里面加入如下的内容

export HDFS_NAMENODE_USER=test
export HDFS_DATANODE_USER=test
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=test