13 完全分布式搭建-集群配置

1.集群部署规划

NameNode 和 SecondaryNameNode 不要安装在同一台服务器
ResourceManager 也很消耗内存，不要和 NameNode、SecondaryNameNode 配置在
同一台机器上。

在文章中与教材上有区别，在理论课上已讲解。

master

slave01

slave02

HDFS

NameNode

DataNode

SecondaryNameNode

DataNode

YARN

NodeManager

ResourceManager

NodeManager

历史日志服务器将会配置在master上。

2.配置文件说明

Hadoop配置文件分两类：默认配置文件和自定义配置文件，只有用户想修改某一默认配置值时，才需要修改自定义配置文件，更改相应属性值。

（1）默认配置文件：
要获取的默认文件文件存放在 Hadoop 的 jar 包中的位置

core-default.xml	hadoop-common-3.1.4.jar/core-default.xml
hdfs-default.xml	hadoop-hdfs-3.1.4.jar/hdfs-default.xml
yarn-default.xml	hadoop-yarn-common-3.1.4.jar/yarn-default.xml
mapred-default.xml	hadoop-mapreduce-client-core-3.1.4.jar/mapred-default.xml

（2）自定义配置文件：
core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml 、workers五个配置文件存放在
$HADOOP_HOME/etc/hadoop 这个路径上，用户可以根据项目需求重新进行修改配置。

（3）修改配置文件

core-site.xml

<property>
<name>fs.defaultFS</name>
<value>hdfs://master:8020</value>
</property>

<property>
<name>hadoop.tmp.dir</name>
<value>/opt/module/hadoop-3.1.4/data</value>
</property>

配置hdfs-site.xml

<property>
<name>dfs.namenode.http-address</name>
<value>master:9870</value>
</property>

<property>
<name>dfs.namenode.secondary.http-address</name>
<value>slave02:9868</value>
</property>

配置yarn-site.xml

<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>

<property>
<name>yarn.resourcemanager.hostname</name>
<value>slave01</value>
</property>

<property>
<name>yarn.nodemanager.env-whitelist</name>
<value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
</property>

<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>

<property>
<name>yarn.log.server.url</name>
<value>http://master:19888/jobhistory/logs</value>
</property>

<property>
<name>yarn.log-aggregation.retain-seconds</name>
<value>604800</value>
</property>

配置mapred-site.xml

<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>

<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>master:19888</value>
</property>

配置workers

注意编辑workers文件时添加的内容结尾不允许有空格，文件中不允许有空行。

（4）分发文件

完成后进入到slave01,slave02上查看文件

（5）启动集群

如果集群是第一次启动，需要在 master节点格式化 NameNode（注意：格式
化 NameNode，会产生新的集群 id，导致 NameNode 和 DataNode 的集群 id 不一致，集群找
不到已往数据。如果集群在运行过程中报错，需要重新格式化 NameNode 的话，一定要先停
止 namenode 和 datanode 进程，并且要删除所有机器的 data 和 logs 目录，然后再进行格式
化。）

输入命令： hdfs namenode -format