1.hadoop介绍
1.1 起源
1.2 版本
1.3生产环境版本选择
Hadoop三大发行版本:Apache、Cloudera、Hortonworks
Apache版本最原始的版本
Cloudera在大型互联网企业中用的较多
Hortonworks文档较好
1.4架构
hadoop由三个模块组成
分布式存储HDFS
分布式计算MapReduce
资源调度引擎Yarn
分布式文件存储系统HDFS
NameNode主节点主要负责管理集群,保存元数据信息
SecondaryNameNode辅助NameNode做元数据信息备份
DataNode从节点存储数据
资源管理调度系统yarn
ResourceManage主节点主要负责资源调度分配
NodeManager从节点
2.hadoop安装
2.1.关闭防火墙、selinux
### 1.关闭防火墙systemctl stop firewalld
systemctl enable firewalld### 2.关闭selinuxvi /etc/sysconfig/selinux
SELINUX=disabled
2.2配置hostname
2.3.机器时钟同步
1.通过网络进行时钟同步
安装ntpdate
yum -y install ntpdate
阿里云时钟同步服务器
ntpdate ntp4.aliyun.com定时同步
crontab -e
*/1 * * * * /usr/sbin/ntpdate ntp4.aliyun.com