组件版本
组件 | 版本 |
Hadoop | 3.3.0 |
JDK | 1.8.0_241 |
Mysql | 5.7.25 |
Hive | 3.1.2 |
Hadoop集群服务分布
Node1 | Node2 | Node3 |
NameNode | DataNode | DataNode |
DataNode | NodeManager | NodeManager |
ResourceManager | SecondaryNameNode |
安装前请确定Hadoop集群服务全部启动,不然后续测试时会报错node1:8020数据接口拒接链接!
Mysql组件包
mysql-community-common-5.7.25-1.el7.x86_64.rpm |
mysql-community-libs-5.7.25-1.el7.x86_64.rpm |
mysql-community-libs-compat-5.7.25-1.el7.x86_64.rpm |
mysql-community-client-5.7.25-1.el7.x86_64.rpm |
mysql-community-server-5.7.25-1.el7.x86_64.rpm |
Mysql和Hive都安装在Node1主节点上,且Mysql组件包安装顺序必须严格依照此表从上到下安装,各个组件包都属于相互依赖的关系,如不按照顺序安装可能出现安装失败等其他问题!
Hive安装
准备组件包Hive3.1.2
下载:Hive3.1.2
下载后上传至服务器/export/server目录下解压
解压:
tar -zxvf apache-hive-3.1.2-bin.tar.gz
添加Hive的环境变量
vim /etc/profile
添加以下内容:
export HIVE_HOME=/export/server/apache-hive-3.1.2-bin
export PATH=$PATH:$HIVE_HOME/bin
完成后保存退出。
按ESC键,输入:wq回车退出
刷新环境变量
source /etc/profile
看到画红框的内容出现后即环境变量配置和刷新完成。
初始化元数据库(默认是derby数据库)
进入/export/server/apache-hive-3.1.2-bin目录下
cd /export/server/apache-hive-3.1.2-bin
执行初始化
bin/schematool -dbType derby -initSchema
报错解决:
原因:hadoop和hive的两个guava.jar版本不一致
解决:将hive目录下的低版本guava.jar更换成Hadoop下的高版本guava.jar即可
两个jar位置分别位于下面两个目录:
/export/servers/hive/lib/guava-19.0.jar
/export/servers/hadoop-3.1.4/share/hadoop/common/lib/guava-27.0-jre.jar
进入hive/lib目录下删除掉旧版本的guava.jar。
cd /export/server/apache-hive-3.1.2-bin/lib
rm guava-19.0.jar
进入Hadoop/share/hadoop/common/lib目录下,将新版本的guava.jar复制到hive/lib目录下
cd /export/server/hadoop-3.3.0/share/hadoop/common/lib
复制到hive的lib目录下
cp guava-27.0-jre.jar /export/server/apache-hive-3.1.2-bin/lib/
完成,
再次执行初始化元数据库
进入/export/server/apache-hive-3.1.2-bin目录下
cd /export/server/apache-hive-3.1.2-bin
执行初始化
bin/schematool -dbType derby -initSchema
测试:
成功,hive安装完成。
Mysql安装