一、版本要求:Hadoop:hadoop-2.10.1、MySQL:mysql-8.0.35、
HIVE:apache-hive-3.1.2、MySQL驱动:mysql-connector-java-5.1.49
安装包网盘链接:阿里云盘分享
安装位置 Hive:master、MySQL:slave1
二、卸载已安装的MySQL(如果不符合需求)
1.关闭MySQL服务
systemctl stop mysqld
2.Yum检查
yum list installed | grep mysql
3.安装则直接删除
yum remove mysql mysql-server mysql-libs compat-mysql
yum remove mysql-community-release
4.rpm检查
rpm -qa | grep -i mysql
5.如果存在则删除(根据rpm检查内容进行删除 rpm -e --nodeps )
rpm -e --nodeps mysql-community-libs-5.7.22-1.el7.x86_64
rpm -e –nodeps mysql57-community-release-el7-11.noarch
6.查找Mysql的安装目录和残存文件,有则删除
whereis mysql
find / -name mysql
7.查看MariaDB是否安装、存在则卸载mariadb
8.检查安装依赖包libaio、net-tools是否存在,没有则安装
三、安装MySQL(可以使用云盘安装包)
1.MySQL资源包下载地址:MySQL :: Download MySQL Community Server
2.解压MySQL安装包
3.安装MySQL服务
4.查看安装的服务
5.初始化、查看初始密码
6.创建远程访问的账号并设置
7.查看防火墙和MySQL状态
8.开启防火墙端口允许访问(需要开启防火墙,可不操作)
systemctl status firewalld #查看防火墙状态
firewall-cmd --list-all #查看开放的端口
firewall-cmd --zone=public --add-port=3306/tcp --permanent #添加端口
firewall-cmd --reload #重新加载
四、Hive部署(apache-hive-3.1.2)
1.下载、上传Hive文件(Hive使用3.1.2版本)
2.解压、移动Hive
3.配置环境变量
4.使环境变量生效
5.登录MySQL,创建Hive元数据库metastore<hive-site.xml直接创建元数据库hive,下面的元数据库为hive>
6.将MySQL的JDBC驱动拷贝到Hive的lib目录下(建议使用mysql-connector-java-5.1.49.jar,否则或报错)
7.在$HIVE_HOME/conf目录下新建并配置hive-site.xml文件
8. 在hdfs上创建hive目录并授权(首先启动hadoop)
9.初始化Hive元数据库(采用MySQL存储元数据)<如何你更换hive版本,请删除MySQL中的hive数据库,否则会报错>
10.启动hadoop集群(start-dfs.sh start-yarn.sh)、MySQL服务 (systemctl start mysqld)、启动Hive (hive)
(1)启动HIVE
(2)启动MySQL服务
11.使用hive
12.查看MySQL中的元数据库hive
(1)存储的库信息
(2)存储的表信息
(3)存储Hive表的信息
五.hiveserver2配置