Hive部署
准备环境
apache-hive-4.0.0-bin.tar.gz、mysql-connector-j-8.1.0.jar
如果是离线安装的话,使用mysql-8.0.34-1.el7.x86_64.rpm-bundle.tar,在线安装的话则不用;
hive下载地址:Index of /hive (apache.org)
mysql connector下载地址:MySQL :: Download Connector/J
mysql下载地址:MySQL :: Download MySQL Community Server (Archived Versions)
只需要在主节点服务器上安装即可;
安装步骤参照:Hive 部署_hive部署-CSDN博客
对应的视频课程参照:尚硅谷大数据Hive 3.x教程全新升级版(基于hive3.1.3)_哔哩哔哩_bilibili
几点注意事项:
1.我选择的是hive4.0版本,后续章节我将介绍如何将hive计算引擎更换为Tez,使用hive3.X版本,不管我使用 tez0.10.X版本还是0.09版本,都会出现相关库找不到的情况,后来更换为hive4.0+tez0.10.3版本后就对了;
2.mysql的安装,分为离线安装和在线安装,安装完成后,要让mysql支持远程访问,需要操作以下步骤:
(1) 打开mysql配置文件
/etc/mysql/mysql.conf.d# vi mysqld.cnf
(2)将这个地方注释,保存;
(3)需要让对外访问的用户,host属性配置为%,plugin属性配置为 mysql_native_password,比如我配置的是root用户,如下图所示:
配置方法:
进入到mysql命令行界面:
mysql> use mysql;
Reading table information for completion of table and column names
You can turn off this feature to get a quicker startup with -ADatabase changed
mysql> update mysql.user set host='%', plugin='mysql_native_password' where user='root' and host='localhost';
执行成功后,再执行flush privileges;退出。
到此,Hadoop集群 + Hive部署就已经完成,可以使用DBeaver软件连接Hive数据库进行访问操作,但是有一个问题,因为Hadoop默认计算引擎是MapReduce,运行会比较慢,我的是3台实体服务器,执行增删查改感觉都很慢,下一章,我将在此基础上进行优化,把计算引擎更换为Tez。