一、安装说明
1、Hadoop
集群情况
3台机器:4G2C、2G2C、2G2C
安装教程:Centos7环境安装Hadoop集群
2、安装MySQL
,用于存储Hive
的元数据
在102
机器上安装MySQL
安装MySQL
使用服务器的root
账号
3、最后安装Hive
安装hive
过程使用服务器的atguigu
账号,也就是安装Hadoop
时对应的账号。
二、安装MySQL
安装教程:Centos7环境安装MySQL服务(非docker方式)
三、安装Hive
1、修改Hadoop
配置
core-site.xml
<property><name>hadoop.proxyuser.atguigu.hosts</name><value>*</value>
</property>
<property><name>hadoop.proxyuser.atguigu.groups</name><value>*</value>
</property>
注意
这里的hadoop.proxyuser.atguigu
,atguigu
是我启动hive
时,所用的Linux
账号,所以,你用什么账号启动hive
,这里就配置什么账号。
2、下载并上传hive
安装包
下载hive安装包:
https://archive.apache.org/dist/hive/hive-3.1.3/apache-hive-3.1.3-bin.tar.gz
解压
tar -zxvf apache-hive-3.1.3-bin.tar.gz -C /opt/module/
3、将MySQL
的驱动包,放入hive
的lib
目录
下载MySQL
驱动包:
https://repo1.maven.org/maven2/mysql/mysql-connector-java/5.1.34/mysql-connector-java-5.1.34.jar
cd /opt/module/apache-hive-3.1.3-bin/lib
4、配置hive
环境变量
cd /opt/module/apache-hive-3.1.3-bin/conf
mv hive-env.sh.template hive-env.sh
vim hive-env.sh最后面添加
export HIVE_CONF_DIR=/export/server/apache-hive-3.1.3-bin/conf
export HIVE_AUX_JARS_PATH=/export/server/apache-hive-3.1.3-bin/lib
保存退出
5、配置hive-site.xml
cd /opt/module/apache-hive-3.1.3-bin/conf
vim hive-site.xml
hive-site.xml
内容:
<configuration><property><name>javax.jdo.option.ConnectionURL</name><value>jdbc:mysql://hadoop102:3306/hive?createDatabaseIfNotExist=true&useSSL=false&useUnicode=true&characterEncoding=UTF-8</value></property><property><name>javax.jdo.option.ConnectionDriverName</name><value>com.mysql.jdbc.Driver</value></property><property><name>javax.jdo.option.ConnectionUserName</name><value>test</value></property><property><name>javax.jdo.option.ConnectionPassword</name><value>12345678</value></property><property><name>hive.server2.thrift.bind.host</name><value>hadoop102</value></property><property><name>hive.metastore.uris</name><value>thrift://hadoop102:9083</value></property><property><name>hive.metastore.event.db.notification.api.auth</name><value>false</value></property></configuration>
6、初始化元数据
MySQL
中建库
CREATE DATABASE hive CHARSET UTF8;
初始化MySQL
中的hive
数据库
cd /opt/module/apache-hive-3.1.3-bin/bin
./schematool -initSchema -dbType mysql -verbos
可能的报错:
解决办法:
将Hadoop
中的guava-27.0-jre.jar
替换掉hive
中对应的jar
包后,在执行即可
cd /opt/module/hadoop-3.1.3/share/hadoop/common/lib
cp guava-27.0-jre.jar /opt/module/apache-hive-3.1.3-bin/lib/cd /opt/module/apache-hive-3.1.3-bin/lib
mv guava-19.0.jar guava-19.0.jar.bak
7、启动hive
创建一个hive
的日志文件夹
cd /opt/module/apache-hive-3.1.3-bin
mkdir logs
启动命令
前台启动:bin/hive --service metastore
后台启动(常用):nohup bin/hive --service metastore >> logs/metastore.log 2>&1 &
我采用后台启动方式
cd /opt/module/apache-hive-3.1.3-bin
nohup bin/hive --service metastore >> logs/metastore.log 2>&1 &
tail -f logs/metastore.log
8、检验hive能否正常使用
cd /opt/module/apache-hive-3.1.3-bin
bin/hive
可以正常执行hive
语句,说明,hive
正常启动。