大数据Hive组件安装

组件版本

组件版本
Hadoop3.3.0
JDK1.8.0_241
Mysql5.7.25
Hive3.1.2

Hadoop集群服务分布

Node1Node2Node3
NameNode DataNode   DataNode
DataNode NodeManager    NodeManager
ResourceManagerSecondaryNameNode

安装前请确定Hadoop集群服务全部启动,不然后续测试时会报错node1:8020数据接口拒接链接! 

Mysql组件包

mysql-community-common-5.7.25-1.el7.x86_64.rpm
mysql-community-libs-5.7.25-1.el7.x86_64.rpm
mysql-community-libs-compat-5.7.25-1.el7.x86_64.rpm
mysql-community-client-5.7.25-1.el7.x86_64.rpm
mysql-community-server-5.7.25-1.el7.x86_64.rpm

Mysql和Hive都安装在Node1主节点上,且Mysql组件包安装顺序必须严格依照此表从上到下安装,各个组件包都属于相互依赖的关系,如不按照顺序安装可能出现安装失败等其他问题!

Hive安装

准备组件包Hive3.1.2

下载:Hive3.1.2

下载后上传至服务器/export/server目录下解压

解压:

tar -zxvf apache-hive-3.1.2-bin.tar.gz

添加Hive的环境变量

vim /etc/profile

添加以下内容: 

export HIVE_HOME=/export/server/apache-hive-3.1.2-bin
export PATH=$PATH:$HIVE_HOME/bin

完成后保存退出。

按ESC键,输入:wq回车退出

刷新环境变量

source /etc/profile

看到画红框的内容出现后即环境变量配置和刷新完成。

初始化元数据库(默认是derby数据库)

进入/export/server/apache-hive-3.1.2-bin目录下

cd /export/server/apache-hive-3.1.2-bin

执行初始化

bin/schematool -dbType derby -initSchema

报错解决:

原因:hadoop和hive的两个guava.jar版本不一致

解决:将hive目录下的低版本guava.jar更换成Hadoop下的高版本guava.jar即可

两个jar位置分别位于下面两个目录:

/export/servers/hive/lib/guava-19.0.jar 
/export/servers/hadoop-3.1.4/share/hadoop/common/lib/guava-27.0-jre.jar

进入hive/lib目录下删除掉旧版本的guava.jar。

cd /export/server/apache-hive-3.1.2-bin/lib

rm guava-19.0.jar

进入Hadoop/share/hadoop/common/lib目录下,将新版本的guava.jar复制到hive/lib目录下

cd /export/server/hadoop-3.3.0/share/hadoop/common/lib

复制到hive的lib目录下

cp guava-27.0-jre.jar /export/server/apache-hive-3.1.2-bin/lib/

完成,

再次执行初始化元数据库

 进入/export/server/apache-hive-3.1.2-bin目录下

cd /export/server/apache-hive-3.1.2-bin

执行初始化

bin/schematool -dbType derby -initSchema

测试:

成功,hive安装完成。

Mysql安装

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/432062.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Python面向对象编程:类和对象①

文章目录 一、什么是面向对象编程1.1 面向对象编程的基本概念1.2 Python中的类和对象 二、定义类和创建对象2.1 定义类2.2 创建对象2.3 __init__方法2.4 self参数 三、类的属性和方法3.1 类的属性3.1.1 实例属性3.1.2 类属性 3.2 类的方法3.2.1 实例方法3.2.2 类方法3.2.3 静态…

解锁HTML的力量:从基础标签到完整网页构建

在整个学习编程技能的过程中,我们会始终基于编程的本质:输入-》函数处理-》输出 和编程语言的本质:语法糖、变量、基础函数,去理解各种编程技术和学习相关的技能。 今天开始学习编程的第一个技能点:HTML。正如编程的本…

2024 Snap 新款ar眼镜介绍

2024 snap 新款ar眼镜介绍 2024 Snap 新款ar眼镜介绍 助力快速掌握数据集的信息和使用方式。

EasyCVR全方位安全守护智慧电厂:构建高效视频监控系统优势分析

随着信息技术的飞速发展和数字化时代的到来,电厂作为能源供应的重要枢纽,其安全性和管理效率成为社会各界关注的焦点。为了满足电厂对高效、智能、可靠视频监控系统的需求,基于EasyCVR平台建设的电厂视频监控系统应运而生。 一、系统构成 基…

排序个人总结

插入排序 思路;定义 i 和 j,默认 i 前面的数都是有序的,j 定义为 i 的前一个数,把 i 的值给tmp,tmp与j对应的值进行比较,如果arr[j] > tmp,将arr[j] (大的数前移一位),如下图 代码&#xf…

String类常用的方法

源代码: 输出结果:

从HarmonyOS Next导出手机照片

1)打开DevEco Studio开发工具 2)插入USB数据线,连接手机 3)在DevEco Studio开发工具,通过View -> Tool Windows -> Device File Browser打开管理工具 4)选择storage -> cloud -> 100->fi…

MySQL InnoDB MVCC读写逻辑分析与调测

目标 1、构建MVCC读写场景 2、gdb调试MVCC过程,输出流程图(函数级别调用过程) 前提 准备1 打开服务端 查询mysqld进程号 线程树 打开客户端,想创建几个事务号就打开几个客户端 准备2 数据库mvcc,两个表test和stu…

韩媒专访CertiK首席商务官:持续关注韩国市场,致力于解决Web3安全及合规问题

作为Web3.0头部安全公司,CertiK在KBW期间联合CertiK Ventures举办的活动引起了业界的广泛关注。CertiK一直以来与韩国地方政府保持着紧密合作关系,在合规领域提供强有力的支持。而近期重磅升级的CertiK Ventures可以更好地支持韩国本地的区块链项目。上述…

Nmap网络扫描器基础功能介绍

怎么快速知道网络中存在哪些设备呢?我们可以借用扫描工具Nmap来实现这个功能。 下载 Windows系统可以前往Nmap官网下载安装包。 Linux使用对应的包管理器可以直接安装,命令如下 # Debian/Ubuntu apt install nmap# RedHat/Fedora yum install nmap …

数据在内存中的存储(下)

目录 前言一、浮点数在内存中的存储1.1 练习1.2 浮点数的存储1.2.1 浮点数存的过程1.2.2 浮点数取的过程 1.3 题目解析 总结 前言 前面一期我们主要说到整形在数据中的存储方式,这期我们来看看浮点数在内存中是如何存储的,话不多说,正文开始…

运行python程序

1 终端运行 1.1、直接在python解释器中书写代码 >>> print(法外狂徒) 法外狂徒 …

【数据结构初阶】排序算法(上)插入排序与选择排序

文章目录 1.排序概念及运用1. 1 概念1. 2 运用1.3 常见排序算法 2. 插入排序2. 1 直接插入排序2. 2 希尔排序2. 2. 1 希尔排序的时间复杂度 3. 选择排序3. 1 直接选择排序3. 2 堆排序3. 3 Top-K问题 1.排序概念及运用 1. 1 概念 排序:所谓排序,就是使一…

PySimpleGUI:简化 Python 中的 GUI 开发

作为一个算法工程师,避免不了需要标注数据(当然还有其他需求),标注数据时还是需要一个很好的工具,此时需要你来写一个图形用户界面(GUI),太难了~ 然而,PySim…

Java语言程序设计基础篇_编程练习题**18.34 (游戏:八皇后问题)

目录 题目:**18.34 (游戏:八皇后问题) 代码示例 代码解析 输出结果 使用文件 题目:**18.34 (游戏:八皇后问题) 八皇后问题是要找到一个解决方案,将一个皇后棋子放到棋盘上的每行中,并且两个皇后棋子之间不能相互攻击。编写个…

B-树(不是B减树)原理剖析(1)

目录 B树的主要特性: B树的操作: B树的优点: 为什么要发明出B-树? B树的概念和原理剖析 原理图讲解(部分讲解在图中) 初始化结点: 处理数据数量计算(了解) 底层代码实现(加深理解) 前些日子我们学了AVl树&…

MySQL InnoDB undo log生成逻辑分析

引用《InnoDB存储引擎》中有一句话,特别重要: 用户通常对undo有这样的误解:undo用于将数据库物理地恢复到执行语句或事务之前的样子---但事实并非如此。 undo是逻辑日志,因此只是将数据库逻辑地恢复到原来的样子。所有的修改都被…

通信工程学习:什么是NFV网络功能虚拟化

NFV:网络功能虚拟化 NFV(Network Function Virtualization),即网络功能虚拟化,是一种通过虚拟化技术实现网络功能的技术手段。它借鉴了x86服务器的架构,将传统的网络硬件设备如路由器、交换机、防火墙、负载…

neo4j:ubuntu环境下的安装与使用

一、neo4j安装 1. 下载安装包 进入网站:https://neo4j.com/deployment-center/#community 在上图中选择下载即可(社区版免费) 注意:neo4j的版本要和电脑安装的jdk版本对应,jdk版本使用java --version查看:…

华为认证HCIA篇--网络通信基础

大家好呀!我是reload。今天来带大家学习一下华为认证ia篇的网络通信基础部分,偏重一些基础的认识和概念性的东西。如果对网络通信熟悉的小伙伴可以选择跳过,如果是新手或小白的话建议还是看一看,先有个印象,好为后续的…