Ubuntu下部署Hadoop集群+Hive(三)

Hive部署

准备环境

apache-hive-4.0.0-bin.tar.gz、mysql-connector-j-8.1.0.jar

如果是离线安装的话,使用mysql-8.0.34-1.el7.x86_64.rpm-bundle.tar,在线安装的话则不用;

hive下载地址:Index of /hive (apache.org)

mysql connector下载地址:MySQL :: Download Connector/J

mysql下载地址:MySQL :: Download MySQL Community Server (Archived Versions)

只需要在主节点服务器上安装即可;

安装步骤参照:Hive 部署_hive部署-CSDN博客

对应的视频课程参照:尚硅谷大数据Hive 3.x教程全新升级版(基于hive3.1.3)_哔哩哔哩_bilibili

几点注意事项:

1.我选择的是hive4.0版本,后续章节我将介绍如何将hive计算引擎更换为Tez,使用hive3.X版本,不管我使用 tez0.10.X版本还是0.09版本,都会出现相关库找不到的情况,后来更换为hive4.0+tez0.10.3版本后就对了;

2.mysql的安装,分为离线安装和在线安装,安装完成后,要让mysql支持远程访问,需要操作以下步骤:

(1) 打开mysql配置文件

/etc/mysql/mysql.conf.d# vi mysqld.cnf

(2)将这个地方注释,保存;

(3)需要让对外访问的用户,host属性配置为%,plugin属性配置为 mysql_native_password,比如我配置的是root用户,如下图所示:

配置方法:

进入到mysql命令行界面:

mysql> use mysql;
Reading table information for completion of table and column names
You can turn off this feature to get a quicker startup with -ADatabase changed
mysql> update mysql.user set host='%', plugin='mysql_native_password' where user='root' and host='localhost';

执行成功后,再执行flush privileges;退出。

到此,Hadoop集群 + Hive部署就已经完成,可以使用DBeaver软件连接Hive数据库进行访问操作,但是有一个问题,因为Hadoop默认计算引擎是MapReduce,运行会比较慢,我的是3台实体服务器,执行增删查改感觉都很慢,下一章,我将在此基础上进行优化,把计算引擎更换为Tez。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/410495.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

机械学习—零基础学习日志(如何理解概率论9)

大数定律与中心定律 来看一道习题: 这个题目看看,应该是什么呢~下一章来看看解析~ 《概率论与数理统计期末不挂科|考研零基础入门4小时完整版(王志超)》学习笔记 王志超老师 (UP主)

vue3 + ElImage + nodejs 集成了看板娘(UI原生开发达99%)的响应式BLOG(个人博客)。

一、想要我的屎山代码,可以私聊我哟 访问地址,欢迎访问(访问效果更佳) ☂ 被你发现了!| snows_ls BLOGhttp://124.223.41.220/ 欢迎互挂友链 二、做了个啥 1、看板娘(看效果好吧)…

【数据结构】线性表的顺序表示(顺序表的定义和基本操作)

计算机考研408-数据结构笔记本之——第二章 线性表 2.2 线性表的顺序表示(顺序表的定义和基本操作:初始化/插入/删除/查找) 2.2.1 顺序表的定义 1.定义 顺序表是线性表的顺序存储。 所谓顺序存储,就是把逻辑上相邻的元素存储在物…

C++ 设计模式——享元模式

C 设计模式——享元模式 C 设计模式——享元模式1. 主要组成成分2. 享元模式内部状态3. 享元模式外部状态4. 逐步构建享元模式4.1 抽象享元类定义4.2 具体享元类实现4.3 享元工厂类实现4.4 主函数 5. 享元模式 UML 图享元模式 UML 图解析 6. 享元模式的优点7. 享元模式的缺点8.…

Linux驱动学习之中断与等待队列

本篇分为设备树部分和API接口部分 设备树 想要使用中断,设备树中需要有两个属性: interrupts // 表示要使用哪一个中断, 中断的触发类型等等。 interrupt-parent // 这个中断要接到哪一个设备去? 即父中断控制器是谁 父中…

趣味算法------拯救阿拉德大陆

目录 ​编辑 题目描述: 思路解析: 具体代码: 总结: 题目描述: 此时一批勇士也随之而来,但其能力也是参差不齐,我们需要挑选出最优秀的勇士来守护这片大陆。每位勇士都有属于自己的编号&am…

JobSchedulerService.setRequiresCharging需充电且电量大于90%才触发的现象

一、摘要 从源码看原生JobSchedulerService.setRequiresCharging 的特性,该特性竞品机器华为、Oppo也是如此。 1、应用处于前台可见,满足充电条件,立刻触发 2、应用处于后台不可见,需要设备连接USB或AC且电量大于90%&#xff0…

挂个人-CSDN Java优秀内容博主rundreamsFly抄袭

事件起因 今天点开自己的CSDN博客,发现给我推了一篇文章抄袭我自己昨天18点发的文章。 就是这篇,一字不差,博主昵称是:rundreamsFly,账号是rundreams。 抄袭者文章 发布于2024-8-26 19:37:41秒,比我发布…

C的温故而知新:位操作(C Primer Plus第十五章)

第十五章:位操作 这一章的篇幅不是很长,但既然能单独作为一章来讲的话,应该蛮重要的,但是我貌似没有总结出多少需要注意、加强记忆的东西,可见在JAVA的日常开发过程中基本不太遇见有关位操作的内容,所以我…

FSQ26信号分析仪RS FSU26 20HZ-26.5G频谱分析仪

罗德与施瓦茨Rohde & Schwarz FSQ26信号分析仪,20 Hz - 26.5 GHz ​R&S FSQ26 信号分析仪集两种仪器于一身。它提供高达 120 MHz 解调带宽的信号分析,并具有高端频谱分析仪的动态范围。 频率范围:20 Hz 至 26.5 GHz 高端频谱分析仪…

神经网络—卷积层

1.讲解 Conv2d out_channels 参数为2时,会生成两个卷积核,分别与输入进行卷积。得到的两个输出为输出 新生成的卷积核和原来的卷积核不一定相同 in_channels (int) – Number of channels in the input image out_channels (int) – Number of channels…

ARM32开发——(六)GPIO_USART通信原理

1. 串行通信和并行通信 1.1 串行通信 串行通信是一种数据传输的方式,它是指将数据按照一位一位的顺序依次发送和接收,常用于远距离通信、嵌入式系统和低带宽传输场景下。串行通信相对于并行通信而言,只需要传输一条数据线,相对简…

一文了解机器学习顶会ICML 2024的研究热点

对人工智能研究领域前沿方向的跟踪是提高科研能力和制定科研战略的关键。本文通过图文并茂的方式介绍了ICML 2024的研究热点,帮助读者了解和跟踪机器学习和人工智能的前沿研究方向。本推文的作者是许东舟,审校为邱雪和黄星宇。 1 会议介绍 ICML&#x…

运放阻抗和噪声(同相放大器的输入/输出阻抗 + 电压跟随器阻抗 + 噪声 +信噪比)

2024-8-27,星期一,21:03,天气:阴雨,心情:晴。培训终于结束啦,开始轮岗了,看了两天PPT,加油加油,继续学习。 今天继续学习第六章运算放大器,主要学…

一文带你从零到实战,学会gcc和Makefile,多文件编译神器的使用与编写

目录: 目录: 一、什么是Makefile 1.1 makefile的作用: 1.2 makefile的基本组成: 二、Linux编译过程: 2.1 linux编译过程: 2.1.1 预处理(Preprocessing) 2.1.2 编译(Compilation&am…

Android Studio 自定义字体大小

常用编程软件自定义字体大全首页 文章目录 前言具体操作1. 打开设置对话框2. 选择外观字体 前言 Android Studio 自定义字体大小,统一设置为 JetBrains Mono ,大小为 14 具体操作 【File】>【Settings...】>【Appearance & Behavior】>【…

二、设置地图配置表

一、导入一个背景图 由于背景图比较大,需要缩小至0.73 二、写配置文件(SO) 使用List需要一个命名空间 写一个类,声明房间的出现数量和种类;将它实例化出来 三、枚举变量的多选 在枚举变量中标记命名空间&#xff…

docker 多线成服务,比如gunicorn服务启动报错解决办法

docker执行的时候报错,排查是线程创建权限不足导致的,报错如下。 解决办法 docker run -e OPENBLAS_NUM_THREADS1 your_image

Unity XR Interaction Toolkit 踩坑记录

1:按下 grap/select 键 物品直接飞到手上 2 按下 grap/select 键 物品一点点的想自己移动

OpenCV杂项图像变换(2)线性混合函数blendLinear()的使用

操作系统:ubuntu22.04 OpenCV版本:OpenCV4.9 IDE:Visual Studio Code 编程语言:C11 算法描述 执行两个图像的线性混合: dst ( i , j ) weights1 ( i , j ) ∗ src1 ( i , j ) weights2 ( i , j ) ∗ src2 ( i , j ) \texttt{…