Hive服务部署及Datagrip工具使用

目录

Hive服务部署

 Hiveserver2服务

1）用户说明

2）Hiveserver2部署

（1）Hadoop端配置

（2）Hive端配置

3）测试

（1）启动Hiveserver2

（2）使用命令行客户端beeline进行远程访问

（3）使用Datagrip图形化客户端进行远程访问

① 创建连接

② 配置连接属性

③ 界面介绍

④ 测试SQL执行

⑤ 修改数据库

 Metastore服务

1）Metastore运行模式

2）Metastore部署

（1）嵌入式模式

（2）独立服务模式

3）测试

 编写Hive服务启动脚本（了解）

1）前台启动的方式导致需要打开多个Xshell窗口，可以使用如下方式后台方式启动

2）为了方便使用，可以直接编写脚本来管理服务的启动和关闭

3）添加执行权限

4）启动Hive后台服务

Hive服务部署

 Hiveserver2服务

Hive的Hiveserver2服务的作用是提供JDBC/ODBC接口，为用户提供远程访问Hive数据的功能。例如，用户期望在个人电脑中访问远程服务中的Hive数据，就需要用到Hiveserver2。

1）用户说明

在远程访问Hive数据时，客户端并未直接访问Hadoop集群，而是由Hiveserver2代理访问。由于Hadoop集群中的数据具备访问权限控制，所以此时需考虑一个问题：那就是访问Hadoop集群的用户身份是谁？是Hiveserver2的启动用户？还是客户端的登录用户？

答案是都有可能，具体是谁，由Hiveserver2的hive.server2.enable.doAs参数决定。该参数的含义是是否启用Hiveserver2用户模拟的功能。若启用，则Hiveserver2会模拟成客户端的登录用户去访问Hadoop集群的数据；不启用，则Hiveserver2会直接使用启动用户访问Hadoop集群数据。模拟用户的功能，默认是开启的。

具体逻辑如下：

  • 未开启用户模拟功能：hive.server2.enable.doAs=false

  • 开启用户模拟功能：hive.server2.enable.doAs=true

生产环境，推荐开启用户模拟功能，因为开启后才能保证各用户之间的权限隔离。

2）Hiveserver2部署

（1）Hadoop端配置

Hiveserver2的模拟用户功能，依赖于Hadoop提供的proxy user（代理用户功能）。只有Hadoop中的代理用户才能模拟其他用户的身份访问Hadoop集群。因此，需要将Hiveserver2的启动用户设置为Hadoop的代理用户，配置方式如下：

修改配置文件core-site.xml，然后记得分发三台机器：

[lzl@hadoop12 ~]$ cd $HADOOP_HOME/etc/hadoop[lzl@hadoop12 hadoop]$ vim core-site.xml<!-- 配置所有节点的lzl用户都可作为代理用户 -->
<property><name>hadoop.proxyuser.lzl.hosts</name><value>*</value>
</property><!-- 配置lzl用户能够代理的用户组为任意组 -->
<property><name>hadoop.proxyuser.lzl.groups</name><value>*</value>
</property><!-- 配置lzl用户能够代理的用户为任意用户 -->
<property><name>hadoop.proxyuser.lzl.users</name><value>*</value>
</property>
（2）Hive端配置

在hive-site.xml文件中添加如下配置信息：

[lzl@hadoop12 conf]$ vim hive-site.xml<!-- 指定hiveserver2连接的host -->
<property><name>hive.server2.thrift.bind.host</name><value>hadoop12</value>
</property><!-- 指定hiveserver2连接的端口号 -->
<property><name>hive.server2.thrift.port</name><value>10000</value>
</property>

3）测试

（1）启动Hiveserver2
[lzl@hadoop12 hive]$ bin/hive --service hiveserver2
（2）使用命令行客户端beeline进行远程访问

启动beeline客户端：

[lzl@hadoop12 hive]$ bin/beeline -u jdbc:hive2://hadoop12:10000 -n lzl

看到如下界面：

Connecting to jdbc:hive2://hadoop12:10000
Connected to: Apache Hive (version 3.1.3)
Driver: Hive JDBC (version 3.1.3)
Transaction isolation: TRANSACTION_REPEATABLE_READ
Beeline version 3.1.3 by Apache Hive
0: jdbc:hive2://hadoop12:10000>
（3）使用Datagrip图形化客户端进行远程访问
① 创建连接

② 配置连接属性

所有属性配置，和Hive的beeline客户端配置一致即可。初次使用，配置过程会提示缺少JDBC驱动，按照提示下载即可。

③ 界面介绍

④ 测试SQL执行

⑤ 修改数据库

 Metastore服务

Hive的Metastore服务的作用是为Hive CLI或者Hiveserver2提供元数据访问接口。

1）Metastore运行模式

Metastore有两种运行模式，分别为嵌入式模式和独立服务模式。下面分别对两种模式进行说明：

  • 嵌入式模式：

  • 独立服务模式：

生产环境中，不推荐使用嵌入式模式。因为其存在以下两个问题：

  1. 嵌入式模式下，每个Hive CLI都需要直接连接元数据库，当Hive CLI较多时，数据库压力会比较大。
  2. 每个客户端都需要用户元数据库的读写权限，元数据库的安全得不到很好的保证。

2）Metastore部署

（1）嵌入式模式

嵌入式模式下，只需保证Hiveserver2和每个Hive CLI的配置文件hive-site.xml中包含连接元数据库所需要的以下参数即可：

<!-- JDBC连接的URL -->
<property><name>javax.jdo.option.ConnectionURL</name><value>jdbc:mysql://hadoop12:3306/metastore?useSSL=false</value>
</property><!-- JDBC连接的Driver -->
<property><name>javax.jdo.option.ConnectionDriverName</name><value>com.mysql.jdbc.Driver</value>
</property><!-- JDBC连接的username -->
<property><name>javax.jdo.option.ConnectionUserName</name><value>root</value>
</property><!-- JDBC连接的password -->
<property><name>javax.jdo.option.ConnectionPassword</name><value>123456</value>
</property>
（2）独立服务模式

独立服务模式需做以下配置：

首先，保证Metastore服务的配置文件hive-site.xml中包含连接元数据库所需的以下参数：

<!-- JDBC连接的URL -->
<property><name>javax.jdo.option.ConnectionURL</name><value>jdbc:mysql://hadoop12:3306/metastore?useSSL=false</value>
</property><!-- JDBC连接的Driver -->
<property><name>javax.jdo.option.ConnectionDriverName</name><value>com.mysql.jdbc.Driver</value>
</property><!-- JDBC连接的username -->
<property><name>javax.jdo.option.ConnectionUserName</name><value>root</value>
</property><!-- JDBC连接的password -->
<property><name>javax.jdo.option.ConnectionPassword</name><value>123456</value>
</property>

其次，保证Hiveserver2和每个Hive CLI的配置文件hive-site.xml中包含访问Metastore服务所需的以下参数：

<!-- 指定Metastore服务的地址 -->
<property><name>hive.metastore.uris</name><value>thrift://hadoop12:9083</value>
</property>

注意：主机名需要改为Metastore服务所在节点，端口号无需修改，Metastore服务的默认端口就是9083。

3）测试

此时启动Hive CLI，执行show databases语句，会出现以下错误提示信息：

hive (default)> show databases;
FAILED: HiveException java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient

这是因为我们在Hive CLI的配置文件中配置了hive.metastore.uris参数，此时Hive CLI会去请求我们指定的Metastore服务地址，所以必须启动Metastore服务才能正常使用。

Metastore服务的启动命令如下：

[lzl@hadoop12 hive]$ hive --service metastore
2022-04-24 16:58:08: Starting Hive Metastore Server

注意：启动后该窗口不能再操作，需打开一个新的Xshell窗口来对Hive操作。

重新启动Hive CLI，并执行show databases语句，就能正常访问了：

[lzl@hadoop12 hive]$ bin/hive

 编写Hive服务启动脚本（了解）

1）前台启动的方式导致需要打开多个Xshell窗口，可以使用如下方式后台方式启动

  • nohup：放在命令开头，表示不挂起，也就是关闭终端进程也继续保持运行状态。
  • /dev/null：是Linux文件系统中的一个文件，被称为黑洞，所有写入该文件的内容都会被自动丢弃。
  • 2>&1：表示将错误重定向到标准输出上。
  • &：放在命令结尾，表示后台运行。

一般会组合使用：nohup [xxx命令操作]> file 2>&1 &，表示将xxx命令运行的结果输出到file中，并保持命令启动的进程在后台运行。

如上命令不要求掌握。

[lzl@hadoop12 hive]$ nohup hive --service metastore 2>&1 &
[lzl@hadoop12 hive]$ nohup hive --service hiveserver2 2>&1 &

2）为了方便使用，可以直接编写脚本来管理服务的启动和关闭

[lzl@hadoop12 hive]$ vim $HIVE_HOME/bin/hiveservices.sh

内容如下：此脚本的编写。直接拿来使用即可。

#!/bin/bashHIVE_LOG_DIR=$HIVE_HOME/logs
if [ ! -d $HIVE_LOG_DIR ]
thenmkdir -p $HIVE_LOG_DIR
fi# 检查进程是否运行正常，参数1为进程名，参数2为进程端口
function check_process()
{pid=$(ps -ef 2>/dev/null | grep -v grep | grep -i $1 | awk '{print $2}')ppid=$(netstat -nltp 2>/dev/null | grep $2 | awk '{print $7}' | cut -d '/' -f 1)echo $pid[[ "$pid" =~ "$ppid" ]] && [ "$ppid" ] && return 0 || return 1
}function hive_start()
{metapid=$(check_process HiveMetastore 9083)cmd="nohup hive --service metastore >$HIVE_LOG_DIR/metastore.log 2>&1 &"[ -z "$metapid" ] && eval $cmd || echo "Metastroe服务已启动"server2pid=$(check_process HiveServer2 10000)cmd="nohup hive --service hiveserver2 >$HIVE_LOG_DIR/hiveServer2.log 2>&1 &"[ -z "$server2pid" ] && eval $cmd || echo "HiveServer2服务已启动"
}function hive_stop()
{metapid=$(check_process HiveMetastore 9083)[ "$metapid" ] && kill $metapid || echo "Metastore服务未启动"server2pid=$(check_process HiveServer2 10000)[ "$server2pid" ] && kill $server2pid || echo "HiveServer2服务未启动"
}case $1 in
"start")hive_start;;
"stop")hive_stop;;
"restart")hive_stopsleep 2hive_start;;
"status")check_process HiveMetastore 9083 >/dev/null && echo "Metastore服务运行正常" || echo "Metastore服务运行异常"check_process HiveServer2 10000 >/dev/null && echo "HiveServer2服务运行正常" || echo "HiveServer2服务运行异常";;
*)echo Invalid Args!echo 'Usage: '$(basename $0)' start|stop|restart|status';;
esac

3）添加执行权限

[lzl@hadoop12 hive]$ chmod +x $HIVE_HOME/bin/hiveservices.sh

4）启动Hive后台服务

[lzl@hadoop12 hive]$ hiveservices.sh start

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.rhkb.cn/news/416687.html

如若内容造成侵权/违法违规/事实不符，请联系长河编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

计算机工具软件安装攻略：Visual Studio Code下载、安装和使用

计算机工具软件安装攻略：Visual Studio Code下载、安装和使用

Visual Studio Code下载、安装和使用 1 Visual Studio Code简介 Visual Studio Code通常简称为VS Code&#xff0c;是一款由微软开发的免费、开源的轻量级代码编辑器。它在开发者社区中非常受欢迎&#xff0c;具有强大的功能和扩展性&#xff0c;适用于多种编程语言和开发场景…
阅读更多...
激光器原理--材料篇

激光器原理--材料篇

半导体材参杂 https://zhuanlan.zhihu.com/p/24683205 能带跃迁&#xff0c;能量变化&#xff0c;从电变为光。 Si半导体是间隙带隙&#xff0c; 三五族是直接带隙。直接带隙方便跃迁&#xff0c;容易出光
阅读更多...
Verilog基础，原码，反码与补码的概念

Verilog基础，原码，反码与补码的概念

Verilog模块初认识 1、Verilog模块(Module) Verilog中的module可以看成一个具有输入输出端口的黑盒子&#xff0c;该黑盒子有输入和输出接口(信号)&#xff0c;通过把输入在盒子中执行某些操作来实现某项功能。(类似于C语言中的函数) 图1 模块示意图 1.1 模块描述 图1 所示的…
阅读更多...
el-table利用折叠面板 type=“expand“ 嵌套el-table，并实现 明细数据多选，选中明细数据后返回原数据得嵌套格式

el-table利用折叠面板 type=“expand“ 嵌套el-table，并实现 明细数据多选，选中明细数据后返回原数据得嵌套格式

效果图: 废话不多说直接上代码&#xff0c;完整代码展示&#xff1a; <template><el-tableborderref"multipleTable":data"tableData"tooltip-effect"dark"style"width: 100%"><el-table-columnwidth"50"la…
阅读更多...
简单的Linux Ftp服务搭建

简单的Linux Ftp服务搭建

简单的Linux FTP服务搭建 1.需求 公司有一个esb文件传输代理&#xff0c;其中我们程序有文件传输功能&#xff0c;需要将本地文件传输到esb文件代理服务器上&#xff0c;传输成功之后发送http请求&#xff0c;告知esb将固定文件进行传输到对应外围其他服务的文件目录中&#…
阅读更多...
[环境配置]Pycharm手动安装汉化插件

[环境配置]Pycharm手动安装汉化插件

在Pycharm-file-setting-Plugins中&#xff0c;搜索chinese&#xff0c;就会出现汉化包 点击install后&#xff0c;在安装时出现这种报错&#xff1a;Plugin "Chinese (Simplified) Language Pack / 中文语言包" was not installed: Invalid filename returned by a …
阅读更多...
Microk8s ingress启动失败, 10254端口被占用问题定位

Microk8s ingress启动失败, 10254端口被占用问题定位

问题描述 RHEL9 VM里安装了Microk8s&#xff0c;且使用了Nginx ingress Controller插件&#xff0c;443端口正常。 VM重启一次后&#xff0c;发现443端口没有LISTEN&#xff0c;不能对外提供服务。 定位过程 查看ingress pod状态&#xff0c;为CrashLoopBackOff # kubectl …
阅读更多...
函数式接口实现策略模式

函数式接口实现策略模式

函数式接口实现策略模式 1.案例背景 我们在日常开发中&#xff0c;大多会写if、else if、else 这样的代码&#xff0c;但条件太多时&#xff0c;往往嵌套无数层if else,阅读性很差&#xff0c;比如如下案例&#xff0c;统计学生的数学课程的成绩&#xff1a; 90-100分&#…
阅读更多...
yaml文件查看模型的架构

yaml文件查看模型的架构

最近在看hrnet模型代码&#xff0c;想查看hrnet的模型架构&#xff0c;输出一下&#xff0c;但是模型参数需要cfg&#xff0c;我就想着怎么把yaml文件导进来然后打印模型呢&#xff0c;直接chat就可以了&#xff0c;下面解释一下每一部分&#xff0c;非常的好理解 yaml文件格式…
阅读更多...
第L5周：机器学习：决策树（分类模型）

第L5周：机器学习：决策树（分类模型）

&#x1f368; 本文为&#x1f517;365天深度学习训练营 中的学习记录博客&#x1f356; 原作者&#xff1a;K同学啊 目标&#xff1a; 1. 决策树算法是一种在机器学习和数据挖掘领域广泛应用的强大工具&#xff0c;它模拟人类决策过程&#xff0c;通过对数据集进行逐步的分析和…
阅读更多...
【重学 MySQL】十、MySQL 目录结构与源码

【重学 MySQL】十、MySQL 目录结构与源码

【重学 MySQL】十、MySQL 目录结构与源码 主要目录结构安装目录数据目录总结 源码源码结构编译过程源码连接建立源码中的关键模块源码的获取与贡献注意事项 主要目录结构 MySQL的主要目录结构通常包括安装目录和数据目录两部分&#xff0c;这些目录包含了MySQL运行所需的各种文…
阅读更多...
[数据集][目标检测]智慧牧场猪只检测数据集VOC+YOLO格式16245张1类别

[数据集][目标检测]智慧牧场猪只检测数据集VOC+YOLO格式16245张1类别

数据集格式&#xff1a;Pascal VOC格式YOLO格式(不包含分割路径的txt文件&#xff0c;仅仅包含jpg图片以及对应的VOC格式xml文件和yolo格式txt文件) 图片数量(jpg文件个数)&#xff1a;16245 标注数量(xml文件个数)&#xff1a;16245 标注数量(txt文件个数)&#xff1a;16245 标…
阅读更多...
基于SSM+MySQL的医院在线挂号系统

基于SSM+MySQL的医院在线挂号系统

系统背景 在当前数字化转型浪潮的推动下&#xff0c;医疗服务行业正经历着前所未有的变革。随着人口老龄化的加剧、患者就医需求的日益增长以及医疗资源分布不均等问题的凸显&#xff0c;传统的就医模式已难以满足患者对于便捷、高效医疗服务的需求。因此&#xff0c;构建一套基…
阅读更多...
微软发布Phi-3.5 SLM，附免费申请试用

微软发布Phi-3.5 SLM，附免费申请试用

Phi-3 模型系列是Microsoft 小型语言模型 (SLM) 系列中的最新产品。 它们旨在具有高性能和高性价比&#xff0c;在语言、推理、编码和数学等各种基准测试中的表现均优于同类和更大规模的模型。Phi-3 模型的推出扩大了 Azure 客户的高质量模型选择范围&#xff0c;为他们编写和…
阅读更多...
Windows自动化程序开发指南

Windows自动化程序开发指南

自动化程序的概念 “自动化程序”指的是通过电脑编程来代替人类手工操作的一类程序或软件。这类程序具有智能性高、应用范围广的优点&#xff0c;但是自动化程序的开发难度大、所用技术杂。 本文对自动化程序开发的各个方面进行讲解。 常见的处理对象 自动化程序要处理的对…
阅读更多...
Vivado+PetaLinux 系统搭建教程

Vivado+PetaLinux 系统搭建教程

PetaLinux 是基于 Yocto project DDR SDRAM 双倍数据率同步动态随机存取存储器&#xff08;英语&#xff1a;Double Data Rate Synchronous Dynamic Random Access Memory&#xff0c;简称DDR SDRAM&#xff09;为具有双倍资料传输率的SDRAM&#xff0c;其资料传输速度为系统主…
阅读更多...
【python因果推断库5】使用 CausalPy 进行贝叶斯geolift 分析2

【python因果推断库5】使用 CausalPy 进行贝叶斯geolift 分析2

目录 NHEFS 数据 评估平衡 估计平均处理效应 结论 再次&#xff0c;InversePropensityWeighting 类封装了检查倾向性得分分布以及在不同加权方案下评估平均处理效应的功能。 result1.plot_ATE(method"raw", prop_draws10, ate_draws500); 这里我们在三个图板中绘…
阅读更多...
DDS基本原理--FPGA学习笔记

DDS基本原理--FPGA学习笔记

DDS信号发生器原理&#xff1a; timescale 1ns / 1ps // // Company: // Engineer: // // Create Date: 2024/09/04 15:20:30 // Design Name: hilary // Module Name: DDS_Module //module DDS_Module(Clk,Reset_n,Fword,Pword,Data);input Clk;input Reset_n;input [31:0]…
阅读更多...
ROS2 2D相机基于AprilTag实现3D空间定位最简流程

ROS2 2D相机基于AprilTag实现3D空间定位最简流程

文章目录 前言驱动安装下载安装方式一&#xff1a;方式二&#xff1a; 相机检测配置config文件编译、运行程序注意 内参标定标定板运行程序 apriltag空间定位标签打印下载安装可视化结果 前言 AprilTag是一种高性能的视觉标记系统&#xff0c;广泛应用于机器人导航、增强现实和…
阅读更多...
ComfyUI中IC-Light节点的Detail Transfer节点参数测试

ComfyUI中IC-Light节点的Detail Transfer节点参数测试

&#x1f386;背景 ic-light是一个能重绘画面光影的节点&#xff0c;但是在重绘的过程中&#xff0c;难免会将图像本身的细节进行重绘&#xff0c;尤其是在电商的场景中&#xff0c;文字和商品的细节很多时候会被重绘的乱七八糟。 针对这种情况&#xff0c;Comfyui-IC-Light节…
阅读更多...
最新文章
推荐文章

Copyright @ 2022~2023

友情链接： 我的编程经验分享 一条长河网 尧图网站开发