Hive之[Hive]详细安装步骤

hive 是依赖hadoop中的hdfs作为存储,依赖mysql管理元数据

master节点

集群环境
master  192.168.204.130
slave1  192.168.204.131
slave2  192.168.204.132
组件下载地址
https://archive.apache.org/dist/hive/hive-1.2.2/
或
链接: https://pan.baidu.com/s/1DrvGTGn4_OFxO9WLmljJ_g 提取码: 1234 

下载完后上传至虚拟机master的/usr/local/src文件夹下;解压:

tar -zxvf apache-hive-1.2.2-bin.tar.gz
修改hive运行环境配置文件:hive-env.sh
cd /usr/local/src/apache-hive-1.2.2-bin/conf
mv hive-env.sh.template hive-env.sh
vim hive-env.sh

添加如下内容:

export JAVA_HOME=/usr/local/src/jdk1.8.0_172
export HADOOP_HOME=/usr/local/src/hadoop-2.6.1
export HIVE_HOME=/usr/local/src/apache-hive-1.2.2-bin
export HIVE_CONF_DIR=/usr/local/src/apache-hive-1.2.2-bin/conf
创建hive-site.xml文件
touch hive-site.xml
vim hive-site.xml

添加如下内容:

<?xml version="1.0" encoding="UTF-8" standalone="no"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration><property><name>javax.jdo.option.ConnectionURL</name><value>jdbc:mysql://master:3306/hive?createDatabaseIfNotExist=true&amp;useSSL=false&amp;useUnicode=true&amp;characterEncoding=UTF-8</value></property><property><name>javax.jdo.option.ConnectionDriverName</name><value>com.mysql.jdbc.Driver</value></property><property><name>javax.jdo.option.ConnectionUserName</name><value>root</value></property><property><name>javax.jdo.option.ConnectionPassword</name><value>123456</value></property><property><name>hive.metastore.warehouse.dir</name><value>hdfs://master:9000/hive/warehouse</value></property><property><name>hive.exec.scratchdir</name><value>hdfs://master:9000/hive/tmp</value></property><property><name>hive.querylog.location</name><value>/usr/hive/log</value><description>设置hive job日志存储位置</description></property><property><name>hive.cli.print.header</name><value>true</value><description>设置显示列名</description></property><property><name>hive.resultset.use.unique.column.names</name><value>false</value><description>增加列名可读性</description></property><property><name>hive.exec.dynamic.partition</name><value>true</value><description>开启动态分区</description></property><property><name>hive.exec.dynamic.partition.mode</name><value>nonstrict</value><description>设置动态分区模式为非严格模式</description></property><property><name>hive.enforce.bucketing</name><value>true</value><description>是否启用bucketing,写入table数据</description></property>
<!--<property><name>hive.metastore.uris</name><value>thrift://master:9083</value><description>元数据服务</description></property>
-->
<!--test flume to hive <property><name>hive.support.concurrency</name><value>true</value><description>是否支持并发,默认是false</description></property><property><name>hive.txn.manager</name><value>org.apache.hadoop.hive.ql.lockmgr.DbTxnManager</value><description>打开一部分事务支持协同配置</description></property><property><name>hive.compactor.initiator.on</name><value>true</value><description>运行启动程序和清除线程,用于打开所需参数的完整列表事务</description></property><property><name>hive.compactor.worker.threads</name><value>1</value><description>增加工作线程的数量将减少花费的时间</description></property>
-->
<!--设置hiveserver2链接参数--><property><name>yarn.app.mapreduce.am.command-opts</name><value>-Djava.net.preferIPv4Stack=true -Xmx200m</value></property><property><name>mapreduce.map.java.opts</name><value>-Djava.net.preferIPv4Stack=true -Xmx200m</value></property><property><name>mapreduce.reduce.java.opts</name><value>-Djava.net.preferIPv4Stack=true -Xmx200m</value></property>
</configuration>
增加环境变量

Master节点

vim ~/.bashrc

添加以下两行:

export HIVE_HOME=/usr/local/src/apache-hive-1.2.2-bin
export PATH=$PATH:${HIVE_HOME}/bin

刷新环境变量,让配置生效:

source ~/.bashrc
修改文件夹所属权限(包含master、slave1和slave2三个节点)

查看文件夹所属权限

cd /usr/local/src/
[root@master src]# ll
总用量 0
drwxr-xr-x  8 root  root  159 2月  10 19:00 apache-hive-1.2.2-bin
drwxr-xr-x 12 10011 10011 183 2月   8 16:51 hadoop-2.6.1
drwxr-xr-x  7    10   143 245 7月   7 2018 jdk1.8.0_181

修改

[root@master src]# chown -R root:root hadoop-2.6.1 jdk1.8.0_181
[root@master src]# ll
总用量 0
drwxr-xr-x  8 root root 159 2月  10 19:00 apache-hive-1.2.2-bin
drwxr-xr-x 12 root root 183 2月   8 16:51 hadoop-2.6.1
drwxr-xr-x  7 root root 245 7月   7 2018 jdk1.8.0_181
替换掉Hadoop的jline包

删除Hadoop下的jline包

cd /usr/local/src/hadoop-2.6.1/share/hadoop/yarn/lib/
rm -rf jline-0.9.94.jar

复制hive下的jline包到hadoop的lib文件夹

cd /usr/local/src/apache-hive-1.2.2-bin/lib
cp jline-2.12.jar $HADOOP_HOME/share/hadoop/yarn/lib/
安装MySQL连接工具

master节点
下载安装包

链接: https://pan.baidu.com/s/1ZJsntsUqIxd8HuJibLlPdw 提取码: 1234 

找到mysql-connector-java-5.1.44.tar,
下载之后上传到虚拟机/usr/local/src文件夹下, 解压:

tar xvf mysql-connector-java-5.1.44.tar

复制链接库文件:

cd mysql-connector-java-5.1.45
cp mysql-connector-java-5.1.45-bin.jar $HIVE_HOME/lib/
初始化元数据库
$HIVE_HOME/bin/schematool -dbType mysql -initSchema
启动Hive服务

hadoop集群启动之后,需要等待一会,等待hadoop退出安全模式,退出之后才可以启动hive
检查hadoop集群状态:

hadoop dfsadmin -report
如果有:Safe mode is ON的时候,不可以启动hive,需要等待一会

启动hive

[root@master hadoop-2.6.1]# hiveLogging initialized using configuration in jar:file:/usr/local/src/apache-hive-1.2.2-bin/lib/hive-common-1.2.2.jar!/hive-log4j.properties
hive> show databases;
OK
database_name
default
Time taken: 0.666 seconds, Fetched: 1 row(s)
hive> exit;
[root@master hadoop-2.6.1]# 

参考1
参考2

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/15715.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

将DeepSeek接入Excel实现交互式对话

引言 将DeepSeek接入Excel&#xff0c;为你带来前所未有的交互体验&#xff01;“哪里不懂&#xff0c;选中哪里”&#xff0c;然后直接在侧边栏对话框向DeepSeek发问&#xff0c;非常地方便&#xff01; 案例演示 设置接入方式 既可以通过本地部署的DeepSeek接入Excel&#…

在npm上传属于自己的包

最近在整理代码&#xff0c;上传到npm方便使用&#xff0c;所以学习了如何在npm发布一个包&#xff0c;整理写成一篇文章和大家一起交流。 1、注册npm账号 npm | Home 2、确保是登录状态 &#xff08;在包目录下&#xff0c;终端执行 npm login) 按enter键自动打开页面&…

JS宏进阶:XMLHttpRequest对象

一、概述 XMLHttpRequest简称XHR&#xff0c;它是一个可以在JavaScript中使用的对象&#xff0c;用于在后台与服务器交换数据&#xff0c;实现页面的局部更新&#xff0c;而无需重新加载整个页面&#xff0c;也是Ajax&#xff08;Asynchronous JavaScript and XML&#xff09;…

【快应用】多语言适配案例

【关键词】 多语言,$t 【问题背景】 快应用平台的能力会覆盖多个国家地区,平台支持多语言的能力后,可以让一个快应同时支持多个语言版本的切换,开发者无需开发多个不同语言的源码项目,避免给项目维护带来困难。使用系统默认的语言,开发者配置多语言的方式非常简单,只…

PyQt学习记录

0. 安装配置 0.1 安装相关库 首先打开你的PyCharm程序&#xff0c;然后新建一个目录用于学习&#xff0c;其次在terminal中输入 pip install pyqt5如果你不具有科学上网能力&#xff0c;请改为国内源 pip install pyqt5 -i https://pypi.douban.com/simple然后安装pyqt相关…

【多模态大模型】系列3:语义分割(LSeg、GroupViT)

目录 1 LSeg2 Group ViT 1 LSeg LANGUAGE-DRIVEN SEMANTIC SEGMENTATION LSeg是第一篇将CLIP应用于语义分割的论文。它的分割的效果拔群&#xff0c;容错能力也很高&#xff1a; 模型总览图跟CLIP很像&#xff1a; 对于图像链路&#xff1a;输入一张图片&#xff0c;进入分割…

【深度学习】多目标融合算法(四):多门混合专家网络MMOE(Multi-gate Mixture-of-Experts)

目录 一、引言 二、MMoE&#xff08;Multi-gate Mixture-of-Experts&#xff0c;多门混合专家网络&#xff09; 2.1 技术原理 2.2 技术优缺点 2.3 业务代码实践 2.3.1 业务场景与建模 2.3.2 模型代码实现 2.3.3 模型训练与推理测试 2.3.4 打印模型结构 三、总结 一、…

自动驾驶数据集三剑客:nuScenes、nuImages 与 nuPlan 的技术矩阵与生态协同

目录 1、引言 2、主要内容 2.1、定位对比&#xff1a;感知与规划的全维覆盖 2.2、数据与技术特性对比 2.3、技术协同&#xff1a;构建全栈研发生态 2.4、应用场景与评估体系 2.5、总结与展望 3、参考文献 1、引言 随着自动驾驶技术向全栈化迈进&#xff0c;Motional 团…

使用 AlexNet 实现图片分类 | PyTorch 深度学习实战

前一篇文章&#xff0c;CNN 卷积神经网络处理图片任务 | PyTorch 深度学习实战 本系列文章 GitHub Repo: https://github.com/hailiang-wang/pytorch-get-started 本篇文章内容来自于 强化学习必修课&#xff1a;引领人工智能新时代【梗直哥瞿炜】 使用 AlexNet 实现图片分类…

C# Winform 使用委托实现C++中回调函数的功能

C# Winform 使用委托实现C中回调函数的功能 在项目中遇到了使用C#调用C封装的接口&#xff0c;其中C接口有一个回调函数的参数。参考对比后&#xff0c;在C#中是使用委托(delegate)来实现类似的功能。 下面使用一个示例来介绍具体的使用方式&#xff1a; 第一步&#xff1a;…

攻防世界33 catcat-new【文件包含/flask_session伪造】

题目&#xff1a; 点击一只猫猫&#xff1a; 看这个url像是文件包含漏洞&#xff0c;试试 dirsearch扫出来/admin&#xff0c;访问也没成功&#xff08;--delay 0.1 -t 5&#xff09; 会的那几招全用不了了哈哈&#xff0c;那就继续看答案 先总结几个知识点 1./etc/passwd&am…

ArgoCD实战指南:GitOps驱动下的Kubernetes自动化部署与Helm/Kustomize集成

摘要 ArgoCD 是一种 GitOps 持续交付工具,专为 Kubernetes 设计。它能够自动同步 Git 仓库中的声明性配置,并将其应用到 Kubernetes 集群中。本文将介绍 ArgoCD 的架构、安装步骤,以及如何结合 Helm 和 Kustomize 进行 Kubernetes 自动化部署。 引言 为什么选择 ArgoCD?…

尝试一下,交互式的三维计算python库,py3d

py3d是一个我开发的三维计算python库&#xff0c;目前不定期在PYPI上发版&#xff0c;可以通过pip直接安装 pip install py3d 开发这个库主要可视化是想把自己在工作中常用的三维方法汇总积累下来&#xff0c;不必每次重新造轮子。其实现成的python库也有很多&#xff0c;例如…

【愚公系列】《循序渐进Vue.js 3.x前端开发实践》070-商业项目:电商后台管理系统实战(商品管理模块的开发)

标题详情作者简介愚公搬代码头衔华为云特约编辑&#xff0c;华为云云享专家&#xff0c;华为开发者专家&#xff0c;华为产品云测专家&#xff0c;CSDN博客专家&#xff0c;CSDN商业化专家&#xff0c;阿里云专家博主&#xff0c;阿里云签约作者&#xff0c;腾讯云优秀博主&…

5 个释放 安卓潜力的 Shizuku 应用

Shizuku 软件推荐&#xff1a;释放安卓潜力的五款应用 Shizuku (日语&#xff1a;雫&#xff0c;意为“水滴”) 正如其名&#xff0c;是一款轻巧但功能强大的安卓工具。它无需 Root 权限&#xff0c;通过 ADB (Android Debug Bridge) 授权&#xff0c;即可让应用调用系统 API&…

前端权限控制和管理

前端权限控制和管理 1.前言2.权限相关概念2.1权限的分类(1)后端权限(2)前端权限 2.2前端权限的意义 3.前端权限控制思路3.1菜单的权限控制3.2界面的权限控制3.3按钮的权限控制3.4接口的权限控制 4.实现步骤4.1菜单栏控制4.2界面的控制(1)路由导航守卫(2)动态路由 4.3按钮的控制…

分布式kettle调度平台- web版转换,作业编排新功能介绍

介绍 Kettle&#xff08;也称为Pentaho Data Integration&#xff09;是一款开源的ETL&#xff08;Extract, Transform, Load&#xff09;工具&#xff0c;由Pentaho&#xff08;现为Hitachi Vantara&#xff09;开发和维护。它提供了一套强大的数据集成和转换功能&#xff0c…

Docker容器访问外网:启动时的网络参数配置指南

在启动Docker镜像时,可以通过设置网络参数来确保容器能够访问外网。以下是几种常见的方法: 1. 使用默认的bridge网络 Docker的默认网络模式是bridge,它会创建一个虚拟网桥,将容器连接到宿主机的网络上。在大多数情况下,使用默认的bridge网络配置即可使容器访问外网。 启动…

大语言模型RAG,transformer

1、RAG技术流总结 第一张图是比较经典的RAG知识图谱&#xff0c;第二张图是更加详细扎实的介绍图。 1.1 索引 坦白来说这部分的技术并不是大模型领域的&#xff0c;更像是之前技术在大模型领域的应用&#xff1b;早在2019年我就做过faiss部分的尝试&#xff0c;彼时索引技术已…

数据结构与算法(test3)

七、查找 1. 看图填空 查找表是由同一类型的数据元素&#xff08;或记录&#xff09;构成的集合。例如上图就是一个查找表。 期中&#xff08;1&#xff09;是______________. (2)是______________(3)是_____关键字_______。 2. 查找(Searching) 就是根据给定的某个值, 在查…