Apache Hive的基本使用语法

一、数据库操作

  • 创建数据库
create database if not exists myhive;
  • 查看数据库
use  myhive;
desc  database  myhive;

在这里插入图片描述

  • 创建数据库并指定hdfs存储
create database myhive2 location '/myhive2';
  • 删除空数据库（如果有表会报错）
drop  database  myhive;
  • 强制删除数据库，包含数据库下的表一起删除
drop  database  myhive cascade;
  • 数据库和HDFS的关系
  1. Hive的库在HDFS上就是一个以.db结尾的目录
  2. 默认存储在：/user/hive/warehouse内
  3. 可以通过LOCATION关键字在创建的时候指定存储目录
  • Hive中可以创建的表有好几种类型， 分别是：
  1. 内部表
  2. 外部表
  3. 分区表
  4. 分桶表

二、Hive SQL语法

1、表操作

CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name [(col_name data_type [COMMENT col_comment], ...)] [COMMENT table_comment] [PARTITIONED BY (col_name data_type [COMMENT col_comment], ...)] 分区 [CLUSTERED BY (col_name, col_name, ...) 分桶 [SORTED BY (col_name [ASC|DESC], ...)] INTO num_buckets BUCKETS] [ROW FORMAT DELIMITED | SERDE serde_name WITH SERDEPROPERTIES(property_name=property_value,..)] [STORED AS file_format] [LOCATION hdfs_path]

[] 中括号的语法表示可选。
| 表示使用的时候，左右语法二选一。
建表语句中的语法顺序要和语法树中顺序保持一致。

字段简单说明

  • CREATE TABLE 创建一个指定名字的表。如果相同名字的表已经存在，则抛出异常；用户可以用 IF NOT EXISTS 选项 来忽略这个异常。
  • EXTERNAL 外部表
  • COMMENT： 为表和列添加注释。
  • PARTITIONED BY 创建分区表
  • CLUSTERED BY 创建分桶表
  • SORTED BY 排序不常用
  • ROW FORMAT DELIMITED 使用默认序列化LazySimpleSerDe 进行指定分隔符
  • SERDE 使用其他序列化类 读取文件
  • STORED AS 指定文件存储类型
  • LOCATION 指定表在HDFS上的存储位置。
  • LIKE 允许用户复制现有的表结构，但是不复制数据
  • 数据类型
    在这里插入图片描述
  • 创建表
CREATE TABLE test(id INT, name STRING, gender STRING);
  • 删除表
DROP TABLE test;

2、内部表操作

  • 默认创建的就是内部表，如下举例：
create database if not exists myhive;
use myhive;
create table if not exists stu2(id int,name string);
insert into stu2 values (1,"zhangsan"), (2, "lisi");
select * from stu2;
  • 在HDFS上，查看表的数据存储文件
    在这里插入图片描述

3、外部表操作

 # 创建外部表
create external table test_ext(id int, name string) row format delimited fields terminated by '\t' location '/tmp/test_ext';
# 可以看到，目录/tmp/test_ext被创建
select * from test_ext #空结果，无数据
# 上传数据： 
hadoop fs -put test_external.txt /tmp/test_ext/ 
#现在可以看数据结果
select * from test_ext 
# 删除外部表（但是在HDFS中，数据文件依旧保留）
drop table test_ext;
  • 内外部表转换(EXTERNAL=TRUE 外或FALSE 内，注意字母大写)
alter table stu set tblproperties('EXTERNAL'='TRUE');

4、数据加载和导出

  • 先建表
CREATE TABLE myhive.test_load(dt string comment '时间（时分秒）', user_id string comment '用户ID', word string comment '搜索词',url string comment '用户访问网址'
) comment '搜索引擎日志表' ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t';
  • 数据加载方式一：基于HDFS进行load加载数据（不保留原始文件）
load data local inpath '/home/hadoop/search_log.txt' into table myhive.test_load;

search_log.txt文件内容如下：
在这里插入图片描述

  • 数据加载方式二：将SELECT查询语句的结果插入到其它表中，被SELECT查询的表可以是内部表或外部表（保留原始文件）
INSERT INTO TABLE tbl1 SELECT * FROM tbl2;
INSERT OVERWRITE TABLE tbl1 SELECT * FROM tbl2;
  • 将查询的结果导出到本地 - 使用默认列分隔符
insert overwrite local directory '/home/hadoop/export1' select * from test_load ;
  • 将查询的结果导出到本地 - 指定列分隔符
insert overwrite local directory '/home/hadoop/export2' row format delimited fields terminated by '\t' select * from test_load;
  • 将查询的结果导出到HDFS上(不带local关键字)
insert overwrite directory '/tmp/export' row format delimited fields terminated by '\t' select * from test_load;
  • hive表数据导出
bin/hive -e "select * from myhive.test_load;" > /home/hadoop/export3/export4.txtbin/hive -f export.sql > /home/hadoop/export4/export4.txt

5、分区表

  • 在大数据中，最常用的一种思想就是分治，我们可以把大的文件切割划分成一个个的小的文件，这样每次操作一个小的文件就会很容易了
    同样的道理，在hive当中也是支持这种思想的，就是我们可以把大的数据，按照每天，或者每小时进行切分成一个个的小的文件，这样去操作小的文件就会容易得多了。
    在这里插入图片描述
  • 基本语法
    create table tablename(...) partitioned by (分区列 列类型, ......) row format delimited fields terminated by '';
  • 创建分区表
create table score(s_id string, c_id string, s_score int) partition by (month string) row format delimited fields terminated by '\t';
  • 创建多个分区表
create table score(s_id string, c_id string, s_score int) partition by (year string,month string,day string) row format delimited fields terminated by '\t';
  • 加载数据到分区表中
load data local inpath '/export/server/hivedata/score.txt' into table score partition(month='202403');
  • 加载数据到多分区表中
load data local inpath '/export/server/hivedata/score.txt' into table score partition(year='2024',month='03',day='27');
  • 查看分区表
show partitions score;
  • 添加一个分区
alter table score add partition(month='202403');
  • 同时添加多个分区
alter table score add partition(month='202403') partition(month='202402');
  • 删除分区
alter table score drop partition(month='202403');

6、分桶表

  • 开启分桶的自动优化（自动匹配reduce task数量和桶数量一致）
set hive.enforce.bucketing=true;
  • 创建分桶表
create table course (c_id string,c_name string,t_id string) clustered by(c_id) into 3 buckets row format delimited fields terminated by '\t';
  • 桶表的数据加载，由于桶表的数据加载通过load data无法执行，只能通过insert select.
    所以，比较好的方式是:
  1. 创建一个临时表（外部表或内部表均可），通过load data加载数据进入表
  2. 然后通过insert select 从临时表向桶表插入数据
# 创建普通i表
create table course_common(c_id string, c_name string, t_id string) row format delimited fields terminated by '\t';
# 普通表中加载数据
load data local inpath '/export/server/hivedata/course.txt' into table course_common;
# 通过insert overwrite给桶表加载数据
insert overwrite table course select * from course_common cluster by(c_id);
  • 为什么不可以用load data，必须用insert select插入数据：
  1. 问题就在于：如何将数据分成三份，划分的规则是什么？
  2. 数据的三份划分基于分桶列的值进行hash取模来决定
  3. 由于load data不会触发MapReduce，也就是没有计算过程（无法执行Hash算法），只是简单的移动数据而已
    所以无法用于分桶表数据插入。
  • Hash取模
  1. Hash算法是一种数据加密算法，其原理我们不去详细讨论，我们只需要知道其主要特征：
  • 同样的值被Hash加密后的结果是一致的
    比如字符串“hadoop”被Hash后的结果是12345（仅作为示意），那么无论计算多少次，字符串“hadoop”的结果都会是12345。
    比如字符串“bigdata”被Hash后的结果是56789（仅作为示意），那么无论计算多少次，字符串“bigdata”的结果都会是56789。
  1. 基于如上特征，在辅以有3个分桶文件的基础上，将Hash的结果基于3取模（除以3 取余数）
    那么，可以得到如下结果：
  • 无论什么数据，得到的取模结果均是：0、1、2 其中一个
  • 同样的数据得到的结果一致，如hadoop hash取模结果是1，无论计算多少次，字符串hadoop的取模结果都是1

至此，分享结束！！！

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.rhkb.cn/news/288877.html

如若内容造成侵权/违法违规/事实不符，请联系长河编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

【Redis】Redis 介绍Redis 为什么这么快？Redis数据结构Redis 和Memcache区别 ？为何Redis单线程效率也高？

【Redis】Redis 介绍Redis 为什么这么快？Redis数据结构Redis 和Memcache区别 ？为何Redis单线程效率也高？

目录 Redis 介绍 Redis 为什么这么快？ Redis数据结构 Redis 和Memcache区别 ？ 为何Redis单线程效率也高？ Redis 介绍 Redis 是一个开源（BSD 许可）、基于内存、支持多种数据结构的存储系统，可以作为数据…
阅读更多...
专题：一个自制代码生成器（嵌入式脚本语言）之应用实例

专题：一个自制代码生成器（嵌入式脚本语言）之应用实例

初级代码游戏的专栏介绍与文章目录-CSDN博客 我的github：codetoys，所有代码都将会位于ctfc库中。已经放入库中我会指出在库中的位置。 这些代码大部分以Linux为目标但部分代码是纯C的，可以在任何平台上使用。 专题：一个自制代码…
阅读更多...
信号处理--基于FBCSP滤波方法的运动想象分类

信号处理--基于FBCSP滤波方法的运动想象分类

目录 理论 工具 方法 代码获取 理论 通用空间模式 (CSP) 算法可以用来有效构建最佳空间滤波器区分，然后实现运动想象的数据中的脑电信号的区分。然而，空间滤波器性能的好坏主要取决于其工作频带。如果脑电信号没有经过滤波或者滤波的频带范围不合适…
阅读更多...
如何选择适合自己的软文推广平台

如何选择适合自己的软文推广平台

随着新媒体的兴起，越来越多的企业关注软文的推广，一篇好的软文离不开一个好的发布渠道。如何选择合适的发稿平台已经成为很多企业的痛点，所以我会根据自己的经验介绍一个常见的发稿平台。 1.门户网站 门户网站，这里就不解释哪些网…
阅读更多...
【虹科分享】前Tableau工程师展示Domo如何与Tableau和Power BI高效结合

【虹科分享】前Tableau工程师展示Domo如何与Tableau和Power BI高效结合

文章速览： Domo如何与Tableau协同工作如何将Domo数据集连接到Tableau工作簿如何从Domo连接到Tableau数据提取Domo如何与Power BI协同工作 现有的BI工具的不足该如何弥补，前Tableau工程师Tanner Brockbank的建议是，取长补短，结合…
阅读更多...
Jenkins升级中的小问题

Jenkins升级中的小问题

文章目录 使用固定版本安装根据jenkins页面下载war包升级jenkins重启jenkins报错问题解决 K8s部署过程中的一些小问题 ##### Jenkins版本小插曲 ​ 在Jenkins环境进行插件安装时全部清一色飘红，发现是因为Jenkins版本过低导致，报错的位置可以找到更新je…
阅读更多...
【动手学深度学习】深入浅出深度学习之线性神经网络

【动手学深度学习】深入浅出深度学习之线性神经网络

目录 🌞一、实验目的 🌞二、实验准备 🌞三、实验内容 🌼1. 线性回归 🌻1.1 矢量化加速 🌻1.2 正态分布与平方损失 🌼2. 线性回归的从零开始实现 🌻2.1. 生成数据集 &#x…
阅读更多...
网络安全：Kali Linux 进行SQL注入与XSS漏洞利用

网络安全：Kali Linux 进行SQL注入与XSS漏洞利用

目录 一、实验 1.环境 2.Kali Linux 进行SQL注入 3.Kali Linux 进行XSS漏洞利用 二、问题 1.XSS分类 2.如何修改beef-xss的密码 3.beef-xss 服务如何管理 4.运行beef报错 5.beef 命令的颜色有哪些区别 6.owasp-top-10 有哪些变化 一、实验 1.环境 （1&a…
阅读更多...
2024年腾讯云4核8g服务器并发数、优惠价格、支持多少人在线？

2024年腾讯云4核8g服务器并发数、优惠价格、支持多少人在线？

腾讯云4核8G服务器价格：轻量4核8G12M优惠价格646元15个月、CVM S5服务器4核8G配置1437元买1年送3个月。腾讯云4核8G服务器支持多少人同时在线？支持30个并发数，可容纳日均1万IP人数访问。腾讯云百科txybk.com整理4核8G服务器支持多少人同时在线…
阅读更多...
Chrome之解决：浏览器插件不能使用问题(十三)

Chrome之解决：浏览器插件不能使用问题(十三)

简介： CSDN博客专家，专注Android/Linux系统，分享多mic语音方案、音视频、编解码等技术，与大家一起成长！ 优质专栏：Audio工程师进阶系列【原创干货持续更新中……】🚀 优质专栏：多媒…
阅读更多...
C程序编译、链接与项目构建

C程序编译、链接与项目构建

C程序编译、链接与项目构建 摘要C编译环境静、动态库介绍gcc与g和程序编译、链接Visual Studio创建和链接库动态库的显示调用Windows下显示动态库的加载/查找方式 Make介绍安装使用 CMake介绍安装使用构建方式内部构建外部构建构建使用静/动态库常用[系统]变量常用指令CMake模块…
阅读更多...
YOLOv9改进策略：block优化 | Transformer架构ConvNeXt 网络在检测中大放异彩

YOLOv9改进策略：block优化 | Transformer架构ConvNeXt 网络在检测中大放异彩

💡💡💡本文改进内容：Transformer架构 ConvNeXt 网络在图像分类和识别、分割领域大放异彩，同时对比 Swin-T 模型，在多种任务中其模型的大小和准确率均有一些提升，模型的 FLOPs 较大的减小且 Acc …
阅读更多...
Tire树-不学面试后悔

Tire树-不学面试后悔

先来一张图，看多少同学在面试中遇到这个题，然后被迫放弃，那就太可惜，因为这个题只要你往下看就会了 Trie（发音类似 "try"）或者说 前缀树 是一种树形数据结构，用于高效地存储和检索字…
阅读更多...
Spring-ThreadLocal内存泄漏原因及解决办法

Spring-ThreadLocal内存泄漏原因及解决办法

ThreadLocal原理回顾 ThreadLocal的原理：每个Thread内部维护着一个ThreadLocalMap，它是一个Map。这个映射表的Key是一个弱引用，其实就是ThreadLocal本身，Value是真正存的线程变量Object。 也就是说ThreadLocal本身并不真正存储线…
阅读更多...
电源模块 YULIN俞霖科技DC/DC电源模块 直流升压 高压稳压

电源模块 YULIN俞霖科技DC/DC电源模块 直流升压 高压稳压

Features 最低工作电压：0.7V电压隔离：1000VDC /3000VDC 平均无故障时间： > 800,000 小时短路与电弧保护无最低负载要求：可空载工作输入电压：5、12、15、24VDCOutput 100,200、300、400、500 、600、800、 1000、1…
阅读更多...
关于使用TCP-S7协议读写西门子PLC字符串的问题

关于使用TCP-S7协议读写西门子PLC字符串的问题

我们可以使用TCP-S7协议读写西门子PLC， 比如PLC中定义一个String[50] 的地址DB300.20 地址DB300.20 DB块编号为300，偏移量【地址】是30 S7协议是西门子PLC自定义的协议，默认端口102，本质仍然是TCP协议的一种具体实现&#xff…
阅读更多...
答题小程序功能细节揭秘：如何提升用户体验和满足用户需求？

答题小程序功能细节揭秘：如何提升用户体验和满足用户需求？

答题小程序功能细节体现 随着移动互联网的快速发展，答题小程序成为了用户获取知识、娱乐休闲的重要平台。一款优秀的答题小程序不仅应该具备简洁易用的界面设计，更应该在功能细节上做到极致，以提升用户体验和满足用户需求。本文将从题库随机…
阅读更多...
【YOLOv5改进系列(5)】高效涨点----添加密集小目标检测NWD方法

【YOLOv5改进系列(5)】高效涨点----添加密集小目标检测NWD方法

文章目录 🚀🚀🚀前言一、1️⃣ 修改loss.py文件1.1 🎓 修改11.2 ✨ 修改21.3 ⭐️相关代码的解释 二、2️⃣NWD实验2.1 🎓 实验一：基准模型2.2 ✨实验二：NWD权重设置0.52.3 ⭐️实验三&#xf…
阅读更多...
蓝桥杯练习题——博弈论

蓝桥杯练习题——博弈论

1.必胜态后继至少存在一个必败态 2.必败态后继均为必胜态 Nim游戏 思路 2 3，先手必赢，先拿 1，然后变成 2 2，不管后手怎么拿，先手同样操作，后手一定先遇到 0 0 a1 ^ a2 ^ a3 … ^ an 0，先…
阅读更多...
MySQL数据库----------探索高级SQL查询语句 （二）

MySQL数据库----------探索高级SQL查询语句 （二）

目录 一、子查询 1.1多表查询 1.2多层嵌套 1.3 insert语句子查询 1.4update语句子查询 1.5delete语句子查询 1.6EXISTS 1.7子查询，别名as 二、mysql视图 2.1mysql视图介绍 2.2mysql作用场景[图]: 2.3视图功能： 2.4视图和表的区别和联系 区别…
阅读更多...
最新文章
推荐文章

Copyright @ 2022~2023