Hive之数据定义DDL

Hive之数据定义DDL

文章目录

  • Hive之数据定义DDL
    • 写在前面
    • 创建数据库
    • 查询数据库
      • 显示数据库
      • 查看数据库详情
      • 切换当前数据库
    • 修改数据库
    • 删除数据库
    • 创建表
      • 管理表(内部表)
      • 外部表
      • 管理表与外部表的互相转换
    • 修改表
      • 重命名表
      • 增加、修改和删除表分区
      • 增加/修改/替换列信息
    • 删除表

写在前面

  • Linux版本：CentOS7.5
  • Hive版本：Hive-3.1.2

创建数据库

CREATE DATABASE [IF NOT EXISTS] database_name
[COMMENT database_comment]
[LOCATION hdfs_path]
[WITH DBPROPERTIES (property_name=property_value, ...)];

（1）创建一个数据库，数据库在HDFS上的默认存储路径是 /user/hive/warehouse/*.db。

hive (default)> create database db_hive;

（2）避免要创建的数据库已经存在错误，增加 if not exists判断。（标准写法）

hive (default)> create database db_hive;
FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. Database db_hive already exists
hive (default)> create database if not exists db_hive;

（3）创建一个数据库，指定数据库在HDFS上存放的位置

hive (default)> create database db_hive2 location '/db_hive2.db';

查询数据库

显示数据库

（1）显示数据库

hive> show databases;

（2）过滤显示查询的数据库

hive> show databases like 'db_hive*';
OK
db_hive
db_hive_1

查看数据库详情

（1）显示数据库信息

hive> desc database db_hive;
OK
db_hive		hdfs://wbd01:9000/user/hive/warehouse/db_hive.db	whybigdata USER

（2）显示数据库详细信息，extended

hive> desc database extended db_hive;
OK
db_hive		hdfs://wbd01:9000/user/hive/warehouse/db_hive.db	whybigdataUSER

切换当前数据库

hive (default)> use db_hive;

修改数据库

用户可以使用 ALTER DATABASE 命令为某个数据库的 DBPROPERTIES 设置键-值对属性值，来描述这个数据库的属性信息。

hive (default)> alter database db_hive set dbproperties('createtime'='20230421');

在hive中查看修改结果

hive> desc database extended db_hive;
db_name comment location        owner_name      owner_type      parameters
db_hive         hdfs://wbd01:8020/user/hive/warehouse/db_hive.db    whybigdata USER    {createtime=20170830}

删除数据库

（1）删除空数据库

hive>drop database db_hive2;

（2）如果删除的数据库不存在，最好采用 if exists 判断数据库是否存在

hive> drop database db_hive;
FAILED: SemanticException [Error 10072]: Database does not exist: db_hive
hive> drop database if exists db_hive2;

（3）如果数据库不为空，可以采用cascade命令，强制删除

hive> drop database db_hive;
FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. InvalidOperationException(message:Database db_hive is not empty. One or more tables exist.)
hive> drop database db_hive cascade;

创建表

（1）建表语法

CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name 
[(col_name data_type [COMMENT col_comment], ...)] 
[COMMENT table_comment] 
[PARTITIONED BY (col_name data_type [COMMENT col_comment], ...)] 
[CLUSTERED BY (col_name, col_name, ...) 
[SORTED BY (col_name [ASC|DESC], ...)] INTO num_buckets BUCKETS] 
[ROW FORMAT row_format] 
[STORED AS file_format] 
[LOCATION hdfs_path]
[TBLPROPERTIES (property_name=property_value, ...)]
[AS select_statement]

（2）字段解释说明

  • CREATE TABLE 创建一个指定名字的表。如果相同名字的表已经存在，则抛出异常；用户可以用 IF NOT EXISTS 选项来忽略这个异常。
  • EXTERNAL关键字可以让用户创建一个外部表，在建表的同时可以指定一个指向实际数据的路径（LOCATION），在删除表的时候，内部表的元数据和数据会被一起删除，而外部表只删除元数据，不删除数据。
  • COMMENT：为表和列添加注释。
  • PARTITIONED BY创建分区表
  • CLUSTERED BY创建分桶表
  • SORTED BY不常用，对桶中的一个或多个列另外排序
  • ROW FORMAT
DELIMITED [FIELDS TERMINATED BY char] [COLLECTION ITEMS TERMINATED BY char][MAP KEYS TERMINATED BY char] [LINES TERMINATED BY char] | SERDE serde_name [WITH SERDEPROPERTIES (property_name=property_value, property_name=property_value, ...)]

用户在建表的时候可以 自定义SerDe 或者使用 自带的SerDe。如果没有指定ROW FORMAT 或者ROW FORMAT DELIMITED，将会使用自带的SerDe。在建表的时候，用户还需要为表指定列，用户在指定表的列的同时也会指定自定义的SerDe，Hive通过SerDe确定表的具体的列的数据。

SerDe是Serialize/Deserilize的简称， hive使用Serde进行行对象的序列与反序列化。

  • STORED AS指定存储文件类型

    常用的存储文件类型：SEQUENCEFILE（二进制序列文件）、TEXTFILE（文本）、RCFILE（列式存储格式文件）
    如果文件数据是纯文本，可以使用STORED AS TEXTFILE。如果数据需要压缩，使用 STORED AS SEQUENCEFILE。

  • LOCATION ：指定表在HDFS上的存储位置。

  • AS：后跟查询语句，根据查询结果创建表。

  • LIKE允许用户复制现有的表结构，但是不复制数据。

管理表(内部表)

（1）理论
默认创建的表都是所谓的管理表，有时也被称为内部表。因为这种表，Hive会（或多或少地）控制着数据的生命周期。Hive默认情况下会将这些表的数据存储在由配置项hive.metastore.warehouse.dir(例如，/user/hive/warehouse)所定义的目录的子目录下。当我们删除一个管理表时，Hive也会删除这个表中数据。管理表不适合和其他工具共享数据。
（2）案例实操

  • 原始数据
1001	ss1
1002	ss2
1003	ss3
1004	ss4
1005	ss5
1006	ss6
1007	ss7
1008	ss8
1009	ss9
1010	ss10
1011	ss11
1012	ss12
1013	ss13
1014	ss14
1015	ss15
1016	ss16
  • 普通创建表
create table if not exists student(
id int, name string
)
row format delimited fields terminated by '\t'
stored as textfile
location '/user/hive/warehouse/student';
  • 根据查询结果创建表（查询的结果会添加到新创建的表中）
create table if not exists student2 as select id, name from student;
  • 根据已经存在的表结构创建表
create table if not exists student3 like student;
  • 查询表的类型
hive (default)> desc formatted student2;
Table Type:             MANAGED_TABLE

外部表

（1）理论
因为表是外部表，所以Hive并非认为其完全拥有这份数据。删除该表并不会删除掉这份数据，不过描述表的元数据信息会被删除掉。
（2）管理表和外部表的使用场景
每天将收集到的网站日志定期流入HDFS文本文件。在外部表（原始日志表）的基础上做大量的统计分析，用到的中间表、结果表使用内部表存储，数据通过SELECT+INSERT进入内部表。
（3）案例实操
分别创建部门和员工外部表，并向表中导入数据。

  • 原始数据

dept:

10	ACCOUNTING	1700
20	RESEARCH	1800
30	SALES	1900
40	OPERATIONS	1700

emp：

7369	SMITH	CLERK	7902	1980-12-17	800.00		20
7499	ALLEN	SALESMAN	7698	1981-2-20	1600.00	300.00	30
7521	WARD	SALESMAN	7698	1981-2-22	1250.00	500.00	30
7566	JONES	MANAGER	7839	1981-4-2	2975.00		20
7654	MARTIN	SALESMAN	7698	1981-9-28	1250.00	1400.00	30
7698	BLAKE	MANAGER	7839	1981-5-1	2850.00		30
7782	CLARK	MANAGER	7839	1981-6-9	2450.00		10
7788	SCOTT	ANALYST	7566	1987-4-19	3000.00		20
7839	KING	PRESIDENT		1981-11-17	5000.00		10
7844	TURNER	SALESMAN	7698	1981-9-8	1500.00	0.00	30
7876	ADAMS	CLERK	7788	1987-5-23	1100.00		20
7900	JAMES	CLERK	7698	1981-12-3	950.00		30
7902	FORD	ANALYST	7566	1981-12-3	3000.00		20
7934	MILLER	CLERK	7782	1982-1-23	1300.00		10
  • 上传数据到HDFS
hive (default)> dfs -mkdir /student;
hive (default)> dfs -put /opt/module/datas/student.txt /student;
  • 建表语句，创建外部表

创建部门表

create external table if not exists dept(
deptno int,
dname string,
loc int
)
row format delimited fields terminated by '\t';

创建员工表

create external table if not exists emp(
empno int,
ename string,
job string,
mgr int,
hiredate string, 
sal double, 
comm double,
deptno int)
row format delimited fields terminated by '\t';
  • 查看创建的表
hive (default)>show tables;
  • 查看表格式化数据
hive (default)> desc formatted dept;
Table Type:             EXTERNAL_TABLE
  • 删除外部表
hive (default)> drop table dept;

外部表删除后，hdfs中的数据还在，但是metadata中dept的元数据已被删除

管理表与外部表的互相转换

  • 查询表的类型
hive (default)> desc formatted student2;
Table Type:             MANAGED_TABLE
  • 修改内部表student2为外部表
alter table student2 set tblproperties('EXTERNAL'='TRUE');
  • 查询表的类型
hive (default)> desc formatted student2;
Table Type:             EXTERNAL_TABLE
  • 修改外部表student2为内部表
alter table student2 set tblproperties('EXTERNAL'='FALSE');
  • 查询表的类型
hive (default)> desc formatted student2;
Table Type:             MANAGED_TABLE

注意：(‘EXTERNAL’=‘TRUE’)和(‘EXTERNAL’=‘FALSE’)为固定写法，区分大小写！

修改表

重命名表

  • 语法
ALTER TABLE table_name RENAME TO new_table_name
  • 实操案例
hive (default)> alter table order_goods rename to new_order_goods;

增加、修改和删除表分区

关于分区的内容，可以查看后续文章

增加/修改/替换列信息

（1）语法

  • 更新列
ALTER TABLE table_name CHANGE [COLUMN] col_old_name col_new_name column_type [COMMENT col_comment] [FIRST|AFTER column_name]
  • 增加和替换列
ALTER TABLE table_name ADD|REPLACE COLUMNS (col_name data_type [COMMENT col_comment], ...)

注：ADD是代表新增一字段，字段位置在所有列后面(partition列前)，REPLACE则是表示替换表中所有字段。

（2）实操案例

  • 查询表结构
hive> desc dept;
  • 添加列
hive (default)> alter table dept add columns(deptdesc string);
  • 查询表结构
hive> desc dept;
  • 更新列
hive (default)> alter table dept change column deptdesc desc string;
  • 查询表结构
hive> desc dept;
  • 替换列
hive (default)> alter table dept replace columns(deptno string, dname string, loc string);
  • 查询表结构
hive> desc dept;

删除表

hive (default)> drop table dept;

全文结束！！！

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.rhkb.cn/news/11656.html

如若内容造成侵权/违法违规/事实不符，请联系长河编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

deepseek的两种本地使用方式

deepseek的两种本地使用方式

总结来说 ollama是命令行 GPT4ALL桌面程序。 然后ollamaAnythingLLM可以达到桌面或web的两种接入方式。 一. ollama和deepseek-r1-1.5b和AnythingLLM 本文介绍一个桌面版的deepseek的本地部署过程，其中ollama可以部署在远程。 1. https://www.cnblogs.com/janeysj/p…
阅读更多...
海外问卷调查渠道查，如何影响企业的运营

海外问卷调查渠道查，如何影响企业的运营

我们注意到，随着信息资源和传播的变化，海外问卷调查渠道查已发生了深刻的变化。几年前，市场调研是业内专家们的事，即使是第二手资料也需要专业人士来完成；但如今的因特网和许许多多的信息数据库，使每个人都…
阅读更多...
TensorFlow简单的线性回归任务

TensorFlow简单的线性回归任务

如何使用 TensorFlow 和 Keras 创建、训练并进行预测 1. 数据准备与预处理 2. 构建模型 3. 编译模型 4. 训练模型 5. 评估模型 6. 模型应用与预测 7. 保存与加载模型 8.完整代码 1. 数据准备与预处理 我们将使用一个简单的线性回归问题，其中输入特征 x 和标…
阅读更多...
当卷积神经网络遇上AI编译器：TVM自动调优深度解析

当卷积神经网络遇上AI编译器：TVM自动调优深度解析

从铜线到指令：硬件如何"消化"卷积 在深度学习的世界里，卷积层就像人体中的毛细血管——数量庞大且至关重要。但鲜有人知，一个简单的3x3卷积在CPU上的执行路径，堪比北京地铁线路图般复杂。 卷积的数学本质 对于输入张…
阅读更多...
MySQL（高级特性篇） 13 章——事务基础知识

MySQL（高级特性篇） 13 章——事务基础知识

一、数据库事务概述 事务是数据库区别于文件系统的重要特性之一 （1）存储引擎支持情况 SHOW ENGINES命令来查看当前MySQL支持的存储引擎都有哪些，以及这些存储引擎是否支持事务能看出在MySQL中，只有InnoDB是支持事务的 &#x…
阅读更多...
影视文件大数据高速分发方案

影视文件大数据高速分发方案

在当今的数字时代，影视行业的内容创作和传播方式经历了翻天覆地的变化。随着4K、8K高清视频的普及，以及虚拟现实(VR)和增强现实(AR)技术的发展，影视文件的数据量正以前所未有的速度增长。这就要求行业内的参与者必须拥有高效的大数据传输解决…
阅读更多...
C语言教程——文件处理（2）

C语言教程——文件处理（2）

目录 前言 一、顺序读写函数（续） 1.1fprintf 1.2fscanf 1.3fwrite 1.4fread 二、流和标准流 2.1流 2.2标准流 2.3示例 三、sscanf和sprintf 3.1sprintf 3.2sscanf 四、文件的随机读写 4.1fseek 4.2ftell 4.3rewind 五、文件读取结束的…
阅读更多...
建表注意事项(2):表约束,主键自增,序列[oracle]

建表注意事项(2):表约束,主键自增,序列[oracle]

没有明确写明数据库时,默认基于oracle 约束的分类 用于确保数据的完整性和一致性。约束可以分为 表级约束 和 列级约束，区别在于定义的位置和作用范围 复合主键约束: 主键约束中有2个或以上的字段 复合主键的列顺序会影响索引的使用，需谨慎设计 添加…
阅读更多...
线性回归的损失和优化02

线性回归的损失和优化02

线性回归的损失和优化 学习目标 知道线性回归中损失函数知道使用正规方程对损失函数优化的过程知道使用梯度下降法对损失函数优化的过程 假设刚才的房子例子，真实的数据之间存在这样的关系： 真实关系： 真实房子价格 0.02中心区域的距离 0.…
阅读更多...
年化18%-39.3%的策略集 | backtrader通过xtquant连接qmt实战

年化18%-39.3%的策略集 | backtrader通过xtquant连接qmt实战

原创内容第785篇，专注量化投资、个人成长与财富自由。 大年初五，年很快就过完了。 其实就是本身也只是休假一周，但是我们赋予了它太多意义。 周五咱们发布发aitrader v4.1，带了backtraderctp期货的实盘接口： aitra…
阅读更多...
【数据结构】_链表经典算法OJ（力扣/牛客第二弹）

【数据结构】_链表经典算法OJ（力扣/牛客第二弹）

目录 1. 题目1：返回倒数第k个节点 1.1 题目链接及描述 1.2 解题思路 1.3 程序 2. 题目2：链表的回文结构 2.1 题目链接及描述 2.2 解题思路 2.3 程序 1. 题目1：返回倒数第k个节点 1.1 题目链接及描述 题目链接： 面试题 …
阅读更多...
成绩案例demo

成绩案例demo

本案例较为简单，用到的知识有 v-model、v-if、v-else、指令修饰符.prevent .number .trim等、computed计算属性、toFixed方法、reduce数组方法。 涉及的功能需求有：渲染、添加、删除、修改、统计总分，求平均分等。 需求效果如下&#xff1a…
阅读更多...
git基础使用--4---git分支和使用

git基础使用--4---git分支和使用

文章目录 git基础使用--4---git分支和使用1. 按顺序看2. 什么是分支3. 分支的基本操作4. 分支的基本操作4.1 查看分支4.2 创建分支4.3 切换分支4.4 合并冲突 git基础使用–4—git分支和使用 1. 按顺序看 -git基础使用–1–版本控制的基本概念 -git基础使用–2–gti的基本概念…
阅读更多...
Kafka下载

Kafka下载

一、Kafka下载 下载地址：https://kafka.apache.org/downloads 二、Kafka安装 因为选择下载的是 .zip 文件，直接跳过安装，一步到位。 选择在任一磁盘创建空文件夹（不要使用中文路径），解压之后把文件夹内容…
阅读更多...
nodejs：express + js-mdict 网页查询英汉词典，能播放声音

nodejs：express + js-mdict 网页查询英汉词典，能播放声音

向 DeepSeek R1 提问： 我想写一个Web 前端网页，后台用 nodejs js-mdict, 实现在线查询英语单词 1. 项目结构 首先，创建一个项目目录，结构如下： mydict-app/ ├── public/ │ ├── index.html │ ├── st…
阅读更多...
【自开发工具介绍】SQLSERVER的ImpDp和ExpDp工具01

【自开发工具介绍】SQLSERVER的ImpDp和ExpDp工具01

1、开发背景 大家都很熟悉，Oracle提供了Impdp和ExpDp工具，功能很强大，可以进行db的导入导出的处理。但是对于Sqlserver数据库只是提供了简单的图形化的导出导入工具，在实际的开发和生产环境不太可能让用户在图形化的界面选择移行…
阅读更多...
【Block总结】完全注意力Fully Attentional，同时捕捉空间和通道的注意力|即插即用

【Block总结】完全注意力Fully Attentional，同时捕捉空间和通道的注意力|即插即用

论文信息 标题: Fully Attentional Network for Semantic Segmentation论文链接: https://arxiv.org/pdf/2112.04108GitHub链接: https://github.com/maggiesong7/FullyAttentional 创新点 全注意力模块（FLA）: 该模块能够在一个相似性图中同时捕捉空…
阅读更多...
强化学习、深度学习、深度强化学习的区别是什么？

强化学习、深度学习、深度强化学习的区别是什么？

前言 深度强化学习就是 深度学习 和 强化学习 的结合体。它让计算机程序（也就是智能体）在特定环境中不断尝试，从错误中学习，最终找到最优的行动策略。 深度学习是AlphaGo从棋谱里学习，强化学些Alphazero 学习规则&am…
阅读更多...
99.20 金融难点通俗解释：中药配方比喻马科维茨资产组合模型(MPT)

99.20 金融难点通俗解释：中药配方比喻马科维茨资产组合模型(MPT)

目录 0. 承前1. 核心知识点拆解2. 中药搭配比喻方案分析2.1 比喻的合理性 3. 通俗易懂的解释3.1 以中药房为例3.2 配方原理 4. 实际应用举例4.1 基础配方示例4.2 效果说明 5. 注意事项5.1 个性化配置5.2 定期调整 6. 总结7. 代码实现 0. 承前 本文主旨： 本文通过中…
阅读更多...
笔灵ai写作技术浅析（四）：知识图谱

笔灵ai写作技术浅析（四）：知识图谱

知识图谱（Knowledge Graph）是一种结构化的知识表示方式，通过将知识以图的形式进行组织，帮助AI系统更好地理解和利用信息。在笔灵AI写作中，知识图谱技术被广泛应用于结构化组织各种领域的知识，使AI能够根据写作主题快速获取相关的背景知识、概念关系等，从而为生成内容提供…
阅读更多...
最新文章
推荐文章

Copyright @ 2022~2023