Hive SQL

一、基本数据类型

tinyint         1byte 有符号整数
smallint         2byte 有符号整数
int         4byte 有符号整数
bigint         8byte 有符号整数
boolean         布尔类型,true或者false
float         单精度浮点数
double         双精度浮点数
decimal         十进制精准数字类型 decimal(16,2)
varchar         字符序列,需指定最大长度,最大长度的范围是[1,65535] varchar(32)
string         字符串,无需指定最大长度
timestamp         时间类型
binary         二进制数据
array         数组是一组相同类型的值的集合 array arr[0]
map         map是一组相同类型的键-值对集合 map<string, int> map[‘key’]
struct         结构体由多个属性组成,每个属性都有自己的属性名和数据类型 struct<id:int, name:string> struct.id

二、基本查询

Home - Apache Hive - Apache Software Foundation

1、语法: 

SELECT [ALL | DISTINCT] select_expr, select_expr, …
FROM table_reference – 从什么表查
[WHERE where_condition] – 过滤
[GROUP BY col_list] – 分组查询
[HAVING col_list] – 分组后过滤
[ORDER BY col_list] – 排序 -- 全局排序
[CLUSTER BY col_list   -- 分区排序(当 distribute by 和 sort by 字段相同时,可以使用 cluster by方式。)
| [DISTRIBUTE BY col_list] [SORT BY col_list]
]
[LIMIT number] – 限制输出的行数

2、join连接

左右关联:inner、outer均可省略

内连接(join或inner join):只有2个表中连接字段都匹配的数据才会被保留。

左外连接(left join或left outer join):保留左表记录,右边不符合条件的用null填充

右外连接(right join或right outer join)

满外连接(full join或full outer join):保留两边全部,任一表没有符合条件的用null填充

左半连接(left semi join):内连接后,仅返回左表剩余的数据

交叉连接(笛卡尔积cross join):所有表中的所有行互相连接。

3、union和union all上下拼接:

union和union all在上下拼接sql结果时有两个要求:
(1)两个sql的结果,列的个数必须相同
(2)两个sql的结果,上下所对应列的类型必须一致

union去重并对结果排序,union all不去重

4、排序

(1)全局排序(Order By)
全局排序,只有一个Reduce。asc(ascend):升序(默认)desc(descend):降序
通常和limit一起使用,可以让每个map只需要处理limit的个数数据
(2)每个Reduce内部排序(Sort By)
Sort by为每个reduce产生一个排序文件。每个Reduce内部进行排序,对全局结果集来说不是排序。
(3)分区(Distribute By)
distribute by类似MapReduce中partition(自定义分区),进行分区,结合sort by使用。
分区排序(Cluster By)
(4)当distribute by和sort by字段相同时,可以使用cluster by方式。cluster by除了具有distribute by的功能外还兼具sort by的功能。但是排序只能是升序排序。

三、常用函数

1、单行函数

输入一行,输出一行

  1. round:四舍五入

  2. ceil:向上取整

  3. floor:向下取整

  4. if(condition, trueValue, falseValue)

  5. case when:case when a then b [when c then d]* [else e] end :条件判断函数;如果a为true,则返回b;如果c为true,则返回d;否则返回 e ;针对同一个字段的等值判断可以把字段提在case后面

  6. cast(stuId AS INT) :类型转换

  7. nvl(A,B) :替换null值 ;A的值不为null,则返回A,否则返回B

  8. substring:截取字符串substring(string A, int start, int len)

  9. replace :替换 ;replace(string A, string B, string C) 字符串A中的子字符串B替换为C。

  10. regexp_replace:正则替换 ;regexp_replace(string A, string B, string C) 将字符串A中的符合java正则表达式B的部分替换为C。

  11. regexp:正则匹配;select ‘dfsaaaa’ regexp ‘dfsa+’,正则匹配成功,输出true

  12. repeat:重复字符串;repeat(string A, int n),字符串A重复n遍

  13. split(string str, string pat) :将一个字符串根据指定的分隔符进行分割,并返回一个数组。eg:split(arr,','),split(arr,'\\')[0]。当逗号作为分隔符时,保持不变,其他多数时候要加转义,如split(properties,'\_')

  14. concat(string A, string B, string C, ……) 将A,B,C……等字符拼接为一个字符串

  15. concat_ws(分隔符, string…| array(string)): 指定分隔符拼接字符串或者字符串数

  16. get_json_object(string json_string, string path) 解析json的字符串json_string,返回path指定的内容。如果输入的json字符串无效,那么返回NULL。select get_json_object(‘[{“name”:“大海海”,“sex”:“男”,“age”:“25”},{“name”:“小宋宋”,“sex”:“男”,“age”:“47”}]’,‘$.[0].name’);

  17. unix_timestamp:返回当前或指定时间的时间戳;例如:
    select unix_timestamp(‘2022/08/08 08-08-08’,‘yyyy/MM/dd HH-mm-ss’);
    from_unixtime(bigint unixtime[, string format]) 转化UNIX时间戳到当前时区的时间格式

  18. select current_date:-- 获取当前日期,格式:2022-09-13

  19. date_format(date,格式) -- 如:date_format('2022-09-13 12:00:00', 'yyyy-MM-dd')

  20. current_timestamp:-- 获取当前时间戳。 2022-09-13 17:52:57.613

  21. fom_unixtime(bigint unixtime[, string format]); -- 把UNIX 时间戳(从1970-01-01 00:00:00 UTC 到指定时间的秒数)转为时间或者指定格式日期。

  22. unix_timestamp(time)  -- 把yyyy-MM-dd HH:mm:ss转为unix时间戳

  23. to_date(time) -- 转为日期格式,默认为yyyy-MM-dd格式。

  24. datediff:两个日期相差的天数(结束日期减去开始日期的天数)

  25. date_add(string startdate, int days) :日期加天数

  26. date_sub (string startdate, int days) 日期减天数

  27. year(date) -- 获取年份

  28. month(date) -- 获取月份

  29. day(date) -- 获取日

  30. hour(date) -- 获取小时

  31. minute(date)  -- 获取分钟

  32. second(date) -- 获取秒

  33. last_day(date) -- 指定日期所在月份的最后一天

  34. weekofyear(date)  --返回日期在该年的周数

  35. -- 判断周几

    select

    case when dayofweek('${etl_date}') =1 then '星期日'

         when dayofweek('${etl_date}') =7 then '星期六'

         when dayofweek('${etl_date}') =6 then '星期五'

         when dayofweek('${etl_date}') =5 then '星期四'

         when dayofweek('${etl_date}') =4 then '星期三'

         when dayofweek('${etl_date}') =3 then '星期二'

         when dayofweek('${etl_date}') =2 then '星期一'

         else null

         end as weekday

  36. map (key1, value1, key2, value2, …) 根据输入的key和value对构建map类型

  37. map_keys: 返回map中的key;map_values: 返回map中的value;
    select map_keys(map(‘xiaohai’,1,‘dahai’,2));

  38. array(val1, val2, …) 根据输入的参数构建数组array类

  39. array_contains: 判断array中是否包含某个元素 ;select array_contains(array(‘a’,‘b’,‘c’,‘d’),‘a’);

  40. sort_array:将array中的元素排序

  41. struct(val1, val2, val3, …) 根据输入的参数构建结构体struct类

2、高级聚合函数

多进一出 (多行传入,一个行输出)。

  1. 普通聚合 count/sum.
  2. collect_set():多行数据收集为一行,返回set集合,无序不重复

  3. collect_list():多行数据收集为一行,返回list集合,有序重复

3、炸裂函数UDTF(制表函数)

接收一行,输出多行。

常用的UDTF ----explode(array as 字段名)
常用的UDTF ----explode(map as (key,value))
常用的UDTF ----poseexplode(array as 字段名) 会返回位置,索引
常用的UDTF ----inline(array<STRUCTf1:T1,....fn,Tn> as 字段名)
Latera View:通常与UDTF配合使用。Lateral View可以将UDTF应用到源表的每行数据,将每行数据转换为一行或多行,并将源表中每行的输出结果与该行连接起来,形成一个虚拟表。

eg:

select col1, col2, tmp_table.tmp_col
from test_tb
lateral view explode(split(col3, '分隔符')) tmp_table as tmp_col
where partition_name='xxx' 
-- create table if not exists tb
-- (
--    class    string comment '班级名称',
--    student string comment '学生名称',
--    score   string comment '学生分数'
--)
--    comment '学生成绩表';
--INSERT overwrite table tb
--VALUES ("1班","小A,小B,小C","80,92,70"),
--       ("2班","小D,小E","88,62"),
--       ("3班","小F,小G,小H","90,97,85");select class, student, score,stu_name, stu_score
from tb lateral view posexplode(split(student, ',')) tmp3 as stu_index1, stu_namelateral view posexplode(split(score, ',')) tmp4 as stu_index2, stu_score
where stu_index1 = stu_index2;-- tmp_table:explode形成的新虚拟表,可以不写;
-- tmp_col:explode 形成的新列(字段)

4、窗口函数

窗口函数,function(arg):对应的窗口数据计算函数

function(arg) over (partition by {分区列名} order by {order 列名} desc|asc [rows|range between 起点行 and 终点行])

(1)常用窗口-窗口计算

1)sum(col) over ()

2)avg(col) over ()

3)max(col) over ()

4)min(col) over ()

5)count(col) over ()

6)cume_dist() over (order by col)

    --如果按升序排列,则统计:小于等于当前值的行数/总行数(number of rows ≤ current row)/(total number ofrows)。

    --如果是降序排列,则统计:大于等于当前值的行数/总行数

    eg: cume_dist() over (ORDER BY salary) as cume_dist -- 统计小于等于当前工资的人数占总人数的比例

    cume_dist() over (PARTITION BY dept_no ORDER BY salary) as cume_dist  -- 根据部门统计小于等于当前工资的人数占部门总人数的比例

(2)常用窗口-跨行取值函数

1)first_value(col) over ():首行值

2)last_value(col) over ():末行值

lag和lead:获取当前行的上、下某行、某个字段的值;不支持自定义窗口范围。

3) lag(col,n,defaultValue)  over(partion by..order by..):查询字段col,当前行往前数第n行的数据,若为null显示默认值defaultValue;

        lag(col):指默认每次取字段col当前行的上一行数据

        lag(col, n) over ():取窗口范围往前第 n 行数据的值

4) lead(col, n,defaultValue) over ():取窗口范围往后第 n 行数据的值

5) ntile(n) over(partition by col1 order by col2):col1为分组的列名,col2为排序的列名,将有序分组的窗口范围,平均分成n份,每一份编号依次为1、2、3...、n;如果要取其中第m份,需要用到嵌套子查询

(3)常用窗口-排名函数

row_number() over (partition by col1 order by col2) as row_number

    -- 连续排序。在窗口内会对所有数值,每个组输出的序号唯一且连续,如:1、2、3、4、5。

rank() over (partition by col1 order by col2) as rank

    -- 相同数值,输出相同的序号,而且下一个序号间断,如:1、1、3、3、5。

dense_rank() over (partition by col1 order by col2) as rank

    -- 相同数值,输出相同的序号,但下一个序号不间断,如:1、1、2、2、3。

percent_rank() over():返回order by列的百分比排名

四、导入导出文件

1、load将文件导入hive表中
语法:LOAD DATA [LOCAL] INPATH ‘filepath’ [OVERWRITE] INTO TABLE tablename [PARTITION (partcol1=val1, partcol2=val2 …)];
(1)local:表示从本地加载数据到Hive表;否则从HDFS加载数据到Hive表。(如果是本地数据则是复制一份到hive路径,如果是HDFS则是移动到hive路径)
(2)overwrite:表示覆盖表中已有数据,否则表示追加。
(3)partition:表示上传到指定分区,若目标是分区表,需指定分区。

eg:load data local inpath ‘/opt/module/hive/datas/dept_20220401.log’
into table dept_partition partition(day=‘20220401’);

2、将hive查询导出到本地文件

INSERT OVERWRITE LOCAL DIRECTORY '/path/to/local/directory'
ROW FORMAT DELIMITED
FIELDS TERMINATED BY ','
LINES TERMINATED BY '\n'
SELECT * FROM your_hive_table;

五、sql使用

1、随机抽样

-- 随机抽样
use dmr_dev;
create table if not exists feature_train_202009 as
(select uid, req_dt, flag, req_month, feature_libsvmfrom tbwhere req_dt='2020-09-28'order by rand()limit 10000
);-- 随机抽样
select * 
from tb
TABLESAMPLE(10 ROWS);-- 随机抽样(百分比)
select * 
from tb 
TABLESAMPLE(10 PERCENT);

2、hive窗口函数去重

use dmr_dev;
set hive.support.quoted.identifiers=none;  
create table if not exists dmr_dev.bussiness_pinkey_all_feature as
(select (num)?+.+from(select row_number() over (partition by req_dt, uid order by req_dt, uid asc) num, *from dmr_dev.all_bussiness_pinkey_all_feature) twhere t.num=1
); 

3、求分位数

-- 分位数
use dmr_dev;
drop table if exists dmr_dev.dmrc_model_anti_fraud_outer_tx_if_result_i_m_array;
create table if not exists dmr_dev.dmrc_model_anti_fraud_outer_tx_if_result_i_m_array as    
selectpercentile_approx(predict_score,array(0.25,0.5,0.75,0.9,0.95)) as predict_score_arr
from (select a.*from(select *from dmr_c.dmrc_model_anti_fraud_outer_tx_if_result_i_mwhere dt = '2021-10-01') ajoin (select count(1) as cntfrom dmr_c.dmrc_model_anti_fraud_outer_tx_if_result_i_mwhere dt = '2021-10-01') bwhere rand(123) < 100000/cnt) tmp;-- 省略ON条件,Hive将尝试进行笛卡尔积(Cartesian product),即将第一个表的每一行与第二个表的每一行组合

4、模型打分分箱,效果分析

-- 基于3求分位数后,模型打分分箱
-- (,arr[0]]   1
-- (arr[0], arr[1]]   2
-- (arr[1], arr[2]]   3
-- (arr[2], arr[3]]   4
-- (arr[3], arr[4]]   5
-- (arr[4], )    6CREATE TEMPORARY MACRO score_grp(x double,arr array<double>) case when x<=arr[0] then 1 when x<=arr[1] then 2 when x<=arr[2] then 3 when x<=arr[3] then 4 when x<=arr[4] then 5 when x>arr[4] then 6 end;use dmr_dev;
drop table if exists dmr_dev.dmrc_model_anti_fraud_outer_tx_if_result_i_m_score;
create table if not exists dmr_dev.dmrc_model_anti_fraud_outer_tx_if_result_i_m_score as
select a.*,score_grp(a.predict_score, b.predict_score_arr) as predict_score_grp
from 
(   select *from dmr_c.dmrc_model_anti_fraud_outer_tx_if_result_i_mwhere dt = '2021-10-01' 
) a
left join dmr_dev.dmrc_model_anti_fraud_outer_tx_if_result_i_m_array b;
-- 此处省略on条件-- 模型效果分析
select predict_score_grp, count(1) as cnt
from dmr_dev.dmrc_model_anti_fraud_outer_tx_if_result_i_m_score
group by predict_score_grp
order by predict_score_grp;

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/410015.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

C语言07---指针进阶

指针万能拆解法 char型指针 char型指针实质上跟别的类型的指针并无本质区别&#xff0c;但由于C语言中的字符串以字符数组的方式存储&#xff0c;而数组在大多数场合又会表现为指针&#xff0c;因此字符串在绝大多数场合就表现为char型指针。 定义&#xff1a; char *p &qu…

区块链国赛第六套样题(关于运维)

任务1-2&#xff1a;区块链系统部署与运维 围绕食品安全溯源区块链平台部署与运维需求&#xff0c;进行项目相关系统、节点以及管理工具的部署工作。通过监控工具完成对网络、节点服务的监控。最终利用业务需求规范&#xff0c;完成系统日志、网络参数、节点服务等系统结构的维…

Hadoop的HA配置与实现(ZooKeeper)

目录 一、Hadoop的HA架构二、配置实现Hadoop的HA三、效果 一、Hadoop的HA架构 集群规划 112&#xff1a;NameNode1 ResourceManager1 JournalNode1 113&#xff1a;NameNode2 ResourceManager2 JournalNode2 114&#xff1a;DataNode1 NodeManager1 115&#xff1a;DataNode2 N…

linux 云主机下载 rpm 包安装 oracle java jdk21 实录(华为云 EulerOS)

本来是想通过 yum install 相关的 openjdk 版本的, 但老是提示说找不到, 也不想去配置相关的仓库了, 所以改成去 oracle 官网下载 jdk21 的 rpm 包来安装. 云主机是华为云的 EulerOS , 具体为 Huawei Cloud EulerOS 2.0 标准版 64位(公共镜像), 相对于用的比较熟 centos, 差别…

学习之在window上安装MySQL server 并连接到Navicat

一、下载 下载地址&#xff1a;https://www.mysql.com/ 二、安装 1、双击软件安装2、点击yes

云计算实训36——mysql镜像管理、同步容器和宿主机时间、在容器外执行容器内命令、容器的ip地址不稳定问题、基础镜像的制作、镜像应用

一、线上考试系统的数据虚拟化技术部署 1.部署前段服务器 步骤一&#xff1a;将资源上传到服务器 将dist.zip上传给服务器 下载unzip的包 yum -y install unzip 解压 unzip dist.zip 步骤二&#xff1a;创建基础容器在服务器上 启动服务 systemctl start docker.servic…

用 Go 语言实现常见的十大排序算法(上)

十大常见的排序算法有&#xff1a; 冒泡排序&#xff08;Bubble Sort&#xff09; 选择排序&#xff08;Selection Sort&#xff09; 插入排序&#xff08;Insertion Sort&#xff09; 希尔排序&#xff08;Shell Sort&#xff09; 归并排序&#xff08;Merge Sort&#xf…

<数据集>考场行为识别数据集<目标检测>

数据集格式&#xff1a;VOCYOLO格式 图片数量&#xff1a;2192张 标注数量(xml文件个数)&#xff1a;2192 标注数量(txt文件个数)&#xff1a;2192 标注类别数&#xff1a;2 标注类别名称&#xff1a;[cheating, good] 序号类别名称图片数框数1cheating128214412good1067…

气膜建筑与装配式建筑的对比分析—轻空间

在现代建筑中&#xff0c;气膜建筑和装配式建筑都作为新型建筑形式受到关注。然而&#xff0c;在很多应用场景中&#xff0c;气膜建筑展现出了比装配式建筑更为明显的优势。以下将着重对比气膜建筑相较于装配式建筑的独特优势。 气膜建筑的突出优势 1. 更快的施工速度 气膜建筑…

在 Debian 上安装 IntelliJ IDEA 笔记

在 Debian&#x1f4a9; 上安装 IntelliJ IDEA &#x1f4a1; 笔记 下载安装 JDK17安装 IntelliJ IDEA Community添加桌面启动项&#xff08;快捷方式&#xff09; 参考资料 下载 两个包已经下好了&#xff0c;一个JDK17&#xff0c;一个IntelliJ IDEA Community 使用 wget ur…

微信对话开放平台接口源码分享

文章目录 📖 介绍 📖🏡 演示环境 🏡📒 接口源码 📒⚓️ 相关链接 ⚓️📖 介绍 📖 微信对话开放平台是微信官方授权的智能对话技术平台,旨在帮助开发者及非开发者快速搭建智能对话机器人(智能客服),并轻松接入微信公众号、小程序、企业微信等微信生态中的各…

netty编程之UDP

写在前面 源码 。 UDP&#xff0c;user datagram protocol,是internet协议簇中无连接的传输协议&#xff0c;因为无连接所以相比于TCP需要维护更少的信息以及网络交互&#xff0c;所以具有更高的效率。本文看下netty是如何实现的&#xff0c;和TCP方式差别不大&#xff0c;下面…

自动化作业批改系统的实现以及代码分析

作者主页: 知孤云出岫 目录 作者主页:1. 系统需求分析1.1 功能需求1.2 性能要求 2. 系统设计2.1 模块化设计2.2 数据库设计2.3 系统接口设计 3. 具体技术实现3.1 题目解析模块3.2 答案匹配模块3.3 评分模块3.4 反馈生成模块3.5 系统集成 1. 系统需求分析 在构建一个自动化的…

【数学分析笔记】第2章第4节收敛准则(4)

2.数列极限 2.4 收敛准则 上节课举了一个例子 a N 1 1 2 p 1 3 p . . . 1 n p a_{N}1\frac{1}{2^{p}}\frac{1}{3^{p}}...\frac{1}{n^{p}} aN​12p1​3p1​...np1​ p > 1 p>1 p>1&#xff0c; { a n } \{a_{n}\} {an​}收敛 0 < p ≤ 1 0<p\le 1 0<p≤…

ET6框架(一)介绍及环境部署

文章目录 一、什么是ET框架&#xff1f;二、ET框架特色&#xff1a;三、开发环境准备&#xff1a;四、.Net Core下载安装五、安装Visual Studio六、下载Mongodb七.安装Robo 3T八、下载ET版本分支 一、什么是ET框架&#xff1f; 1.ET(客户端&#xff0c;服务器端)是一个开源的双…

《机器学习》 决策树 ID3算法

目录 一、什么是决策树&#xff1f; 1、概念 2、优缺点 3、核心 4、需要考虑的问题 二、决策树分类标准&#xff0c;ID3算法 1、什么是ID3 算法 2、ID3算法怎么用 1&#xff09;熵值计算公式 2&#xff09;用法实例 三、实操 ID3算法 1&#xff09;求出play标签的熵…

欧姆龙PLC数据 转 IEC61850项目案例

目录 1 案例说明 2 VFBOX网关工作原理 3 准备工作 4 网关采集欧姆龙PLC数据 5 用IEC61850协议转发数据 6 网关使用多个逻辑设备和逻辑节点的方法 7 案例总结 1 案例说明 设置网关采集欧姆龙PLC数据把采集的数据转成IEC61850协议转发给其他系统。 2 VFBOX网关工作原理 VFBOX…

【JUC并发编程系列】深入理解Java并发机制:从用户态到内核态的探索(一、前置知识)

文章目录 【JUC并发编程系列】深入理解Java并发机制&#xff1a;从用户态到内核态的探索&#xff08;一、前置知识&#xff09;1.用户态与内核态区别2. 线程安全同步的方式3. 传统锁有哪些缺点4. 发生CPU上下文切换的原因5. 如何避免上下文切换6. 详细总结6.1 用户态与内核态6.…

Python3.11二进制AI项目程序打包为苹果Mac App(DMG)-应用程序pyinstaller制作流程(AppleSilicon)

众所周知&#xff0c;苹果MacOs系统虽然贵为Unix内核系统&#xff0c;但由于系统不支持N卡&#xff0c;所以如果想在本地跑AI项目&#xff0c;还需要对相关的AI模块进行定制化操作&#xff0c;本次我们演示一下如何将基于Python3.11的AI项目程序打包为MacOS可以直接运行的DMG安…

Python(R)均方根误差平均绝对误差导图

&#x1f3af;要点 回归模型评估指标评估薪水预测模型评估员工倦怠率模型评估大气分析生成式对抗模型目标对象缺失下&#xff0c;性能估算法追踪模型误差指标降尺度大气学模拟模型准确性评估蛋白染色质相互作用模型评估 Python回归误差指标 平均绝对误差表示数据集中实际值和…