文章目录
- 1.HiveSQL中两个json解析函数
- 1)get_json_object
- 2)json_tuple
- 2.json中key所在层级路径定位小工具
关于json: https://blog.csdn.net/atwdy/article/details/124668815
1.HiveSQL中两个json解析函数
1)get_json_object
文档:https://cwiki.apache.org/confluence/display/Hive/LanguageManual+UDF#LanguageManualUDF-get_json_object,该函数可以按照层级关系解析出任意层级的key,指定的key不存在时返回null,开发中注意对null值的处理。既可以处理json对象也可以解析json数组。 参数中相关符号的含义如下:
$
:代表json的根对象,即传入的json本身。(对象{ },或对象数组[{ }, { }, …])
.
:父子层级关系
[]
:用于指定对象数组中要解析对象的下标,起始0
*
:通配符,用在[]
中,表示取[]
中所有对象。(通配符个人认为适用的场景为取同一层级所有对象的某个属性时,如果是取所有对象本身,那么直接不加[]
也是一样的效果)
demo
-- 测试json
create temporary view test as
select
'[{"name": "张三","age": 20,"sport": ["篮球", "乒乓球"]},{"name": "李四","age": 20,"sport": ["足球", "羽毛球"]}
]' as json_str;-- 取根对象,也就是传入的json本身
-- [{"name":"张三","age":20,"sport":["篮球","乒乓球"]},{"name":"李四","age":20,"sport":["足球","羽毛球"]}]
select get_json_object(json_str, '$') from test;-- 取根对象数组中的第一个对象:张三
-- {"name":"张三","age":20,"sport":["篮球","乒乓球"]}
select get_json_object(json_str, '$[0]') from test;-- 取根数组中所有对象的年龄,返回值为数组形式的字符串,不去重,忽略null值
-- [20,20]
select get_json_object(json_str, '$[*].age') from test;
2)json_tuple
文档:https://cwiki.apache.org/confluence/display/Hive/LanguageManual+UDF#LanguageManualUDF-json_tuple,该函数适用于对传入的json对象一次性解析多个key的场景,如果用get_json_object需要解析多次,该函数只需要解析一次。传入的key不存在时同样返回null。只能提取json根对象的属性key,不能用于提取嵌套json对象的属性或跨多个层级的属性。且只能解析json对象不能解析json数组。
和get_json_object不同的是,get_json_object是一个普通的UDF函数,返回的是一个值。而json_tuple是一个UDTF函数,返回的是一个表,所以开发中为了关联原表相关信息该函数一般需要和lateral view侧视图
https://blog.csdn.net/atwdy/article/details/137614216连用。
demo
-- 测试json
create temporary view test as
select '1' as id, '{"name": "张三", "age": 20, "sport": ["篮球", "乒乓球"]}' as info
union all
select '2' as id, '{"name": "李四", "age": 20, "sport": ["足球", "羽毛球"]}' as info;select * from test;
select json_tuple(info, 'name', 'age', 'sport') from test;
lateral view 关联原表信息:
select t1.id,t2.*
from test t1
lateral view json_tuple(info, 'name', 'age', 'sport') t2 as name, age, sport;
官网中只说了需要通过lateral view关联原表信息,但实际测试中发现
select id, json_tuple(info, 'name', 'age', 'sport') as (name, age, sport) from test;
这种语法格式也能输出上图结果。虽然逻辑上理解并不矛盾,尽管该UDTF返回的是个表,但一行输入只会对应一行输出,只是输出的字段可能是多个,并不像explode那样返回的是多行。所以不会出现一行输入对应多行输出的情况。但官方文档中没有提到这种语法,为了准确还是按照侧视图实现比较稳妥。
2.json中key所在层级路径定位小工具
对于一个复杂的json串,解析某个key时人工查找该key所在路径效率低也容易出错,下面代码可以快速找到指定key第一次出现时所在的层级路径:
#!/usr/bin/env python3
# -*-coding:utf-8 -*-
"""
@desc: 查找json中key第一次出现时的所在层级路径,key不存在返回None
@time: 2024/8/4 01:52
"""import jsondef find_path(json_obj, key, path=None):if path is None:path = []if isinstance(json_obj, dict):if key in json_obj:return path + [key]for k, v in json_obj.items():p = find_path(v, key, path + [k])if p is not None:return pelif isinstance(json_obj, list):for i, v in enumerate(json_obj):p = find_path(v, key, path + [str(i)])if p is not None:return preturn Noneif __name__ == '__main__':json_file = r'./data.json'with open(json_file, 'r', encoding='utf8') as fin:json_obj = json.load(fin)path = find_path(json_obj, key='broadcast_desc')print(path)