前言
旁边的实习生说:我想要用spark代码中对hive库中的内部表和外部表进行批量删除(包括数据),咋感觉网上搜了一圈都找不到解决方案啊,spark这么鸡肋吗?
我:你应该静下心来好好把spark基础知识进行全面学习。
实习生:难道spark有这功能,而我没有学习过?咋弄啊?
我:学习一下Spark Catalog。
实习生:啥是Catalog啊?
什么是Spark Catalog
Spark Catalog是Spark SQL中的一个元数据管理组件,它提供了一个集中化的存储和查询表、视图和函数的位置。Spark Catalog可以与多个数据源集成,如Hive、MySQL、PostgreSQL等,也可以用作内置Spark的嵌入式元数据存储。
-
什么是元数据
元数据(Metadata)是描述数据的数据,也可以理解为关于数据的信息。它是用于描述数据的特征、属性、结构、关系和上下文等信息的集合。元数据可以帮助用户理解、管理和使用数据,从而提高数据的可理解性、可管理性和可利用性。 -
Hive元数据
Hive的元数据是指Hive数据库中存储的关于表、分区、列、数据类型、数据存储位置和数据结构等信息的数据。Hive的元数据用于描述和管理Hive表格和其相关的数据,使得用户