Hive相关的组件有4个部分:Hive元数据、资源管理和调度、分布
式文件系统和计算引擎
Hive步入1.x版本后,整体架构稳定,后续的迭代版本就没有太多重大的调整,更多的只是功能增强
了,Hive 2.x引入的LLAP,Hive 3.x在2.x的基础上加大了对LLAP和
Tez的支持。
在Hive 3.0以后,可以在Hive的sys数据库中找到元数据表。
Hive的元数据主要分为5个大部分:数据库相关的元数据、表相关的元
数据、分区相关的元数据、文件存储相关的元数据及其他
元数据:
1.数据库的元数据
DBS:描述Hive中所有的数据库库名、存储地址(用字段
DB_LOCATION_URI表示)、拥有者和拥有者类型
DATABASE_PARAMS:描述数据库的属性信息
(DBPROPERTIES)
DB_PRIVS:描述数据库的权限信息
FUNCS:记录用户自己编写的函数信息(UDF),包括该函数的函数
名、对应的类名和创建者等信息。用户可以通过命令“create function函数名…”来创建自定义函数
FUNCS_RU:记录自定义函数所在文件的路径,例如使用Java编写Hive
的自定义函数,FUNCS_RU表会记录该函数所在JAR包的HDFS存储位置,
以及该JAR包引用的其他JAR包信息
2.表的元数据
TBLS:记录Hive数据库创建的所有表,包含表所属的数据库、创建时
间、创建者和表的类型(包括内部表、外部表、虚拟视图等)。在Hive中使
用命令“desc formatted表名”,查看Detailed Table Information一节的信息
TABLE_PARAMS:表的属性信息,对应的是创建表所指定的
TBLPROPERTIES内容或者通过收集表的统计信息。收集表的统计信息可以
使用如下的命令Analyze table表名compute statistics
表的统计信息一般包含表存储的文件个数(numFiles)、总文件大小
(totalSize)、表的总行数(numRows)、分区数(numPartitions)和未压
缩的每行的数据量(rawDataSize)等
TAB_COL_STATS:表中列的统计信息,包括数值类型的最大和最小
值,如LONG_LOW_VALUE、LONG_HIGH_VALUE、
DOUBLE_HIGH_VALUE、DOUBLE_LOW_VALUE、
BIG_DECIMAL_LOW_VALUE、BIG_DECIMAL_HIGHT_VALUE、空值的
个数、列去重的数值、列的平均长度、最大长度,以及值为TRUE/FALSE的
个数等。
TBL_PRIVS:表或者视图的授权信息,包括授权用户、被授权用户和
授权的权限等
TBL_COL_PRIVS:表或者视图中列的授权信息,包括授权用户、被授
权的用户和授权的权限等。
PARTITION_KEYS:表的分区列。
IDXS:Hive中索引的信息,Hive 3.0已经废弃。
3.分区的元数据
PARTITIONS:存储分区信息,包括分区列,分区创建的时间。
·PARTITION_PARAMS:存储分区的统计信息,类似于表的统计信息
一样。
·PART_COL_STATS:分区中列的统计信息,类似于表的列统计信息一
致。
·PART_PRIVS:分区的授权信息,类似于表的授权信息。
·PART_COL_PRIVS:分区列的授权信息,类似于表的字段授权信息。
·PARTITION_KEY_VALS:分区列对应的值
4.数据存储的元数据
SDS:保存数据存储的信息,包含分区、表存储的HDFS路径地址、输
入格式(INPUTFORMAT)、输出格式(OUTPUTFORMAT)、分桶的数
量、是否有压缩、是否包含二级子目录。
·CDS、COLUMN_V2:表示该分区、表存储的字段信息,包含字段名
称和类型等
·SORT_COLS:保存Hive表、分区有排序的列信息,包括列名和排序方
式等。
·BUCKETING_COLS:保存Hive表,分区分桶列的信息、列名等。
·SERDES:保存Hive表、分区序列化和反序列化的方式。
·SERDES_PARAMS:保存Hive,分区序列化和反序列化的配置属性,
例如行的间隔符(line.delim)、字段的间隔符(filed.delim)。
·SKEWED_COL_NAMES:保存表、分区有数据倾斜的列信息,包括列
名。
·SKEWED_VALUES:保存表、分区有数据倾斜的列值信息。
·SKEWED_COL_VALUE_LOC_MAP:保存表、分区倾斜列对应的本
地文件路径。
·SKEWED_STRING_LIST、SKEWED_STRING_LIST_VALUES:保存
表,分区有数据倾斜的字符串列表和值信息
5.其他
Hive的元数据还包含很多内容,例如Hive的事务信息、锁信息及权限相关的信息等
操作
docker-compose exec hive-server bash
/opt/hive/bin/beeline -u jdbc:hive2://localhost:10000
CREATE TABLE test(col1 INT, col2 STRING);
LOAD DATA LOCAL INPATH '/opt/hive/examples/files/kv1.txt' OVERWRITE INTO
TABLE test;
desc database default;
create database db_test_pro with dbproperties('key_a'='value_a');
desc database extended db_test_pro;